DeepSeekが3位にランクイン？ローカルLLMの現状

[名無しさん]

Redditのr/LocalLLaMAで「Deepseek In 3 position」というスレッドが立っていました。DeepSeekモデルが何かのベンチマークで3位になったという話のようです。実際のところ、ローカルLLMとしての性能やコスト、プライバシー面での評価はどうなんでしょうか？

[名無しさん]

DeepSeek、確かに結構いいって聞くよね。コーディング能力が特に高いらしい。

[名無しさん]

3位ってどのベンチマーク？リーダーボードによって全然違うから注意が必要。

[名無しさん]

多分Chatbot Arenaかな？日本のモデルも頑張ってるけど、DeepSeekはコスパ良さそう。

[名無しさん]

ローカルで動かすにはGPUメモリどれくらい必要？8GBじゃきつい？

[名無しさん]

DeepSeekは6Bと7Bモデルがあるから、8GBでも量子化すれば動くと思うよ。試した人の話だと結構速いらしい。

[名無しさん]

でも中国のモデルだからプライバシー面が心配って意見も見るな。

[名無しさん]

ローカルならデータ出て行かないし問題ないでしょ。コードもオープンだし。

[名無しさん]

実際使ってみたけど、日本語の応答はまだ微妙なところがある。英語なら優秀。

[名無しさん]

日本語データがあまり学習されてないのかもね。でもfine-tuningで改善できる範囲かも。

[名無しさん]

3位って言っても、すぐに追い抜かれる世界だからなあ。

[名無しさん]

そうそう、今週末にはまたランキング変わってるでしょ。でも参考にはなる。

[名無しさん]

MetaのLlamaと比べてどうなん？個人的にはLlamaの方が安定してる気がする。

[名無しさん]

Llama 3.1は確かに安心感あるけど、DeepSeekはコード生成で勝ってるってベンチ結果見た。用途次第。

[名無しさん]

API使うならDeepSeekは激安だから、個人開発には嬉しいよね。

[名無しさん]

でもAPIだと中国経由になるのがなあ…ローカル一択だわ。

[名無しさん]

とりあえずランキングだけ見て一喜一憂するのはやめよう。実際に使ってみるのが一番。

[投稿者]

投稿