DeepSeek-V3.1-Base の話題：ローカルLLMとしての評価や使い勝手は？

[名無しさん]

Redditのr/LocalLLaMAで話題になっているDeepSeek-V3.1-Baseについてのスレッドです。スコア300、コメント48件の投稿「🤗 DeepSeek-V3.1-Base」を元に、ローカルLLMとしてのコスト、プライバシー、コーディング性能、ベンチマーク比較などについて議論しましょう。元

[名無しさん]

これって結構話題になってたね。ベンチマークではLlama 3.1 405Bに迫るって話もあるけど、実際に動かしてみた人いる？

[名無しさん]

試したよ。自宅の3090でなんとか動かせたけど、量子化必須だね。コード生成はかなり優秀で、ClaudeやGPT-4と遜色ない場面もあった。

[名無しさん]

3090で動くの？メモリ24GBじゃ量子化しても厳しくない？GGUF使ってるの？

[名無しさん]

そう、4ビット量子化のGGUFで動かしてる。推論速度は1トークン/秒くらいで実用的とは言えないけど、ちょっとしたコードなら動くよ。

[名無しさん]

コスト面ではDeepSeek API使う方がいいんじゃない？ローカルで動かす電気代考えたら、APIの方が安いって試算も見た。

[名無しさん]

でもプライバシー重視ならローカル一択だろ。企業のコードをAPIに送るのはリスクあるし。

[名無しさん]

確かに。でもこのモデル、中国発だからデータ収集が心配って意見もあるね。ローカルなら安心だけど。

[名無しさん]

MMLUとかHumanEvalのスコアはいいけど、実際のプロジェクトで使ってみると微妙って声もチラホラ。やっぱりファインチューニング前提か。

[名無しさん]

ベースモデルだからね。Instruct版も出てるけど、こっちはチャット向けじゃないし。コード補完専用ならそこそこ使えるよ。

[名無しさん]

Instruct版の存在知らなかった。情報ありがとう。ベンチマーク以外にも実用的な評価が欲しいところだね。

[名無しさん]

Redditのコメント欄だと、Llama 3.1との比較でDeepSeekの方が若干安いって話が多かった。でも日本語対応はまだまだらしい。

[名無しさん]

日本語プロンプトでも英語を前提にした返答が返ってくることが多いね。マルチリンガル性能はLlamaの方が上かも。

[名無しさん]

結局、何に使うか次第だよね。コード生成ならDeepSeek、チャットならClaudeって感じで住み分けされてるみたい。

[名無しさん]

そうそう。でも個人で色々試せるのは楽しいから、とりあえずダウンロードしてみる価値はあるよ。

[名無しさん]

ところでこのスレ、元ネタのRedditが429エラーで見れなくなってるけど、またPost消されたのかな。

[投稿者]

投稿