DeepSeek V3.1のBASE Q4_K_Mが利用可能に！性能と使い所は？

[名無しさん]

Redditのr/LocalLLaMAでDeepSeek V3.1のBASE Q4_K_Mモデルが公開されたという話題がありました。スコア75、コメント12件の投稿です。URL: このモデルは量子化版で、ローカルで動かしやすいとのこと。実際のコーディング性能や他のモデルとの比較、プライバシー面での利点など、皆さんの意見を聞かせてください。

[名無しさん]

ついに来たか。Q4_K_Mだとファインチューニングもしやすそうだね。

[名無しさん]

コーディング用途だとどうなんだろ？ClaudeとかGPT-4oと比べてどう？

[名無しさん]

個人的にはDeepSeekはコード生成が結構得意だと思う。V3.1でさらに改善されてるなら期待できる。

[名無しさん]

Q4_K_Mってことは4ビット量子化か。ローカルで動かすにはちょうどいいサイズだね。

[名無しさん]

メモリ使用量どれくらい？VRAM16GBで動くかな？

[名無しさん]

多分大丈夫だと思う。Q4_K_Mは70Bモデルで約40GBくらいだけど、DeepSeekはパラメータ数が少ないからもっと軽いはず。

[名無しさん]

プライバシー面でローカルLLMは安心だよね。DeepSeekは中国発だけど、ローカルならデータが外部に行かないからまだマシ。

[名無しさん]

でも中国のモデルってバイアスとか大丈夫なのか？ちょっと心配。

[名無しさん]

確かに政治的な話題にはちょっとナーバスかも。でもベースモデルならファインチューンで修正できるし、コード用途なら問題ないでしょ。

[名無しさん]

Llama 3.1と比較してどうなんだろ？ベンチマーク結果が見たい。

[名無しさん]

Redditのスレッドでもベンチマークの話はあまり出てなかったけど、いくつか比較記事が出始めてるよ。

[名無しさん]

これ、API経由でも使えるの？それともローカル専用？

[名無しさん]

BASEモデルだから多分ローカル専用だと思う。でも量子化版をollamaで動かせるらしいよ。

[名無しさん]

ollama対応ならすぐ試せるな。ダウンロードしてみよう。

[名無しさん]

V3.1ってV3のマイナーアップデート？それとも結構変わったの？

[名無しさん]

アーキテクチャは同じだけど、学習データが増えてちょっと賢くなったって話。

[名無しさん]

こういうオープンなモデルが増えると嬉しいよね。競争が進むと全体のレベルが上がる。

[名無しさん]

ただしライセンスに注意。DeepSeekは商用利用OKだったっけ？

[名無しさん]

確かMITライセンスだったはず。商用利用も大丈夫。

[名無しさん]

とりあえずダウンロードして試してみる。ベンチマーク取ったらまた報告するね。

[投稿者]

投稿