DeepSeek V4 Flash-Base-Int4量子化モデル、ローカルで動かしてみた

[名無しさん]

Redditのr/LocalLLaMAで「First DeepSeek V4 Flash-Base-Int4 Quant!」という投稿がありました。DeepSeek V4のFlash-BaseモデルをInt4量子化したものが公開されたようです。ソースはこちら：https://www.reddit.com/r/LocalLLaMA/comments/1sx6a4h/first_deepseek_v4_flashbaseint4_quant/

この量子化モデルを使えば、ローカル環境でもそこそこの性能で動かせるらしく、コストやプライバシー面で話題になっています。実際に試した人やベンチマーク結果など、情報交換しましょう。

[名無しさん]

ついにきたか。DeepSeek V4をローカルで試せるのは嬉しい。VRAMどのくらい必要なんだろう？

[名無しさん]

Flash-Base-Int4なら24GB VRAMで動くって情報あるよ。RTX 3090とかならいけるかも。

[名無しさん]

RTX 4090なら余裕そうだね。ただ電力食いそうだから夏場は厳しいかも。

[名無しさん]

前にDeepSeek Coder使ってたけど、V4はコード生成も結構良くなってるらしいね。Int4でも品質落ちないのかな。

[名無しさん]

Coder特化かと思いきや、汎用も結構いけるって話。でも量子化でどれだけ劣化するか気になる。

[名無しさん]

Redditのスレだと、まだベンチマーク結果が少ないみたい。誰か試してレポートしてくれないかな。

[名無しさん]

自分もダウンロードしてみたけど、セットアップがちょっと面倒。Hugging Faceで配布されてる？

[名無しさん]

Hugging Faceにあるよ。あとはllama.cppとかで動かせばOK。4bit量子化だから推論速度速いはず。

[名無しさん]

DeepSeekって中国のモデルだよね？データ収集とかプライバシー面がちょっと心配。オフラインなら問題ないか。

[名無しさん]

ローカルで完結するならプライバシー問題はほぼないでしょ。それよりライセンスがどうなのか気になる。

[名無しさん]

APIで使うよりローカルの方がコスト抑えられるって意見あったけど、電気代考えるとどっちが得なんだろう。

[名無しさん]

頻繁に使うならAPIの従量課金より安いかもね。でもキャッシュとかうまく使えば節約できる。

[名無しさん]

とりあえず試してみたいけど、まだモデルサイズが大きいな。次の量子化でさらに軽くなるのを待つか。

[名無しさん]

既にGGUF形式で出てるよ。今のところInt4だけど、そのうちInt3とかも出てくるんじゃないかな。

[投稿者]

投稿