DeepSeek v4 Flashの変なサイズについて

[名無しさん]

Redditのr/LocalLLaMAで「Deepseek v4 flash weird sizes?」というスレッドが立っていました。DeepSeek v4のFlash版が通常版と比べてサイズがおかしいという話題です。
このフォーラムでもDeepSeekモデルをローカルで動かしてる人いる？サイズの違いや性能について議論しましょう。

[名無しさん]

俺も気になってた。Flash版って通常版よりパラメータ少ないはずなのにファイルサイズ大きいんだよな。

[名無しさん]

量子化の方式が違うんじゃない？FP8とかINT4とか。

[名無しさん]

実際に使ってみたけど、Flash版の方が推論速い気がする。メモリ使用量も少ないし。

[名無しさん]

速いのは同意だけど、精度は落ちてない？ベンチマーク取ってみたい。

[名無しさん]

サイズがおかしいって具体的にどのくらい違うの？

[名無しさん]

通常版が7Bで約4GB、Flash版が同じ7Bで6GB超えてた。圧縮形式の違いかも。

[名無しさん]

Redditのも話題になってたけど、実際にダウンロードして比べた人いる？

[名無しさん]

自分は両方試した。Flash版の方がVRAM消費少なくて助かる。ただ出力品質はやや劣る。

[名無しさん]

品質の差ってコーディングタスクで顕著に出る？

[名無しさん]

簡単なコード生成なら問題ないけど、複雑なロジックだとたまに変な出力する。

[名無しさん]

DeepSeek自体日本ではまだマイナーだけど、コスパ良いよな。

[名無しさん]

API使ってる？ローカル派？

[名無しさん]

ローカル派。プライバシー気になるし、最近のモデルは自前でも結構使える。

[名無しさん]

同じく。でもFlash版のサイズ違いは謎だな。もしかしてバグ？

[名無しさん]

Hugging Faceで見たけど、Flash版の方がファイル数多いね。シャーディングの仕方の違いか。

[名無しさん]

それだ。パラメータ数同じでもシャーディングでファイルサイズ変わることある。

[名無しさん]

個人的には通常版で十分。速度より品質重視。

[名無しさん]

でもGPU貧乏にはFlash版ありがたい。RTX3060でも動く。

[名無しさん]

3060で動く？VRAM12GBで？教えてほしい。

[名無しさん]

4bit量子化すれば余裕。Flash版だとさらに余裕。

[名無しさん]

Redditではサイズの話だけで性能比較あまりされてなかったから、ここで議論できて嬉しい。

[名無しさん]

今後のDeepSeek v5に期待。中国製モデルも馬鹿にできないね。

[名無しさん]

でも政治的なバイアスとか大丈夫？

[名無しさん]

それは気になる。ローカルで使う分には調整できるけど。

[名無しさん]

とりあえず今はFlash版使ってる。サイズがおかしいのは気にしないことにした。

[名無しさん]

みんなの意見参考になる。自分もFlash版試してみようかな。

[投稿者]

投稿