DeepSeek V4-FlashのGGUFまだ出ないの？

[名無しさん]

Redditのr/LocalLLaMAで「No GGUFs for DeepSeek V4-Flash as yet?」というスレッドが立っていました。DeepSeek V4-Flashは高性能で注目されてるけど、まだGGUF形式のモデルが公開されていないという話題です。コード生成能力やコスパ、プライバシー面での評価、他のモデルとの比較など、いろいろ意見が出ていました。

[名無しさん]

GGUF待ってるんだが、まだかよ。

[名無しさん]

公式が配布してないからじゃない？サードパーティが変換するの待つしかないね。

[名無しさん]

でもV4-FlashってAPI専用設計じゃなかった？ローカルで動かす想定じゃないかも。

[名無しさん]

いや、重みは公開されてるらしいよ。ただGGUF化が面倒なだけかと。

[名無しさん]

コード生成の性能がすごいって聞いたけど、本当？

[名無しさん]

自分で試したけど、確かにClaudeやGPT-4に匹敵するレベル。でも量子化すると劣化するかも。

[名無しさん]

GGUFがなくてもAPI叩けばいいじゃん。コスパも良いし。

[名無しさん]

プライバシー的にローカルで動かしたいんだよ。APIはリスクある。

[名無しさん]

HuggingFaceでモデルファイル探してみたけど、GGUFはないね。Safetensorsはある。

[名無しさん]

自分で変換するしかないか。llama.cppのconvert.pyでいける？

[名無しさん]

試したけどアーキテクチャが特殊で失敗したって人いたよ。

[名無しさん]

じゃあしばらく待ったほうがいいな。有志がなんとかするでしょ。

[名無しさん]

DeepSeekって中国の企業だよね。データ収集が心配。

[名無しさん]

ローカルで使うなら問題ない。API経由だと監視されるかもだが。

[名無しさん]

V4-Flashのベンチマーク見ると、コーディング特化でかなり優秀。他の汎用モデルより良い。

[名無しさん]

でもV4シリーズはパラメータ数が多いから、ローカルで動かすにはハードル高い。

[名無しさん]

量子化すれば何とかなる。GGUFの4bitなら8GB VRAMでも動くって話。

[名無しさん]

とりあえずGGUFが出たら教えてくれ。便利なスレッドだな。

[名無しさん]

同じく。情報求む。

[投稿者]

投稿