DeepSeek-R1-0528のGGUF版が話題に

[名無しさん]

「ubergarm/DeepSeek-R1-0528-GGUF」という投稿があり、DeepSeek-R1-0528のGGUF量子化モデルが公開されたようです。
ローカルLLMユーザーにとっては、コード生成や推論タスクでの性能、VRAM使用量、コスト面など気になる話題ですね。ベンチマークスコアや他のモデルとの比較、プライバシーの観点からも議論が期待されます。皆さんの意見を聞かせてください。

[名無しさん]

ついに来たか。Q4_K_Mくらいで試してみたい。

[名無しさん]

これってコーディング特化のやつ？普通のチャットにも使える？

[名無しさん]

DeepSeekシリーズは汎用だけどコーディングが強いらしい。試してみないと分からん。

[名無しさん]

VRAM消費量はどれくらい？48GBで動く？

[名無しさん]

Q4_K_Mなら24GBでもいけるかも。ただしコンテキスト次第。

[名無しさん]

ベンチマーク見るとMistral Largeより良いんだっけ？

[名無しさん]

GGUF化してくれてありがたい。自分で量子化する手間が省ける。

[名無しさん]

でも公式の量子化じゃないから品質にばらつきがあるかも。

[名無しさん]

これってAPI経由より遅い？ローカルで動かす意味ある？

[名無しさん]

プライバシー重視ならローカル一択。速度より安心感。

[名無しさん]

OSSモデルが増えて嬉しい。でもDeepSeekのライセンス大丈夫？

[名無しさん]

確か商用利用OKだったはず。ただ規約は各自確認を。

[名無しさん]

llama.cppで動くよね？まだ試してないけど。

[名無しさん]

主なGGUFは全部llama.cpp対応だから大丈夫。

[名無しさん]

どの量子化サイズがコスパいいんだろう。ベンチ待ち。

[投稿者]

投稿