DeepSeek-R1-0528のUnsloth動的1bit~4bit GGUFがきたぞ

[名無しさん]

Redditのr/LocalLLaMAで話題のDeepSeek-R1-0528、Unslothによる動的量子化で1bit〜4bitのGGUFが公開されたみたいです。これローカルで動かせるし、コストも下がるし、プライバシー面でも良いですね。実際の性能やベンチマーク結果など、情報交換しましょう。

[名無しさん]

お、これは待ってたやつだ。さっそくダウンロードしてみる。

[名無しさん]

でも1bitってどんな品質なんだろ？試した人いる？

[名無しさん]

自分は4bitで試したけど、Mistralより賢い感じ。2bitでもそこそこ使えたよ。

[名無しさん]

1bitはさすがに会話が崩れる。でもタスクによっては問題ないかも。

[名無しさん]

Unslothの最適化がすごいな。前より量子化の速度が上がった気がする。

[名無しさん]

これってDeepSeekの公式リリースとは別物？Unslothの独自実装？

[名無しさん]

Unslothが動的量子化をかけたものだよ。元のモデルはDeepSeek公式のR1-0528。

[名無しさん]

VRAMが8GBでも動くの？4bitならいけそう？

[名無しさん]

4bitで6GBくらいあれば動くっぽい。うちのRTX 3060でなんとか。

[名無しさん]

でもDeepSeekって中国製だから監視とか心配じゃない？

[名無しさん]

ローカルで動かす限りは問題ないでしょ。そこがGGUFの利点。

[名無しさん]

モデル自体はオープンだし、コミュニティの検証も進んでる。

[名無しさん]

ベンチマーク見たけど、4bitでもほぼ元の精度維持してるな。

[名無しさん]

そうなんだ？MMLUとかどう？

[名無しさん]

MMLUで数%落ちるくらい。実用上は問題なし。

[名無しさん]

てかUnslothってOllamaでも使えるの？

[名無しさん]

GGUFだからOllamaでロードできるよ。

[名無しさん]

日本語性能はどう？DeepSeekは英語強いけど日本語は微妙って聞いた。

[名無しさん]

試した感じ、日本語の指示も結構通じる。タスクなら問題なし。

[名無しさん]

やっぱりLlama系よりは落ちるけど、十分使えるよ。

[名無しさん]

これでローカルAIサーバー立てたら課金不要になるな。

[名無しさん]

でも電気代と初期投資はかかるけどね。

[名無しさん]

量子化の設定ファイルとか公開されてる？カスタムしたい。

[名無しさん]

UnslothのGitHubに手順あるよ。自分で量子化もできるみたい。

[投稿者]

投稿