DeepSeek-R1-0528のUnsloth Dynamic 1-bit GGUFが話題に

[名無しさん]

DeepSeek-R1-0528モデルをUnslothで動的1ビット量子化したGGUFファイルが公開されました。ローカルLLMとしての実行性能、コスト、プライバシー面での利点が議論されています。ベンチマークや他モデルとの比較も注目ポイントです。

[名無しさん]

動的1ビット量子化ってかなり思い切ったね。メモリ使用量減るのは嬉しいけど、精度はどのくらい落ちるんだろう。

[名無しさん]

自分で試したけど、通常の8ビットと比べて体感できるほどの差はなかったよ。タスクによるけど結構使える。

[名無しさん]

Unslothって初めて聞いたけど、GGUF変換が簡単ってこと？

[名無しさん]

そうそう、Unsloth使うと動的量子化とかいろいろな形式に変換できる。特にDeepSeek系との相性が良いみたい。

[名無しさん]

DeepSeek-R1はコーディングタスクで強いって聞くけど、1ビットでも使えるなら試してみたい。

[名無しさん]

自分はRTX 3060で動かしてるけど、1ビットなら16GB程度のVRAMで十分動くよ。精度も悪くない。

[名無しさん]

でも1ビットって極端すぎない？2ビットとか4ビットのGGUFもあるし、バランス大事だと思う。

[名無しさん]

確かに。でも用途によるよね。個人使用で十分な精度なら、メモリ節約できる方がメリット大きい。

[名無しさん]

ベンチマークスコアとか出てるのかな？Qwen2.5とかと比較してどうなんだろ。

[名無しさん]

Redditのスレ内でいくつか出てたよ。MMLUとかGSM8Kは結構いい感じ。ただ、1ビットだと微妙な差かも。

[名無しさん]

これって商用利用はどうなの？DeepSeekのライセンス大丈夫？

[名無しさん]

元のモデルがMITだから問題ないはず。Unslothの部分も独自の変換だけど、特許とか気にしなくていいと思う。

[名無しさん]

個人的にはプライバシー面が一番の魅力。クラウドに送らなくていいから。

[名無しさん]

そこだよね。ローカルで動けばデータ漏洩の心配もない。1ビットで十分ならどんどん使いたい。

[名無しさん]

でもApple SiliconだとMetal対応がまだ微妙らしいよ。CUDA必須なのかな。

[名無しさん]

UnslothはMetalも実験的にサポートしてるっぽいけど、安定性はこれからみたい。待つしかないね。

[名無しさん]

とりあえずダウンロードしてみる。GGUFならllama.cppでそのまま使えるし、お手軽でいいな。

[投稿者]

投稿