GLM-4.5-Air 6bit vs DeepSeek V4 Flash 284B 2bit、128GB Macで比較したら2bitの方が勝ったらしい

[名無しさん]

Reddit r/LocalLLaMA より、GLM-4.5-Air（6ビット量子化）と DeepSeek V4 Flash 284B（2ビット量子化）を128GBメモリのMacで動かして比較したスレッド。結果はDeepSeekの2bitモデルが性能・速度ともに優勢だったとのこと。量子化のトレードオフやローカルLLMの実用性について議論になっています。元スレ: https://www.reddit.com/r/LocalLLaMA/comments/1uc67xu/glm45air_6bit_vs_deepseek_v4_flash_284b_2bit/

[名無しさん]

2bitで284Bって凄いな。でも品質は大丈夫なのか？

[名無しさん]

実際に使ってみた人の話だと、コード生成とかなら十分実用的らしい。ただし日本語は微妙かも。

[名無しさん]

128GB Macでも動くのか…メモリ食いすぎでしょ。うちの64GBじゃ無理だな。

[名無しさん]

32GBでもなんとか動くモデルあるけど、速度は犠牲になるね。

[名無しさん]

GLM-4.5-Airって聞いたことないけど、中国のモデル？

[名無しさん]

そう、Zhipu AIのモデル。6bitでもメモリは食うけど、DeepSeekの方がコスパ良さそう。

[名無しさん]

2bitって極端だけど、ベンチマークではどうなんだろう。自分はllama.cppで4bit使ってる。

[名無しさん]

スレ主のテストではDeepSeekの方が性能良かったらしい。でも2bitはさすがに情報落ちが心配。

[名無しさん]

こんな大規模モデルをローカルで動かす意味ある？API使った方が安くない？

[名無しさん]

プライバシー重視ならローカル一択。それに一度動かせばタダだし。

[名無しさん]

電気代考えたら？まあ趣味の世界だよね。

[名無しさん]

Macで動かすメリットってあるの？CUDA使えないし。

[名無しさん]

Metal対応でそこそこ速いよ。それにメモリ統一だから大容量モデル向き。

[名無しさん]

DeepSeek V4 Flashってチャット向け？コード向け？使い分けが知りたい。

[名無しさん]

両方いけるみたい。ただ指示によっては変な応答もあるってレビューあった。

[投稿者]

投稿