Apple M3 Ultra 256GBでDeepseek-R1を動かした結果

[名無しさん]

Redditのr/LocalLLaMAで、Apple M3 Ultra（28コアCPU、60コアGPU、256GB RAM）を使ってDeepseek-R1-UD-IQ1_S（140.23GB）を実行したというスレッドがありました。多くのコメントがそのパフォーマンスに驚いており、特にメモリ帯域幅やMacでのローカルLLMの可能性について議論が交わされています。価格やNVIDIAとの比較、実際の推論速度なども話題に。

[名無しさん]

これすごいな。256GBのユニファイドメモリで140GBモデルが動くのは理想的。

[名無しさん]

確かにコスパは微妙だけど、仕事で使うならありかも。推論速度はどのくらい？

[名無しさん]

でも値段がなあ…M3 Ultra自体が高いし、256GB構成だと100万超えるだろ。

[名無しさん]

NVIDIAのRTX 4090を複数枚買うよりは安い場合もあるぞ。特にメモリ容量重視なら。

[名無しさん]

Deepseek-R1って結構良いモデルだよね。ローカルで動かせるのは魅力的。

[名無しさん]

でもIQ1_Sって量子化レベルだよな。品質落ちてない？

[名無しさん]

1ビット量子化だとさすがに精度は落ちるけど、140GBを収めるには仕方ない。

[名無しさん]

実際の速度結果は？Redditでは何トークン/秒とか載ってた？

[名無しさん]

スレ主によると、プロンプト処理が約8トークン/秒、生成が3トークン/秒くらいらしい。

[名無しさん]

思ったより遅くないな。実用的な速度だ。

[名無しさん]

M3 Ultraの帯域幅が800GB/sだから、大きなモデルでもメモリがボトルネックにならないのが強み。

[名無しさん]

でもGPUコア数は60コアしかないから、小さなモデルではNVIDIAに負ける。

[名無しさん]

使い分けだね。大規模モデル専用マシンとしてならアリ。

[名無しさん]

こういうの見ると、MacでLLMやるのもいいなと思う。でも自分は予算不足。

[名無しさん]

クラウドのAPI使った方が安上がりかも。でもプライバシー重視ならローカル一択。

[名無しさん]

誰かM4 Ultraの噂は？M3 Ultraよりさらにメモリ帯域増えるなら期待。

[名無しさん]

M4はまだUltraが発表されてないから、M3 Ultra買うか待つか悩む。

[名無しさん]

個人的にはApple SiliconでCUDA相当のライブラリが充実してきたら乗り換えたい。

[名無しさん]

Macで動くLLMサーバーとして使うなら悪くなさそう。静かだし。

[名無しさん]

冷却はどうなんだろう？高負荷でサーマルスロットリング起きない？

[名無しさん]

Redditでも言われてたけど、Mac Studioの冷却は優秀だし、問題ないらしい。

[名無しさん]

それにしてもDeepseek-R1、結構使えるモデルだから選択肢が広がるね。

[投稿者]

投稿