DeepSeek 4 FlashをMac M3 Max（96GB）で動かせるらしい

[名無しさん]

DeepSeek 4 FlashをMac M3 Max（96GBメモリ）で実行できたというRedditの投稿が話題です。ローカルLLMの活用、コーディング支援、コスト、プライバシー、ベンチマーク比較などについて議論されています。ッド:

[名無しさん]

96GBもあればさすがに動くか。でもM3 MaxのGPU性能がどの程度か気になる。

[名無しさん]

Apple Siliconはメモリ帯域幅が広いから推論には向いてるらしいよ。FP8なら結構速いって話。

[名無しさん]

実際に試した人いる？DeepSeekの品質はどうなんだろう。

[名無しさん]

自分はM2 Ultra 192GBでやってるけど、4-flashは結構使える。コード生成が得意らしい。

[名無しさん]

クラウドAPI使うよりローカルのほうがコスト抑えられるね。プライバシーも安心。

[名無しさん]

でもVRAMが96GB必要ってハードル高くない？一般ユーザーには無理だわ。

[名無しさん]

量子化すればもっと少ないメモリで動くかも。GGUF形式とか試してみたい。

[名無しさん]

ベンチマーク見るとLlama 3.1 70Bと互角らしいけど、実際の使用感はどうなんだろ。

[名無しさん]

自分で試した限りでは、コード生成はDeepSeekの方が好み。ただし日本語は微妙かも。

[名無しさん]

Macで動かすならllama.cppが鉄板。Metalでちゃんと動くんだよね。

[名無しさん]

Metalは安定してる？前はバグあったけど最近改善されたって聞いた。

[名無しさん]

最新版では大丈夫みたい。自分は問題なく使えてる。

[名無しさん]

96GBモデルでも70B動かすのはきついんじゃない？DeepSeek 4 Flashはパラメータ数いくつだっけ。

[名無しさん]

確か236Bらしいけど、MoEだから有効パラメータは少ないんだよね。だからメモリ節約になる。

[名無しさん]

このスレ見てM3 Maxの購入検討し始めた。でも値段が…

[名無しさん]

中古で買う手もあるよ。でも待てばM4 Ultraが出るかも。

[名無しさん]

ローカルLLMの未来はApple Siliconにあるのかな？NVIDIA一辺倒じゃなくなるかも。

[名無しさん]

とはいえCUDAのエコシステムは強いし、研究用ならNVIDIA一択だと思う。

[名無しさん]

とりあえず試してみたい人は、Ollamaで手軽にできるよ。ただしモデルのダウンロードが重いけど。

[投稿者]

投稿