DeepSeek Math v2を動かすのに必要なハードウェアについて

[名無しさん]

Redditのr/LocalLLaMAで「DeepSeek Math v2を動かすのにどのハードウェアが必要か」という投稿がありました。コメントでは、量子化でVRAM 24GB程度あれば何とか動くが、本格的に使うなら48GB以上推奨、Macのユニファイドメモリも選択肢、コスト対効果やプライバシーの観点から自宅サーバーを検討する人が多いなど、様々な意見が交わされています。URL:

[名無しさん]

やっぱり24GBじゃギリギリっぽいね。Q4くらいに落とせばなんとかなるのかな？

[名無しさん]

実用的に動かすなら48GB以上は欲しいって話だ。でもMacの64GBユニファイドメモリだと結構いけるらしいよ。

[名無しさん]

Macって本当に動くの？CUDAじゃないから遅そうだけど。

[名無しさん]

Metal経由で推論だけなら意外と速いらしい。学習は厳しいけどね。

[名無しさん]

クラウドのGPU借りた方が安上がりじゃない？自宅サーバーは電気代や冷却もバカにならん。

[名無しさん]

でもデータを外に出したくないなら自前しかないよね。プライバシー重視なら仕方ない。

[名無しさん]

DeepSeek Math v2ってコード生成に特化してるの？それとも数学特化？

[名無しさん]

数学とコード両方らしい。ベンチマークでは結構いいスコア出してるみたい。

[名無しさん]

最近のローカルLLMブームでGPU高騰してない？RTX4090もう手に入らんわ。

[名無しさん]

中古の3090狙うのがコスパいいって聞く。24GB積んでるし。

[名無しさん]

でも消費電力やばいぞ。電気代月に何千円増えるか考えた方がいい。

[名無しさん]

量子化技術が進んでもっと少ないVRAMで動くようになればいいな。

[名無しさん]

GGUFとかAWQとかどんどん改良されてるし、そのうちスマホでも動くかもね。

[名無しさん]

スマホで動かしたらバッテリーが一瞬で消えるわw

[投稿者]

投稿