DeepSeek R1をAMD MI300Xで動かす試みとその感想

[名無しさん]

Redditのr/LocalLLaMAで「DeepSeek R1をAMD MI300Xで動かす」というスレッドが立っていました。元の投稿は403で直接見られませんが、タイトルやスニペットから、DeepSeekモデルのローカル実行、コーディング、コスト、プライバシー、ベンチマークなどが話題になっているようです。MI300XはAMDの強力なGPUですが、CUDAではなくROCmでの動作がカギ。実際に動かした人の感想や、パフォーマンス、他のGPUとの比較など、情報を共有しましょう。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1shc8bl/running_deepseek_r1_on_amd_mi300x/

[名無しさん]

MI300XでDeepSeek R1動かすの結構大変そうだね。ROCmのセットアップがネックになりそう。

[名無しさん]

確かに。でもNVidia一強状態より選択肢が増えるのは良いこと。実際に動いたって報告はあるの？

[名無しさん]

Redditでも数人成功してるみたい。ただしカスタムビルドが必要で、公式サポート外らしい。

[名無しさん]

DeepSeek R1の性能自体はすごいけど、ローカルで動かすとなるとVRAMが足りるかが問題。MI300Xは192GBあるから余裕？

[名無しさん]

理論上は余裕だけど、実際のメモリバンド幅や最適化次第。H100より遅いって話もある。

[名無しさん]

遅くても使えればいい派。コスト考えるとMI300Xの方が手が出しやすいし。

[名無しさん]

ROCmの互換性がまだ微妙。PyTorchのバージョン選びとか面倒くさい。

[名無しさん]

でも最近のROCm 6.0は結構改善されてるって聞く。試してみる価値はあるかも。

[名無しさん]

改善されてるけど、それでもNVIDIAのCUDAエコシステムには敵わない。でもAMD頑張ってほしい。

[名無しさん]

DeepSeekって中国製だからセキュリティ面で心配って意見もあるけど、ローカルで動かせば問題ないんじゃない？

[名無しさん]

モデル自体は公開されてるし、ファインチューニングで独自データ使うなら気にしなくていいと思う。でもバイアスは注意。

[名無しさん]

そうそう。R1はコーディング向けらしいから、コード生成に特化してる。実際使ってみたけど結構使える。

[名無しさん]

ベンチマーク結果見ると、DeepSeek R1はLlama 3.1 70Bと同等かそれ以上って言われてるね。

[名無しさん]

ただしMMLUとかの日本語性能は未知数。日本語データであまり学習してなさそう。

[名無しさん]

日本語はLlamaベースの方がまだ安心かも。DeepSeekも今後マルチリンガル対応するだろうけど。

[名無しさん]

MI300Xの消費電力も気になる。H100よりは抑えられてるらしいけど、それでも大きい。

[名無しさん]

自宅で動かすには電気代がね…。クラウドでレンタルする方が現実的かも。

[名無しさん]

クラウドだと今のところMI300Xを提供してるところ少ないんだよな。AWSやGCPはまだ未対応。

[名無しさん]

そもそもDeepSeek R1自体がまだ発展途上。アップデートで劇的に変わる可能性ある。

[名無しさん]

そういう意味では今すぐ買うより様子見もあり。でも個人で試す分には安いGPUで十分。

[名無しさん]

結局、CUDAに依存し続けるのはリスク。AMDのような選択肢が増えるのは業界にとって良い。

[名無しさん]

賛成。でもROCmのドキュメンテーションがもっと充実しないと普及は難しい。

[名無しさん]

コミュニティの力でなんとかなってる感はある。Reddit見てると結構情報あるよ。

[名無しさん]

MI300XでDeepSeek動かせた人は量子化とか使ってるのかな？それともFP16そのまま？

[名無しさん]

多分量子化してると思う。192GBあればFP16でも動くけど、速度重視なら量子化でしょう。

[名無しさん]

DeepSeek R1のライセンスって商用利用OKだっけ？確認したほうがいいよ。

[名無しさん]

確かMITライセンスだったはず。商用OKだけど、派生モデルは開示義務があるとか？詳細は公式を確認。

[投稿者]

投稿