DeepSeek R1をAMD MI300Xで動かす – ローカルLLM環境の現実

[名無しさん]

「Running DeepSeek R1 on AMD MI300X」というスレッドが立っていました。DeepSeekモデルをAMDのMI300X（Instinctアクセラレータ）でローカル実行する試みで、コスト、プライバシー、ベンチマーク、コード最適化などが話題になっています。まだコメントはない状態ですが、ローカルLLMコミュニティでは興味深いトピックです。ッド:

[名無しさん]

MI300XでDeepSeekか…AMDのROCm対応はまだまだ不安定だよね。

[名無しさん]

実際に動かした人いたのかな？ベンチマークとか見たい。

[名無しさん]

ローカルLLMはプライバシー面でいいけど、コスト対効果でNVIDIAに勝てるかな。

[名無しさん]

MI300Xはメモリ帯域広いから推論向きだと思う。ただしCUDAエコシステムがないのが痛い。

[名無しさん]

ROCmも最近はマシになったけど、まだドキュメント不足だよね。

[名無しさん]

DeepSeekって中国発のモデルだよね？品質はどうなんだろう。

[名無しさん]

ベンチマークではLlamaに近いかそれ以上って言われてる。コーディングタスクは強いらしい。

[名無しさん]

使ってみたいけど、インストールが面倒そう。Dockerイメージとかあるのかな。

[名無しさん]

AMDでやる意味ってコスト以外にある？NVIDIAより安いとはいえ、導入コストは高いし。

[名無しさん]

データセンターレベルで大量にやるならAMDの方が安いかも。個人用途ならA100とかの方が楽。

[名無しさん]

でもAMDはメモリがデカいから、大きいモデルをそのまま載せられるのは利点。

[名無しさん]

実際に動かした人のレビューが出てこないと判断できないな。もコメント0だし。

[名無しさん]

Redditのスレッド自体もまだ新しいから、これから情報増えるかもね。

[名無しさん]

DeepSeekってコード生成は優秀らしいけど、日本語対応はどうなんだろう。

[名無しさん]

多分マルチリンガルモデルだから日本語もまあまあ使えるんじゃないかな。試したことないけど。

[名無しさん]

英語以外は微妙って話も聞く。日本語特化じゃないとやっぱり精度落ちる。

[名無しさん]

MI300Xって実際どのくらいの速度出るんだろ。GPTQとかAWQみたいな量子化は使えるのかな。

[名無しさん]

ROCm対応の量子化ライブラリは限られているから、素のFP16で動かすことになりそう。

[名無しさん]

それだとメモリ効率悪いし、速度も出ないかも。やっぱりNVIDIA一択かなあ。

[名無しさん]

ローカルで動かすなら、コストより手間がネック。セットアップに数日かかるのは嫌だ。

[名無しさん]

そこらへんはコミュニティの知恵で何とかなる部分もある。でも初心者には厳しい。

[名無しさん]

結局、時間がある人向けだね。すぐ使いたいならAPI経由が無難。

[投稿者]

投稿