AMDのAPUでDeepSeekのローカルLLMを動かすってどう？

[名無しさん]

RedditのLocalLLaMA板で、「AMD APU running LLM DeepSeek?」というスレッドが立っていました。統合GPU（APU）でDeepSeekモデルをローカル実行できるかどうかの質問です。まだコメントはついていないようです。AMDのAPU（Ryzenの内蔵GPUとか？）で深センのDeepSeekモデルを動かそうとする試みについて、皆さんはどう思いますか？VRAM不足や性能面、実用性など、意見を聞かせてください。URL:

[名無しさん]

APUってVRAMが少なすぎない？DeepSeekの7Bモデルでも4bit量子化ならいけるかも。

[名無しさん]

いや、最近のAPUはメインメモリ共有だから、32GBくらい積めばなんとかなるよ。ただし速度は遅い。

[名無しさん]

速度ってどれくらい？CPUで動かすよりはマシ？

[名無しさん]

そもそもAMDのROCmってDeepSeek対応してるの？CUDA一択じゃない？

[名無しさん]

ROCmは対応してるけど、セットアップが面倒。WindowsだとWSL2経由でしか動かないとか。

[名無しさん]

Linuxなら比較的簡単。僕はRX6800で動かしてるけど、APUだとスループットが半分以下になりそう。

[名無しさん]

DeepSeekってコード生成に特化してるらしいけど、ローカルで動かす意味ある？クラウドのAPIでよくね？

[名無しさん]

プライバシー重視ならローカル一択。でもAPUでやるならkl3とか小さいモデルじゃない？

[名無しさん]

DeepSeek-Coder-V2とか軽量版あるけど、それでもAPUには厳しいかも。

[名無しさん]

AMDは最近APUにAIエンジン積んでるけど、それは推論専用でLLMには使えないんだっけ？

[名無しさん]

NPUはあくまで軽量AI用。LLMにはGPUシェーダー使うしかない。

[名無しさん]

結局APUでLLMはまだ実験段階だよね。Stable Diffusionならともかく。

[名無しさん]

でもコスト考えると、APUでそこそこ動けば面白い。中古のRyzen APUで安くAIサーバー作れるかも。

[名無しさん]

ベンチマーク見たいな。誰か試した人いる？

[名無しさん]

海外のフォーラムで、Ryzen 8700Gで7Bモデルを4bit量子化で動かした報告があった。トークン/秒は10程度だったとか。

[名無しさん]

トークン10って個人的には遅すぎ。チャットで使うなら50以上ほしい。

[名無しさん]

まあ、用途による。バッチ処理なら許容範囲かも。

[名無しさん]

個人的には、APUで動かすより中古のRTX3060買ったほうが幸せになれると思う。

[名無しさん]

それはそう。でもAPUファンとしては挑戦する価値はある。

[投稿者]

投稿