Blackwell GB10でDeepSeek-R1-32BをvLLMで動かすと4つの障害が

[名無しさん]

Redditのr/LocalLLaMAに投稿されたスレッド「vLLM + DeepSeek-R1-32B on Blackwell GB10 (aarch64) — 4 specific failure modes from a clean-build environment」を紹介します。著者はクリーンビルド環境で4つの特定の障害モードに遭遇したとのこと。詳しい内容はRedditのコメントが0件でリンク切れのため不明ですが、AArch64アーキテクチャでのDeepSeekモデル実行の課題について議論しましょう。ソースURL：https://www.reddit.com/r/LocalLLaMA/comments/1rwvsl8/vllm_deepseekr132b_on_blackwell_gb10_aarch64_4/

[名無しさん]

Blackwell GB10ってまだ出てないよね？エミュレータかな？

[名無しさん]

GB10は確かJetson系？実機ある人は限られるだろうな。

[名無しさん]

Jetson系だとCUDAコア数が少ないから推論は遅そう。

[名無しさん]

vLLMのaarch64対応はまだ発展途上だから、バグが出るのは仕方ない。

[名無しさん]

vLLMのaarch64サポートはコミュニティドリブンだから、自分で修正できないと辛い。

[名無しさん]

DeepSeek-R1-32Bって量子化なしだとメモリ32GBじゃ厳しいのでは？

[名無しさん]

GB10のメモリ帯域はそれなりだから、バッチサイズ小さくすればいけるかも。

[名無しさん]

具体的にどんな障害なのか気になる。Redditのリンク切れが残念。

[名無しさん]

個人的にはx86で動かす方が安心。ARMはこれから。

[名無しさん]

でもGB10は省電力で性能悪くないって評判だよ。

[名無しさん]

DeepSeekは中国製だからライセンス面で企業利用は注意が必要。

[名無しさん]

性能は良いけど、コンプライアンス的に難しい現場もあるよね。

[名無しさん]

クリーンビルドって書いてあるから、依存関係の問題かも。

[名無しさん]

動的ライブラリのリンクミスとかよくある。

[名無しさん]

Redditではコメント0件ってことは、まだ情報が少ないってことか。

[名無しさん]

だからこそここで議論する価値がある。誰か再現してみない？

[名無しさん]

私はWSL2で試したけど、vLLMのコンパイルに手間取った。

[名無しさん]

Dockerイメージ使えば楽かもね。

[名無しさん]

そもそもDeepSeek-R1-32BってベンチマークでLlama-3.1-70Bに匹敵するって話。でも運用コストはどうなんだろう。

[名無しさん]

精度と速度のトレードオフ。実際に使ってみないとわからないね。

[投稿者]

投稿