DeepSeek v4 flash vLLMエラー起動問題 – トランスフォーマー

[名無しさん]

Redditのr/LocalLLaMAで報告されたDeepSeek v4 flashモデルをvLLMで起動しようとするとエラーになるという話題です。ソースURL: https://www.reddit.com/r/LocalLLaMA/comments/1suf1oj/deepseek_v4_flash_vllm_error_starting_up/。トランスフォーマー周りの問題かもしれないとのこと。DeepSeekシリーズはコストやプライバシー、ベンチマークで注目されていますが、実際に動かす際の苦労話も多いですね。みなさんはvLLMでDeepSeekモデルを使っていますか？エラー回避のコツなどあれば教えてください。

[名無しさん]

自分も同じエラー出た。vLLMのバージョン問題かもしれない。

[名無しさん]

バージョン下げたら動いたって情報あるよ。

[名無しさん]

v0.6.3で動いたってredditに書いてあった。

[名無しさん]

具体的にどのバージョンが動くの？

[名無しさん]

DeepSeek v4 flashってまだ安定してないんじゃない？

[名無しさん]

でもベンチマークは良いらしいし、今後に期待。

[名無しさん]

トランスフォーマー側の依存関係が原因かも。

[名無しさん]

vLLMよりllama.cppの方が相性いいんじゃない？

[名無しさん]

DeepSeekって中国製だし、ライセンスやプライバシーが気になる。

[名無しさん]

ローカルで動かせば問題ないでしょ。

[名無しさん]

そもそもv4 flashって何がすごいの？

[名無しさん]

推論速度が速くて、メモリ効率が良いらしい。

[名無しさん]

自分はllama.cppで使ってるけど、特に問題なし。

[名無しさん]

llama.cppの方が初心者には優しいかも。

[名無しさん]

このエラー、transformersのバージョン合わせれば直るっぽい。

[名無しさん]

具体的にどのバージョン？教えて。

[名無しさん]

4.38.0で動いたって言う人いるよ。

[名無しさん]

結局vLLMはまだ不安定だから、別のフレームワークも検討したほうがいいかも。

[名無しさん]

そうだね、とりあえずllama.cppかExLlamaV2試してみるわ。

[投稿者]

投稿