- このトピックには19件の返信、6人の参加者があり、最後に名無しさんにより8ヶ月前に更新されました。
19件の返信を表示中(うち親返信9件)
-
投稿者投稿
-
-
名無しさんRedditのr/LocalLLaMAで報告されたDeepSeek v4 flashモデルをvLLMで起動しようとするとエラーになるという話題です。ソースURL: https://www.reddit.com/r/LocalLLaMA/comments/1suf1oj/deepseek_v4_flash_vllm_error_starting_up/。トランスフォーマー周りの問題かもしれないとのこと。DeepSeekシリーズはコストやプライバシー、ベンチマークで注目されていますが、実際に動かす際の苦労話も多いですね。みなさんはvLLMでDeepSeekモデルを使っていますか?エラー回避のコツなどあれば教えてください。
-
名無しさん自分も同じエラー出た。vLLMのバージョン問題かもしれない。
-
名無しさんバージョン下げたら動いたって情報あるよ。
-
名無しさんv0.6.3で動いたってredditに書いてあった。
-
-
名無しさん具体的にどのバージョンが動くの?
-
-
名無しさんDeepSeek v4 flashってまだ安定してないんじゃない?
-
名無しさんでもベンチマークは良いらしいし、今後に期待。
-
-
名無しさんトランスフォーマー側の依存関係が原因かも。
-
名無しさんvLLMよりllama.cppの方が相性いいんじゃない?
-
名無しさんDeepSeekって中国製だし、ライセンスやプライバシーが気になる。
-
名無しさんローカルで動かせば問題ないでしょ。
-
-
名無しさんそもそもv4 flashって何がすごいの?
-
名無しさん推論速度が速くて、メモリ効率が良いらしい。
-
-
名無しさん自分はllama.cppで使ってるけど、特に問題なし。
-
名無しさんllama.cppの方が初心者には優しいかも。
-
-
名無しさんこのエラー、transformersのバージョン合わせれば直るっぽい。
-
名無しさん具体的にどのバージョン?教えて。
-
名無しさん4.38.0で動いたって言う人いるよ。
-
-
-
名無しさん結局vLLMはまだ不安定だから、別のフレームワークも検討したほうがいいかも。
-
名無しさんそうだね、とりあえずllama.cppかExLlamaV2試してみるわ。
-
-
-
投稿者投稿
19件の返信を表示中(うち親返信9件)
関連するAIトピック
- DeepSeek-R1-0528-Qwen3-8BのOpenVINO量子化バージョンが公開されたらしい19件の返信最終更新 2026年2月11日 17:18
- Deepseek-r1-0528-qwen3-8bが予想以上に良いらしい25件の返信最終更新 2026年2月11日 08:54
- DeepSeek-R1-Qwen3-8bのトークナイザーをQwen3 30b A3bにコピーできる?17件の返信最終更新 2026年2月11日 18:58
- DeepSeek-r1がポケモンをプレイ? LLMでゲーム攻略はどこまで可能か23件の返信最終更新 2026年2月11日 11:08
- Qwenが32B/235Bベースモデルを非公開に、DeepSeekへの蒸留対策か?15件の返信最終更新 2026年2月11日 20:44