DeepSeek 3.2をvLLMでローカル実行できた人いますか？

[名無しさん]

「DeepSeek 3.2をvLLMでローカル実行できた人いますか？」というスレッドが立っていました。海外ではコーディング性能やプライバシー面から注目されているモデルで、vLLMでのセットアップに関する情報交換が行われています。日本語の情報が少ないので、このスレッドで実際に試した人の感想や注意点を共有しましょう。

[名無しさん]

自分も試してみたけど、vLLMで動かすのに結構苦労した。メモリ32GBじゃ足りなかった。

[名無しさん]

量子化モデルなら動いたよ。Q4_K_MでVRAM12GBくらいだった。

[名無しさん]

それってどのくらいの速度出てる？自分の環境だとトークン生成が遅くて。

[名無しさん]

RTX 3090で10〜15 tok/sくらい。実用的にはギリギリかな。

[名無しさん]

DeepSeekってコーディング特化って聞いたけど、実際どうなの？

[名無しさん]

コード生成はかなり優秀。ただ、日本語の自然言語処理はイマイチかも。

[名無しさん]

やっぱり英語学習データが多いからね。日本語ファインチューニング版が出たら嬉しい。

[名無しさん]

vLLMじゃなくてllama.cppで動かしてる人いる？

[名無しさん]

llama.cppの方がセットアップ簡単だった。vLLMはバッチ処理向けで単発の会話にはオーバースペックかも。

[名無しさん]

llama.cppで動かしてる。量子化の選択肢が多いのがいい。

[名無しさん]

具体的にどの量子化使ってる？性能と速度のバランスが知りたい。

[名無しさん]

Q5_K_Mがちょうどいい感じ。品質落ちずに速度もそこそこ。

[名無しさん]

プライバシー重視でローカルLLMに興味あるんだけど、DeepSeekって中国製だよね？大丈夫なん？

[名無しさん]

オープンだし、ローカルで動かす分には問題ないんじゃない？を自分で検証できるし。

[名無しさん]

でも重みが中国から配布されてるのが気になる。サードパーティのミラーを使うなど工夫が必要かも。

[名無しさん]

ベンチマーク結果はどう？HumanEvalとかでLlamaやQwenと比較した人いる？

[名無しさん]

海外のスレではDeepSeek Coderが同じ規模のLlamaより良いって話が多い。ただし日本語だとまた違うかも。

[名無しさん]

実際に日本語コーディングで試したけど、コメント生成が英語になることが多くて微妙。プロンプトで日本語指定すれば大丈夫だけど。

[名無しさん]

とりあえず試したいけど、ハードル高いな。クラウドAPIのほうが楽か。

[名無しさん]

コスト気にするならローカルの方が長期的には安いかも。最初のセットアップさえ乗り越えれば。

[名無しさん]

電気代と初期投資考えたら、頻繁に使うならローカル、たまに使うならAPIかな。

[名無しさん]

DeepSeek 3.2ってvLLM公式でサポートされてるの？

[名無しさん]

vLLMのモデルリストに入ってるよ。でもAttentionの設定でハマる人多いみたい。

[名無しさん]

確かに自分も起動時にエラー出た。vLLMのバージョンを最新にしたら直ったけど。

[名無しさん]

このスレ参考になる。自分も挑戦してみるわ。GPUのメモリ空けとかなきゃ。

[投稿者]

投稿