DeepSeek-R1-0528 14BのvLLMでの実行について

[名無しさん]

Redditのr/LocalLLaMAに「DeepSeek-R1-0528 14BもしくはDeepSeek-R1 14BをvLLMでダウンロードして実行できるか？」という投稿がありました。元のスレッドでは、モデルの正確なバージョンやベンチマーク、プライバシー、コスト面などが議論されていました。日本語圏でも同様に、ローカルLLMの選択肢としてDeepSeekシリーズに注目が集まっています。

[名無しさん]

自分も同じ疑問。Hugging Faceで見つけたのはR1-0528の14Bは無くて、なぜか7Bとか33Bしかなかった。

[名無しさん]

それ、多分リネームされてるだけじゃない？ 公式のリポジトリ確認した？

[名無しさん]

vLLMで動かすなら量子化モデルが安定してる気がする。14Bなら4bitでVRAM8GBくらい？

[名無しさん]

8GBじゃ足りないと思う。14Bの4bitでも10GB超えるし、推論時にもっと使うよ。

[名無しさん]

DeepSeekってコード生成強いって聞くけど、日本語対応どうなんだろう。

[名無しさん]

中国製だから中国語は得意だけど、日本語はLlama系より劣るってベンチマークあったよ。

[名無しさん]

でも最近のアップデートで結構改善されてるらしい。R1-0528はその辺も強化されてるとか？

[名無しさん]

vLLMで動かす場合、サポートされてるモデルか確認した方がいい。Hugging Faceのドキュメントみると一覧がある。

[名無しさん]

あれ、DeepSeek系はvLLMで結構トラブルあるって聞いたけど。自分はollamaでしか試してない。

[名無しさん]

ollamaだと簡単だけど、カスタマイズしたいならvLLM一択だよね。設定が面倒だけど。

[名無しさん]

そもそもR1-0528ってベータ版？ 安定してるなら使いたいけど。

[名無しさん]

0528は日付っぽいから、2025年5月28日リリースの実験版ってことかも。本家R1とは別物で、まだ評価中って人多いよ。

[名無しさん]

ベンチマーク結果もまちまちで、一部ではR1超えって言うけど個体差が大きいらしい。

[名無しさん]

14Bって中途半端なサイズだよね。7Bじゃ足りないし、33Bは重いし。

[名無しさん]

確かに。でも最近は12Bとか20Bとかも出てきて、選択肢は増えてきたよ。

[名無しさん]

12BのQwen2.5とかGoodって聞く。DeepSeekにこだわる必要ある？

[名無しさん]

注目されてる理由はコスパだよね。DeepSeekはAPIが激安だから、ローカルでも似た性能を期待してる人が多い。

[名無しさん]

APIのコスパは確かに良いけど、ローカルで動かすなら電気代とかのランニングコストも考えないと。

[名無しさん]

Redditのスレ見てると、新規参入者はDeepSeek選びがちだけど、既存のLlama系で十分って意見も多いよ。

[名無しさん]

それはそう。でも中国製モデルってことでプライバシー懸念あるから、ローカルならいいかもね。

[名無しさん]

結局、実際に試してみないと分からない。自分はとりあえずR1 14Bをq4_K_Mで落としてみるわ。

[名無しさん]

そのうち、このスレにも結果報告してほしい。よろしく！

[投稿者]

投稿