DeepSeek V4 Proを自宅で動かす話 ～速いらしい～

[名無しさん]

「I have (even faster) DeepSeek V4 Pro at home」という投稿がありました。DeepSeek V4 Proをローカルで動かしている人がいて、速度が向上したとのこと。プライバシーやコスト面での利点、ベンチマーク比較などが話題になっています。: このスレでは、DeepSeekモデルのローカル運用や他のLLMとの比較について意見交換しましょう。

[名無しさん]

DeepSeek V4 Proってそんなに速いのか？以前使ったV3はまあまあだったけど。

[名無しさん]

V4はアーキテクチャ変わってるらしい。特に推論速度が向上してるって噂。

[名無しさん]

自宅で動かすならVRAMがネックだな。何GB必要？

[名無しさん]

ローカルLLMの魅力はやっぱりプライバシー。業務データを外部に出さなくていい。

[名無しさん]

でも結局 accuracy でクラウドのGPTには敵わないよね。用途次第。

[名無しさん]

コーディング補助ならローカルでも十分実用的。DeepSeekはコード生成強いって聞く。

[名無しさん]

ベンチマーク見たいけど、Redditのが403で見れない…誰かミラー持ってる？

[名無しさん]

確かに。でもスニペットからすると、速度面でかなり主張してるみたい。

[名無しさん]

Hugging Faceにモデルあるから自分で試せばいいよ。

[名無しさん]

DeepSeekって中国の企業だよね。データ漏洩とか大丈夫？

[名無しさん]

ローカルならネット切って使えば問題ない。でもモデル自体にバックドアが…とかは気にしすぎか。

[名無しさん]

オープンウェイトだから検証しようと思えばできる。コミュニティの監視もある。

[名無しさん]

V4 Pro、どれくらいのRAMで動く？RTX 4090でいける？

[名無しさん]

量子化次第。4bitなら24GBでいけるんじゃない？

[名無しさん]

4090で試した人の話だと、70Bモデルは無理。32Bくらいが限界。

[名無しさん]

速度向上って具体的にどのくらい？V3比で2倍とか？

[名無しさん]

Redditのコメントでは「体感3倍」とか言ってたけど誇大広告っぽい。

[名無しさん]

ちゃんとベンチ取ってる人いないかな。

[名無しさん]

個人的にはllama.cppで使えるかどうかが重要。

[名無しさん]

DeepSeekはGGUF対応してるよ。llama.cppで普通に動く。

[名無しさん]

対応してるけど、V4の新機能を使うには専用ランタイムが必要かも。

[名無しさん]

結局、Mistral Largeとかと比べてどうなの？

[名無しさん]

性能面ではDeepSeekのが若干上ってデータもあるけど、エコシステムはMistralのが充実。

[名無しさん]

どっちも使ってるけど、用途による。日本語はDeepSeekのが改善されたって聞く。

[投稿者]

投稿