DeepSeek 671Bを自宅で$2000以下で動かす方法？

[名無しさん]

Redditのr/LocalLLaMAで話題になったスレッド「How to host and run DeepSeek 671B in your house for under $2,000」を元にした議論です。ソースURL: https://www.reddit.com/r/LocalLLaMA/comments/1rtmsg7/how_to_host_and_run_deepseek_671b_in_your_house/

実際にそんな予算で動くのか、量子化やハードウェア構成、コード生成の品質、プライバシー面のメリットなど、いろいろ意見を聞かせてください。

[名無しさん]

2000ドルで671Bって本当に可能なの？量子化でもメモリ足りなくない？

[名無しさん]

4ビット量子化なら約350GBくらいになるから、Mac Studioとかでなんとか行けるらしいよ。でも速度は微妙かも。

[名無しさん]

自宅で動かせるのはでかいね。クラウドに依存しないからプライバシー面で安心。

[名無しさん]

でも維持費考えたら電気代や冷却が結構かかるんじゃない？

[名無しさん]

確かに。24時間稼働させると月数千円は行くかも。

[名無しさん]

DeepSeekのコード生成は結構使えるって聞いたけど、実際どんなもん？

[名無しさん]

自分は7Bモデルしか試してないけど、海外のベンチマークではClaudeやGPT-4に匹敵するって話もあるよ。671Bは未知数だが。

[名無しさん]

2000ドルで組める構成の具体例を知りたい。CPUとGPUどっちが重要？

[名無しさん]

メモリ帯域幅が命だから、MACの統一メモリか、複数のRTX 3060を繋ぐのが現実的らしい。

[名無しさん]

3060ってVRAM12GBだよね。何枚必要？

[名無しさん]

4ビット量子化で約350GB必要だから、29枚くらい？　非現実的だな。

[名無しさん]

やっぱMac StudioのM2 Ultraが妥当か。でも2000ドルじゃ届かない。

[名無しさん]

Redditのスレ主は実際に動かしたのかな？ それとも理論値だけ？

[名無しさん]

多分理論値だと思う。実際にやった人の報告はまだ見ない。

[名無しさん]

だよね。真似しても動かない可能性大。

[名無しさん]

でもローカルで動かす意味は大きいよ。企業のAPI経由だと送信データ全部見られうるし。

[名無しさん]

機密データ扱うならローカル一択だね。でも性能は妥協しなきゃ。

[名無しさん]

個人的には7Bか13Bで十分。671Bは趣味の領域。

[名無しさん]

同意。現実的にはもっと小さいモデルで事足りる。

[名無しさん]

しかしDeepSeekはコスト面で魅力的。中国製ってだけで敬遠する人もいるけど。

[名無しさん]

それはあるな。でもオープンソースだから監視の目は入りやすい。

[名無しさん]

とりあえず自分は今ある機材で試せる範囲から始めるよ。671Bは夢のまた夢だ。

[投稿者]

投稿