DeepSeek R1 32B 自作機 $1800 完成！最適化のアドバイスください

[名無しさん]

：$1800でDeepSeek R1 32Bのビルドを完成させたとの投稿。主にコーディング用途で、コストやプライバシー、ベンチマーク比較などが話題に。最適化のアドバイスを求めているようです。

[名無しさん]

1800ドルで32B動くのか。思ったより安いな。構成教えてほしい。

[名無しさん]

多分RTX 4060とか中古の3090使ってるんじゃない？32B動かすならVRAM16GB以上必要だし。

[名無しさん]

量子化は何ビットにしてる？4bitならメモリ足りそうだけど。

[名無しさん]

DeepSeekは4bit量子化でも性能いいらしいね。でもやっぱりコード生成なら8bitのほうが安定するって話も。

[名無しさん]

vLLMとか使って推論高速化してみたら？ローカルで動かすならtensor parallelも試す価値あるよ。

[名無しさん]

vLLMは確かに速いけど、DeepSeekのバージョンによっては互換性問題あるって聞いた。試すなら注意。

[名無しさん]

同じくらいの予算で組もうと思ってる。参考にしたいから詳細のスペック晒してほしい。

[名無しさん]

個人的にはollamaで十分。簡単だし、設定も楽。最適化って言うほど必要か？

[名無しさん]

でもAPI叩くよりは安全だし、コストも抑えられる。ローカルLLM最高。

[名無しさん]

32Bだと日本語の精度はどう？DeepSeekは中国製だから中文強いけど、日本語も結構いけるらしい。

[名無しさん]

試したことあるけど、日本語のコードコメントとかちゃんと生成できたよ。ただし専門用語は怪しいときある。

[名無しさん]

電力消費どう？24時間稼働させるなら電気代も考えないと。

[名無しさん]

最適化って言っても、もう動いてるなら余計なことしないほうがいいかも。過学習とか気をつけて。

[名無しさん]

そうそう、とりあえず使ってみて不満あったら調整でいいと思う。まずはベンチマーク取ろう。

[名無しさん]

1800ドルって円高の今ならかなりお得？でもパーツ選びミスるとすぐ超えそう。

[名無しさん]

私も似たような構成でDeepSeek R1使ってるけど、system prompt工夫するだけで結構変わるよ。

[名無しさん]

具体的なsystem prompt教えて！温度設定とかも気になる。

[名無しさん]

本当に最適化したいなら、モデル自体のファインチューニングを検討したほうがいいかも。でもそれはまた別のコストが。

[名無しさん]

ファインチューニングは敷居高いけど、LoRAならそこまで難しくないよ。時間はかかるけど。

[投稿者]

投稿