DeepSeek-V4をローカルで動かす！4枚の2080Tiで2万円台の構成

[名無しさん]

海外のReddit、DeepSeek-V4を4枚のレガシーRTX 2080 Ti（予算約2kドル）でローカル実行したという投稿が話題になっていました。カスタムTuringカーネル、W8A8量子化により、プレフィルで255 tok/sを達成したそうです。この投稿をきっかけに、ローカルLLMのコストや性能、プライバシーについて意見が交わされています。URL:

[名無しさん]

すごいな、2080Ti4枚でそんな性能が出るのか。電力消費はどうなんだろう？

[名無しさん]

2080TiのTDPは250Wだから4枚で1000W、電気代が半端ないな。

[名無しさん]

プレフィル255 tok/sってのは凄いけど、実際の生成速度はどれくらいなんだろ？

[名無しさん]

カスタムTuringカーネルって何？普通の2080Tiでも動くの？

[名無しさん]

どうやらCUDAカーネルをチューニングしてるみたい。OSSで公開されてるのかな。

[名無しさん]

W8A8量子化ってのはINT8で重みとアクティベーション両方やるやつだね。精度落ちが気になる。

[名無しさん]

この予算なら中古の2080Ti4枚で2kドルってとこか。日本円で30万くらい？

[名無しさん]

中古市場で1枚3万くらいだから4枚で12万、ケースや電源込みで20万くらいで組めるかも。

[名無しさん]

DeepSeek-V4はパラメータ数いくつだっけ？671B？そんなの2080Tiで動くの？

[名無しさん]

量子化と分散推論でなんとかなってるんだろう。メモリは合計44GBだからぎりぎりか。

[名無しさん]

やっぱりローカルで動かしたいよね。API使うとプライバシーが心配だし。

[名無しさん]

でもDeepSeekのAPI結構安いから、わざわざ2080Ti4枚用意するよりトークン単位で払ったほうがトータルコスト安い気がする。

[名無しさん]

初期投資で済むかランニングコストかだね。電気代も馬鹿にならない。

[名無しさん]

Turing世代の2080TiってNVLink使えるんだっけ？メモリ統合できるなら面白い。

[名無しさん]

NVLink対応してるけど、2080Tiは2-wayまでしかサポートしてないから4枚だと通常のPCIe接続になる。帯域がネックかも。

[名無しさん]

カスタムカーネルって部分が気になる。どんな最適化してるんだろう。

[名無しさん]

多分エキスパート分散とかTuringのテンソルコア活用してるんじゃないかな。でも2080Tiのテンソルコアは遅いって話もある。

[名無しさん]

これって本当に実用的？実際にコード書かせたりするのに使えるレベル？

[名無しさん]

Redditの投稿ではコーディングに使えたって書いてあったけど、精度はFP16より落ちるから注意が必要かも。

[投稿者]

投稿