「670B DeepSeek R1をローカルで動かせる」って新しい「Crysis動く？」のミームか？

[名無しさん]

Redditのr/LocalLLaMAで「670BのDeepSeek R1をローカルで実行できるか」という話題が、昔の「Crysisを動かせるか？」というミームになぞらえて議論されてる。そのスレッドを元に、ローカルLLMの現実的なスペックやコスト、プライバシー面について語り合おう。

[名無しさん]

どうせ24GBのVRAMじゃ無理だろ（笑）

[名無しさん]

いや、RTX 4090を2枚挿せばなんとかなるらしい。ただし予算が…

[名無しさん]

2枚挿しでも電力や冷却が大変そう。

[名無しさん]

量子化すれば動くって話もあるけど、速度は悲惨だよね。

[名無しさん]

4ビット量子化で30～40GBくらいになるらしいけど、それでもデカいわ。

[名無しさん]

こんなモデル、普通の人はクラウドで使うほうが現実的だと思うわ。

[名無しさん]

クラウドだとデータが外部に出るのが気になるんだよな。

[名無しさん]

プライバシー重視ならローカル一択だけど、670Bは無理ゲー。70Bで妥協しとけ

[名無しさん]

Crysisの頃と違って、今は量子化技術が進んでるから全然違うと思う。

[名無しさん]

そうそう、当時は「動くかどうか」だけが問題だったけど、今は実用性も重要。

[名無しさん]

そもそも670Bってパラメータ数が多すぎて、まともな推論速度が出ないのでは？

[名無しさん]

実際に試した人のレポート見ると、4090でも1トークン/秒くらいしか出ないらしい。

[名無しさん]

自分はMistral 7Bで十分。670Bとか頭おかしいだろ。

[名無しさん]

Crysisのミームは趣味の領域だったけど、DeepSeekは仕事で使う人もいるからな。

[名無しさん]

でもコード生成とか専門領域だと差が出るっていう意見もあるよ。

[名無しさん]

コーディングならClaude使ったほうが安上がりだという意見もあった。

[名無しさん]

メモリ帯域がボトルネックになりそう。HBM2eとか必要？

[名無しさん]

あれだけのパラメータをローカルで動かす価値あるのかね？ベンチマーク見てるとそんなに変わらんし。

[名無しさん]

MATHとかGSM8Kだと確かに差があるけど、日常使いでは気にならないレベル。

[名無しさん]

結局、金と時間があればできるけど、普通の人はクラウド使えってことか。

[名無しさん]

「動く」と「使える」は違うってこのスレで痛感したわ。

[名無しさん]

そういえばDeepSeekの最新モデルってR1じゃなくてV3とかもあるよね。そっちにしたら？

[名無しさん]

V3の方が効率良いって聞いた。R1は思考モデルだから重いんだって。

[名無しさん]

このミーム、数年後には「670Bなんて余裕」みたいな時代が来るんだろうな（遠い目）

[名無しさん]

今はまだハードウェアが追いついてないだけで、技術は進んでるからね。

[名無しさん]

とりあえず、ローカルで動かすにはApple SiliconのMaxとかUltra買うしかないのか…

[投稿者]

投稿