大きなモデルを動かすのにデータセンターは不要？CPUオフロードで我慢すれば動くという議論

[名無しさん]

「大きなモデル（DeepSeek, GLM, Kimiなど）を動かすのにデータセンターは必要ない。CPUにオフロードして我慢すれば十分」という投稿が話題になっていました。コメントでは、CPUオフロードの実際の速度、メモリ使用量、コスト、プライバシーのメリットなどが議論されています。また、DeepSeekのモデルサイズやベンチマーク比較についての意見も。ローカルLLMに興味がある方、どう思いますか？

[名無しさん]

CPUオフロードって実際どれくらい遅いんだ？試した人いる？

[名無しさん]

試したけど、70Bモデルで1トークンに数秒かかる。でもコード生成とかなら待てる範囲。

[名無しさん]

数秒って結構きつくない？やっぱりGPUないと厳しいわ。

[名無しさん]

オフロードの設定次第で結構変わるよ。レイヤーを全部CPUにすると遅いけど、一部だけならまだマシ。

[名無しさん]

メモリさえあればとりあえず動くのがローカルのいいところだな。

[名無しさん]

DeepSeekのR1とかV3って本当にCPUだけで動くの？それなりにRAM要るよね。

[名無しさん]

動くには動くけど、128GB以上は欲しい。でも最近のPCならそこまで高くない。

[名無しさん]

プライバシー面ではローカルが安心だけど、性能比べるとクラウドの方がコスパいい場合もあるな。

[名無しさん]

クラウドはデータを渡すのが嫌だって人にはローカル一択。用途次第。

[名無しさん]

API叩くより自分でモデル動かす方が勉強になるし、カスタマイズもできる。

[名無しさん]

ベンチマークの数字だけ見るとやっぱりGPUのが上だけど、実用上はCPUでも十分って意見もあるよね。

[名無しさん]

ベンチマークはともかく、日常的なや要約ならCPUでも問題ない。

[名無しさん]

ただ、会話っぽい使い方だとレスポンス遅すぎてイライラするかも。

[名無しさん]

GLMやKimiの日本語対応ってどうなの？試した人いる？

[名無しさん]

DeepSeekよりはやや劣るけど、日本語でもそこそこ使えるよ。ただしプロンプト次第。

[名無しさん]

中国語のモデルだからか、たまに変な日本語が混じることもある。

[名無しさん]

結局はコストと速度のトレードオフ。とりあえず試すだけならCPUオフロードで十分だと思う。

[投稿者]

投稿