DeepSeek R1をTesla P40で6.5tk/s――ローカルLLMの実用性を語る

[名無しさん]

RedditのLocalLLaMA板で、DeepSeek R1をNvidia Tesla P40（中古で安い12GB VRAMの古いGPU）で動かしたら6.5トークン/秒だったという投稿が話題になっていました。

[名無しさん]

すごい！P40でもそこそこ動くんだな。意外と使えるかも。

[名無しさん]

でも6.5tk/sだと実用にはキツくない？会話は辛いよね。

[名無しさん]

バッチ処理なら十分だよ。やコード生成なら待てるレベル。

[名無しさん]

コード生成なら待てる速度かも。ただし長い出力は注意。

[名無しさん]

電気代考えたらクラウドの方が安くない？

[名無しさん]

プライバシー重視なら自前運用もありだよ。企業は特に。

[名無しさん]

量子化モデルならもっと速くなるはず。4bitにすればVRAMも節約。

[名無しさん]

R1じゃなくてV3の方が効率いいって話も聞くが、どうなんだろう。

[名無しさん]

実際に試したけど、メモリ足りなくて落ちた。バッチサイズ調整必須。

[名無しさん]

バッチサイズ1にして、コンテキスト長を減らせば動くよ。

[名無しさん]

価格差考えたらP40って今でも買いなのか？中古で数千円とか。

[名無しさん]

中古で安いしいい選択肢だと思う。ただし消費電力がネック。

[名無しさん]

サポート切れてるから将来性は微妙。新しいCUDA使えないし。

[名無しさん]

DeepSeekの中国製ってのが気になる。検閲やデータ漏洩が怖い。

[名無しさん]

そこは気分的な問題もあるよね。LLaMA系の方が安心かも。

[名無しさん]

性能だけ見ればLLaMAの方が上って話も。ただしR1は軽量。

[名無しさん]

このスレのreddit元のコメントも参考になる。英語でも議論が深い。

[名無しさん]

6.5tk/sってJP版だとどのくらい？日本語対応モデルなら遅くなる？

[名無しさん]

日本語トークンは多いから、体感もう少し遅いかも。試した人いる？

[名無しさん]

今のところ手軽さならllama.cppが最強。CUDAじゃなくても動くし。

[名無しさん]

P40はVRAM多いから大きなモデル扱える利点はある。12GBはでかい。

[名無しさん]

でも電力消費量はかなりだろうな。アイドルでも100W超えるし。

[名無しさん]

自作PCに突っ込んで遊ぶにはいいかも。研究目的ならアリ。

[名無しさん]

結局、用途次第ってことか。実験ならコスパ良い。

[名無しさん]

もっと安い解決策ないかな？M4 Macとかの方が現実的？

[投稿者]

投稿