DeepSeek-R1-0528-UD-Q6-K-XLを10年前のハードで動かした人の話

[名無しさん]

Redditのr/LocalLLaMAで話題になっていたスレッド「DeepSeek-R1-0528-UD-Q6-K-XL on 10 Year Old Hardware」を紹介します。、10年前のCPU（Skylake世代）と24GBのRAM、古いGPU（GTX 1080）でDeepSeek-R1の量子化モデルを動かした実体験が共有されていました。トークン速度は約1～2 tok/sと遅いものの、コード生成や推論が意外と使えるという内容です。ローカルLLMならではのプライバシー面や、コスト面でのメリットも議論されていました。みなさんは古いハードでLLMを動かした経験ありますか？ 元:

[名無しさん]

10年前のハードで動くってすごいな。量子化の進歩を感じる。

[名無しさん]

確かに量子化の品質が昔より良くなったよね。Q6_Kでも結構精度出てるらしい。

[名無しさん]

Q6_Kなら推論品質も結構保たれるから、速度妥協できるなら十分実用的。

[名無しさん]

1～2 tok/sだと実用には厳しくない？ コード生成とかは待てるけど。

[名無しさん]

遅いけど、一回実行しちゃえば放置できるし、プライバシー重視ならアリかも。

[名無しさん]

GTX 1080だとCUDAコア数は多いけど、メモリ帯域がネックじゃない？

[名無しさん]

その通り。古いGPUよりCPUだけの方がメモリ帯域は広いかもね。

[名無しさん]

CPUオンリーで推論するなら、メモリ帯域より演算能力が重要じゃない？

[名無しさん]

DeepSeek-R1って他のモデルと比べてどうなの？ コスパ良さそう？

[名無しさん]

MistralとかLlama 3に比べると、コード生成は優秀って評判。ただし英語特化かな。

[名無しさん]

DeepSeekは中国のモデルだから、バイアスや政治的なフィルターが気になる。

[名無しさん]

そこは気にしすぎかも。実際使ってみると偏りは感じないっていう人も多いよ。

[名無しさん]

俺も似た構成で試したけど、メモリ24GBだと7Bモデルが限界。R1の8Bは動くかな？

[名無しさん]

8Bなら量子化次第で動くはず。Q4_K_Mくらいが現実的かと。

[名無しさん]

クラウドAPIと比べると速度は劣るけど、外出先でも使える安心感はローカルならでは。

[名無しさん]

こういうベンチマーク投稿、もっと増えてほしい。古いハードの限界を知りたい。

[名無しさん]

同意。新しいハード買う前に、手持ちでどこまでできるか知りたいよね。

[名無しさん]

むしろローカルなら気にせず調整できる。ファインチューンもできるし。

[名無しさん]

10年前のPCを処分せずに取っておいて良かったって思える内容だな。

[名無しさん]

スレ主の人は他にどんなツール使ってた？ llama.cppとか？

[名無しさん]

たぶんllama.cppの量子化モデルだよね。Q6_Kって指定があるから。

[名無しさん]

llama.cppのCPU最適化は結構進んでるから、AVX2対応のCPUならなんとかなるかも。

[名無しさん]

自分も古いMAC miniで試したけど、やっぱり遅すぎて諦めた。GPUないと辛い。

[投稿者]

投稿