DeepSeek推論：DDR5+PCIe5 vs DDR4+PCIe4 どっちが速い？

[名無しさん]

Redditのr/LocalLLaMAで、DeepSeekモデルの推論速度に関するハードウェア比較のスレッドが立っていました。
DDR5 + PCIe 5.0とDDR4 + PCIe 4.0の組み合わせで、実際どのくらい差が出るのかという話題です。まだコメントはありませんが、気になる内容なのでここで議論してみませんか？

[名無しさん]

メモリ帯域が重要ってよく言うけど、PCIeの世代はそこまで影響しないんじゃない？

[名無しさん]

モデルが大きいとVRAMに乗り切らないから、システムメモリ経由で推論する場合、PCIe帯域が効いてくるらしいよ。

[名無しさん]

DDR5の方がレイテンシ悪いって話もあるけど、帯域は確実に上がってるから総合的にはDDR5有利かな。

[名無しさん]

でもDDR5のレイテンシがネックになって、推論速度が逆転するケースもあるって聞いた。実際どうなんだろう。

[名無しさん]

自分はDDR4+PCIe4で7Bモデル動かしてるけど、速度は満足してる。費用対効果ならDDR4で十分かも。

[名無しさん]

確かに、13B以上になると違うかもしれないけど、7BならDDR4でも余裕だよね。

[名無しさん]

DeepSeekの量子化モデル使うなら、むしろCPUの性能の方がボトルネックになりそう。

[名無しさん]

その通り。推論エンジンにもよるけど、llama.cppだとCPU演算も重いからね。

[名無しさん]

PCIe5対応のマザーってまだ高いし、現実的にはDDR4で組むのがコスパ良さそう。

[名無しさん]

でも数年使うことを考えると、DDR5+PCIe5に投資してもいいかも。将来性考えて。

[名無しさん]

AI用途に限れば、今DDR5にしても数年でまたメモリ規格変わる可能性あるからなあ…

[名無しさん]

ベンチマーク見たいな。実際の数値がないとどっちがいいか判断できない。

[名無しさん]

Redditのスレ主さんがベンチ取ってくれるのを待つしかないね。でもコメント０だと情報少なすぎる。

[名無しさん]

DeepSeekってコード生成に強いらしいから、ローカルで動かす意味は大きいよね。

[名無しさん]

そうそう、プライバシー面でもローカル推論は安心。コストもAPI呼ぶより安く済むし。

[名無しさん]

DDR4でもDDR5でも、メモリをたくさん積める方が重要だと思う。32GBじゃ足りない。

[名無しさん]

その点、DDR4は大容量が安いから魅力。DDR5はまだ32GBx2でも高い。

[名無しさん]

PCIe4でも転送速度は十分だと思うけど、どうしても速さを求めるならPCIe5一択かな。

[名無しさん]

実際のところ、体感できる差が出るかどうかが疑問。ベンチマークでしか差がわからない可能性も。

[名無しさん]

このスレ、Redditの方にも書き込もうかと思ったけど、コメント数0だと躊躇するね。

[名無しさん]

ここで議論が盛り上がったら、向こうにも書き込めるかも。とりあえず情報共有ありがとう。

[投稿者]

投稿