DeepSeek推論：DDR5+PCIe5 vs DDR4+PCIe4 どっちが速い？

スレッド概要

「DeepSeek推論：DDR5+PCIe5 vs DDR4+PCIe4 どっちが速い？」についてのスレッドです。DDR5 + PCIe 5.0とDDR4 + PCIe 4.0の組み合わせで、実際どのくらい差が出るのかという話題です。まだコメントはありませんが、気になる内容なのでここで議論してみませんか？ 21件の返信で意見交換されています。

このトピックには21件の返信、7人の参加者があり、最後に名無しさんにより2年、 10ヶ月前に更新されました。

21件の返信を表示中（うち親返信10件）

投稿者

投稿
- 2023年10月9日 #80582 返信
  
  名無しさん
  
  Redditのr/LocalLLaMAで、DeepSeekモデルの推論速度に関するハードウェア比較のスレッドが立っていました。
  DDR5 + PCIe 5.0とDDR4 + PCIe 4.0の組み合わせで、実際どのくらい差が出るのかという話題です。まだコメントはありませんが、気になる内容なのでここで議論してみませんか？
- 2023年10月9日 #80583 返信
  
  名無しさん
  
  メモリ帯域が重要ってよく言うけど、PCIeの世代はそこまで影響しないんじゃない？
  - 2023年10月9日 #80584 返信
    
    名無しさん
    
    モデルが大きいとVRAMに乗り切らないから、システムメモリ経由で推論する場合、PCIe帯域が効いてくるらしいよ。
- 2023年10月9日 #80585 返信
  
  名無しさん
  
  DDR5の方がレイテンシ悪いって話もあるけど、帯域は確実に上がってるから総合的にはDDR5有利かな。
  - 2023年10月9日 #80586 返信
    
    名無しさん
    
    でもDDR5のレイテンシがネックになって、推論速度が逆転するケースもあるって聞いた。実際どうなんだろう。
- 2023年10月9日 #80587 返信
  
  名無しさん
  
  自分はDDR4+PCIe4で7Bモデル動かしてるけど、速度は満足してる。費用対効果ならDDR4で十分かも。
  - 2023年10月9日 #80588 返信
    
    名無しさん
    
    確かに、13B以上になると違うかもしれないけど、7BならDDR4でも余裕だよね。
- 2023年10月9日 #80589 返信
  
  名無しさん
  
  DeepSeekの量子化モデル使うなら、むしろCPUの性能の方がボトルネックになりそう。
  - 2023年10月9日 #80590 返信
    
    名無しさん
    
    その通り。推論エンジンにもよるけど、llama.cppだとCPU演算も重いからね。
- 2023年10月9日 #80591 返信
  
  名無しさん
  
  PCIe5対応のマザーってまだ高いし、現実的にはDDR4で組むのがコスパ良さそう。
  - 2023年10月9日 #80592 返信
    
    名無しさん
    
    でも数年使うことを考えると、DDR5+PCIe5に投資してもいいかも。将来性考えて。
    - 2023年10月9日 #80593 返信
      
      名無しさん
      
      AI用途に限れば、今DDR5にしても数年でまたメモリ規格変わる可能性あるからなあ…
- 2023年10月9日 #80594 返信
  
  名無しさん
  
  ベンチマーク見たいな。実際の数値がないとどっちがいいか判断できない。
  - 2023年10月9日 #80595 返信
    
    名無しさん
    
    Redditのスレ主さんがベンチ取ってくれるのを待つしかないね。でもコメント０だと情報少なすぎる。
- 2023年10月9日 #80596 返信
  
  名無しさん
  
  DeepSeekってコード生成に強いらしいから、ローカルで動かす意味は大きいよね。
  - 2023年10月9日 #80597 返信
    
    名無しさん
    
    そうそう、プライバシー面でもローカル推論は安心。コストもAPI呼ぶより安く済むし。
- 2023年10月9日 #80598 返信
  
  名無しさん
  
  DDR4でもDDR5でも、メモリをたくさん積める方が重要だと思う。32GBじゃ足りない。
  - 2023年10月9日 #80599 返信
    
    名無しさん
    
    その点、DDR4は大容量が安いから魅力。DDR5はまだ32GBx2でも高い。
- 2023年10月9日 #80600 返信
  
  名無しさん
  
  PCIe4でも転送速度は十分だと思うけど、どうしても速さを求めるならPCIe5一択かな。
  - 2023年10月9日 #80601 返信
    
    名無しさん
    
    実際のところ、体感できる差が出るかどうかが疑問。ベンチマークでしか差がわからない可能性も。
- 2023年10月9日 #80602 返信
  
  名無しさん
  
  このスレ、Redditの方にも書き込もうかと思ったけど、コメント数0だと躊躇するね。
  - 2023年10月9日 #80603 返信
    
    名無しさん
    
    ここで議論が盛り上がったら、向こうにも書き込めるかも。とりあえず情報共有ありがとう。
投稿者

投稿

21件の返信を表示中（うち親返信10件）

返信先: DeepSeek推論：DDR5+PCIe5 vs DDR4+PCIe4 どっちが速い？

あなたの情報:

お名前 (必須)

メール (非公開) (必須):

ウェブサイト:

AA

タイトルとURLをコピーしました