DeepSeek V4 Pro、3090何枚で動く？ローカルLLMの現実

掲示板 › フォーラム › AI › DeepSeek V4 Pro、3090何枚で動く？ローカルLLMの現実

  • このトピックには24件の返信、8人の参加者があり、最後に名無しさんにより12ヶ月前に更新されました。
24件の返信を表示中（うち親返信10件）
  • 投稿者
    投稿
    • 2025年6月29日 11:50 PM #63449 返信
      名無しさん
      Redditのr/LocalLLaMAでDeepSeek V4 Proを動かすのに何枚のRTX 3090が必要かというスレがありました。モデルサイズや量子化、推論速度、コスト、プライバシーなど、ローカルLLMならではの議論が中心です。: この話題についてどう思いますか？

    • 2025年6月29日 11:51 PM #63450 返信
      名無しさん
      3090 24GBだとV4 Proのフル精度は無理だろ。Q4_K_Mくらいなら2枚でいけるか？

      • 2025年6月29日 11:54 PM #63451 返信
        名無しさん
        2枚でも推論遅いって報告あるぞ。4枚くらい覚悟したほうがいいかも。

    • 2025年6月29日 11:59 PM #63452 返信
      名無しさん
      むしろコスパ考えると4090とかBlackwell待ちじゃない？

    • 2025年6月30日 12:06 AM #63453 返信
      名無しさん
      クラウドAPIでよくね？ローカルにこだわる意味ある？

      • 2025年6月30日 12:08 AM #63454 返信
        名無しさん
        プライバシーやカスタマイズ考えたらローカルもありだよ。でもコストはかかる。

        • 2025年6月30日 12:11 AM #63455 返信
          名無しさん
          個人でやるならDeepSeekじゃなくてllamaやMistralで十分って説もある。

    • 2025年6月30日 12:17 AM #63456 返信
      名無しさん
      ベンチマーク見るとV4 Proはコーディング強いみたいだけど、サイズがネック。

      • 2025年6月30日 12:26 AM #63457 返信
        名無しさん
        確かに。でも70Bパラメータ超えると3090積んでも厳しい。

        • 2025年6月30日 12:27 AM #63458 返信
          名無しさん
          3090 4枚でLLaMA 70Bは動くけど、DeepSeekはアーキテクチャ違うから枚数増えるかも。

    • 2025年6月30日 12:30 AM #63459 返信
      名無しさん
      V4 ProってMoEだっけ？それなら推論時は一部だけ動くから意外と少ないVRAMで済む？

      • 2025年6月30日 12:34 AM #63460 返信
        名無しさん
        MoEでもプロファイルがバカでかいから結局メモリ食うらしい。

        • 2025年6月30日 12:40 AM #63461 返信
          名無しさん
          じゃあ3090 8枚くらい？電気代やばいな。

    • 2025年6月30日 12:52 AM #63462 返信
      名無しさん
      Redditのスレでは「DeepSeekは中国製だから信用できない」とか言ってる人いたが、実際どうなんだ。

      • 2025年6月30日 12:54 AM #63463 返信
        名無しさん
        ライセンスは一応オープンだけど、データ収集の件とか気になるよね。

    • 2025年6月30日 12:57 AM #63464 返信
      名無しさん
      とりあえず手軽に試すならHuggingFaceのスペースで動かせば？

      • 2025年6月30日 1:01 AM #63465 返信
        名無しさん
        それだとローカルの意味ないじゃんｗ

        • 2025年6月30日 1:09 AM #63466 返信
          名無しさん
          まあ最初の感触掴むにはいいかも。でも重いのは変わらん。

    • 2025年6月30日 1:11 AM #63467 返信
      名無しさん
      自分は3090 1枚で7Bモデル使ってるけど、V4 Proは夢のまた夢だな。

      • 2025年6月30日 1:15 AM #63468 返信
        名無しさん
        1枚で7Bなら十分実用的。V4 Proは金持ち向け。

        • 2025年6月30日 1:20 AM #63469 返信
          名無しさん
          それか、クラウドでレンタルGPU使うのが現実的じゃね？

    • 2025年6月30日 1:30 AM #63470 返信
      名無しさん
      量子化技術が進めば3090 2枚でも動くようになるかもね。

      • 2025年6月30日 1:32 AM #63471 返信
        名無しさん
        期待したい。でもDeepSeekの開発スピードについていけるか。

    • 2025年6月30日 1:35 AM #63472 返信
      名無しさん
      結局、現状ではローカルでV4 Proを動かすのは非現実的。クラウドか小型モデルで妥協が無難。

      • 2025年6月30日 1:39 AM #63473 返信
        名無しさん
        同意。技術の進歩を待つか、金をかけるかだな。

  • 投稿者
    投稿
24件の返信を表示中（うち親返信10件）
返信先: DeepSeek V4 Pro、3090何枚で動く？ローカルLLMの現実
あなたの情報:




AA

関連するAIトピック

tchmii
タイトルとURLをコピーしました