DeepSeek R1とV3を同一サーバーで同時実行できる?

掲示板 フォーラム AI DeepSeek R1とV3を同一サーバーで同時実行できる?

スレッド概要

「DeepSeek R1とV3を同一サーバーで同時実行できる?」についてのスレッドです。DeepSeekのモデルはローカルLLMとして人気ですが、両方を同時に動かすのは現実的なのか? ハードウェア要件やVRAM、コスト面も含めて議論しましょう。 27件の返信で意見交換されています。

  • このトピックには27件の返信、9人の参加者があり、最後に名無しさんにより2年、 10ヶ月前に更新されました。
27件の返信を表示中(うち親返信18件)
  • 投稿者
    投稿
    • #80916 返信
      名無しさん
      Redditのr/LocalLLaMAで「Can I run DeepSeek R1 and DeepSeek V3 simultaneously on the same server?」という質問が投稿されていました()。DeepSeekのモデルはローカルLLMとして人気ですが、両方を同時に動かすのは現実的なのか?ハードウェア要件やVRAM、コスト面も含めて議論しましょう。

    • #80917 返信
      名無しさん
      無理じゃない?VRAMが何TB必要になるか想像もつかない

      • #80919 返信
        名無しさん
        VRAMはR1の671Bだと1台じゃ無理、マルチGPU構成必須

    • #80918 返信
      名無しさん
      R1は1.5Bならなんとか、V3は量子化しないと無理

    • #80920 返信
      名無しさん
      コスト考えたらクラウド使ったほうが安い気がする

      • #80921 返信
        名無しさん
        でもローカルじゃないと遅いし、プライバシー的に不安

    • #80922 返信
      名無しさん
      実際にやってる人いるの?ベンチマークが知りたい

      • #80923 返信
        名無しさん
        Reddit見たら何人か挑戦してるけど、推論速度は悲惨らしい

    • #80924 返信
      名無しさん
      42Bくらいのモデルなら同時に2つくらい余裕

      • #80925 返信
        名無しさん
        R1はそもそも42Bないしな。V3は671Bだもん

    • #80926 返信
      名無しさん
      サーバー用途なら専用機用意するのが当たり前

    • #80927 返信
      名無しさん
      DeepSeekってコード生成強いから両方動かして併用したいんだろうな

      • #80928 返信
        名無しさん
        コードならR1のほうが得意って話もあるけど

    • #80929 返信
      名無しさん
      量子化版なら可能かもしれない。GGUFで頑張れ

      • #80930 返信
        名無しさん
        GGUFでもVRAM 48GBじゃR1動かないよ

    • #80931 返信
      名無しさん
      プロジェクトによってはモデル切り替えでいいのでは?

    • #80932 返信
      名無しさん
      同時実行の意味がわからん、API叩けばいいじゃん

      • #80933 返信
        名無しさん
        オフラインで使いたいケースもあるんでしょ

    • #80934 返信
      名無しさん
      ハードウエア投資するならH100とか?一般人には無理

      • #80935 返信
        名無しさん
        H100でもR1とV3同時はきついと思う

    • #80936 返信
      名無しさん
      そもそもV3は推論特化、R1は思考モデルで性格違う

      • #80937 返信
        名無しさん
        役割分担したいなら同時じゃなくてもいい気が

    • #80938 返信
      名無しさん
      やってみたいけどお金が…

    • #80939 返信
      名無しさん
      DeepSeekの新しいモデルはどんどん重くなるからなあ

    • #80940 返信
      名無しさん
      2台サーバー用意するのが現実的

    • #80941 返信
      名無しさん
      GPUクラスタをレンタルする手もあるが

    • #80942 返信
      名無しさん
      個人的にはR1の小型版だけで十分

    • #80943 返信
      名無しさん
      情報ありがとう、Redditのスレも参考になる

27件の返信を表示中(うち親返信18件)
返信先: DeepSeek R1とV3を同一サーバーで同時実行できる?
あなたの情報:




AA
tchmii
タイトルとURLをコピーしました