「670B DeepSeek R1をローカルで動かせる」って新しい「Crysis動く？」のミームか？

スレッド概要

「「670B DeepSeek R1をローカルで動かせる」って新しい「Crysis動く？」のミームか？」についてのスレッドです。」というミームになぞらえて議論されてる。そのスレッドを元に、ローカルLLMの現実的なスペックやコスト、プライバシー面について語り合おう。 26件の返信で意見交換されています。

このトピックには26件の返信、8人の参加者があり、最後に名無しさんにより2年、 10ヶ月前に更新されました。

26件の返信を表示中（うち親返信16件）

投稿者

投稿
- 2023年9月28日 #78817 返信
  
  名無しさん
  
  Redditのr/LocalLLaMAで「670BのDeepSeek R1をローカルで実行できるか」という話題が、昔の「Crysisを動かせるか？」というミームになぞらえて議論されてる。そのスレッドを元に、ローカルLLMの現実的なスペックやコスト、プライバシー面について語り合おう。
- 2023年9月28日 #78818 返信
  
  名無しさん
  
  どうせ24GBのVRAMじゃ無理だろ（笑）
  - 2023年9月28日 #78820 返信
    
    名無しさん
    
    いや、RTX 4090を2枚挿せばなんとかなるらしい。ただし予算が…
    - 2023年9月28日 #78831 返信
      
      名無しさん
      
      2枚挿しでも電力や冷却が大変そう。
- 2023年9月28日 #78819 返信
  
  名無しさん
  
  量子化すれば動くって話もあるけど、速度は悲惨だよね。
  - 2023年9月28日 #78825 返信
    
    名無しさん
    
    4ビット量子化で30～40GBくらいになるらしいけど、それでもデカいわ。
- 2023年9月28日 #78821 返信
  
  名無しさん
  
  こんなモデル、普通の人はクラウドで使うほうが現実的だと思うわ。
  - 2023年9月28日 #78823 返信
    
    名無しさん
    
    クラウドだとデータが外部に出るのが気になるんだよな。
- 2023年9月28日 #78822 返信
  
  名無しさん
  
  プライバシー重視ならローカル一択だけど、670Bは無理ゲー。70Bで妥協しとけ
- 2023年9月28日 #78824 返信
  
  名無しさん
  
  Crysisの頃と違って、今は量子化技術が進んでるから全然違うと思う。
  - 2023年9月28日 #78827 返信
    
    名無しさん
    
    そうそう、当時は「動くかどうか」だけが問題だったけど、今は実用性も重要。
- 2023年9月28日 #78826 返信
  
  名無しさん
  
  そもそも670Bってパラメータ数が多すぎて、まともな推論速度が出ないのでは？
  - 2023年9月28日 #78829 返信
    
    名無しさん
    
    実際に試した人のレポート見ると、4090でも1トークン/秒くらいしか出ないらしい。
- 2023年9月28日 #78828 返信
  
  名無しさん
  
  自分はMistral 7Bで十分。670Bとか頭おかしいだろ。
- 2023年9月28日 #78830 返信
  
  名無しさん
  
  Crysisのミームは趣味の領域だったけど、DeepSeekは仕事で使う人もいるからな。
  - 2023年9月28日 #78834 返信
    
    名無しさん
    
    でもコード生成とか専門領域だと差が出るっていう意見もあるよ。
    - 2023年9月28日 #78839 返信
      
      名無しさん
      
      コーディングならClaude使ったほうが安上がりだという意見もあった。
- 2023年9月28日 #78832 返信
  
  名無しさん
  
  メモリ帯域がボトルネックになりそう。HBM2eとか必要？
- 2023年9月28日 #78833 返信
  
  名無しさん
  
  あれだけのパラメータをローカルで動かす価値あるのかね？ベンチマーク見てるとそんなに変わらんし。
  - 2023年9月28日 #78836 返信
    
    名無しさん
    
    MATHとかGSM8Kだと確かに差があるけど、日常使いでは気にならないレベル。
- 2023年9月28日 #78835 返信
  
  名無しさん
  
  結局、金と時間があればできるけど、普通の人はクラウド使えってことか。
- 2023年9月28日 #78837 返信
  
  名無しさん
  
  「動く」と「使える」は違うってこのスレで痛感したわ。
- 2023年9月28日 #78838 返信
  
  名無しさん
  
  そういえばDeepSeekの最新モデルってR1じゃなくてV3とかもあるよね。そっちにしたら？
  - 2023年9月28日 #78842 返信
    
    名無しさん
    
    V3の方が効率良いって聞いた。R1は思考モデルだから重いんだって。
- 2023年9月28日 #78840 返信
  
  名無しさん
  
  このミーム、数年後には「670Bなんて余裕」みたいな時代が来るんだろうな（遠い目）
- 2023年9月28日 #78841 返信
  
  名無しさん
  
  今はまだハードウェアが追いついてないだけで、技術は進んでるからね。
- 2023年9月28日 #78843 返信
  
  名無しさん
  
  とりあえず、ローカルで動かすにはApple SiliconのMaxとかUltra買うしかないのか…
投稿者

投稿

26件の返信を表示中（うち親返信16件）

返信先: 「670B DeepSeek R1をローカルで動かせる」って新しい「Crysis動く？」のミームか？

あなたの情報:

お名前 (必須)

メール (非公開) (必須):

ウェブサイト:

AA

タイトルとURLをコピーしました