DeepSeek V4-Flash 13Bアクティブパラメータ、128GB Macでも動くか？

このトピックには23件の返信、7人の参加者があり、最後に名無しさんにより1年、 3ヶ月前に更新されました。

23件の返信を表示中（うち親返信12件）

投稿者

投稿
- 2025年3月6日 8:19 AM #64547 返信
  
  名無しさん
  
  Redditのr/LocalLLaMAで話題になっているDeepSeek V4-Flashのスレッドを紹介します。13Bのアクティブパラメータを持ち、量子化すれば128GB Macでも動くかもしれないとのこと。コード生成やコスト、プライバシー面での評価が議論されています。ッド:
- 2025年3月6日 8:21 AM #64548 返信
  
  名無しさん
  
  これすごいな。13Bでこれだけできるなら、ローカルLLMの選択肢が広がる。
  - 2025年3月6日 8:28 AM #64550 返信
    
    名無しさん
    
    でも実際のベンチマークはどうなの？既存の7Bモデルと比較してどのくらい差がある？
    - 2025年3月6日 8:37 AM #64552 返信
      
      名無しさん
      
      Redditのコメント見ると、GSM8KやHumanEvalで高いスコア出してるみたい。ただし検証が必要。
      - 2025年3月6日 9:00 AM #64557 返信
        
        名無しさん
        
        自分でベンチマーク取らないとね。他人のスコアはあてにならない。
- 2025年3月6日 8:24 AM #64549 返信
  
  名無しさん
  
  128GB Macってまだ高いけど、量子化で動くなら試してみたい。
  - 2025年3月6日 8:47 AM #64554 返信
    
    名無しさん
    
    128GB MacってM1 Ultraとか？メモリ帯域も重要だからそこも考慮しないと。
    - 2025年3月6日 9:24 AM #64561 返信
      
      名無しさん
      
      M1 Ultraのメモリ帯域は800GB/sだから、推論速度も期待できる。
- 2025年3月6日 8:35 AM #64551 返信
  
  名無しさん
  
  コード生成ならDeepSeekは結構優秀って聞くけど、V4-Flashは特にCoder向けなのかな。
  - 2025年3月6日 8:57 AM #64556 返信
    
    名無しさん
    
    Coder向けっていうより汎用モデルっぽい。でもコードも得意らしい。
- 2025年3月6日 8:41 AM #64553 返信
  
  名無しさん
  
  プライバシー重視ならローカル運用は正義。クラウドAPI使いたくない人には朗報。
- 2025年3月6日 8:56 AM #64555 返信
  
  名無しさん
  
  量子化ビット数が気になる。4bitでどれだけ性能落ちるんだろ。
- 2025年3月6日 9:04 AM #64558 返信
  
  名無しさん
  
  13Bアクティブパラメータってことは、全体ではもっと大きいのか？MoE構造？
  - 2025年3月6日 9:10 AM #64559 返信
    
    名無しさん
    
    そう、MoEで総パラメータは100B以上あるって話。アクティブは13Bだけ。
- 2025年3月6日 9:22 AM #64560 返信
  
  名無しさん
  
  それならVRAM消費は13B相当で済むのか。良い設計だな。
  - 2025年3月6日 10:02 AM #64569 返信
    
    名無しさん
    
    アクティブパラメータだけなら、既存の13Bモデルと同程度のリ済むから嬉しい。
- 2025年3月6日 9:26 AM #64562 返信
  
  名無しさん
  
  でもAPIの方がコスト安いんじゃない？電気代考えると。
  - 2025年3月6日 9:31 AM #64563 返信
    
    名無しさん
    
    長期的にはローカルの方が安い場合もある。特に頻繁に使うなら。
- 2025年3月6日 9:39 AM #64564 返信
  
  名無しさん
  
  競合のQwenとかと比べてどうなんだろう。
  - 2025年3月6日 9:41 AM #64565 返信
    
    名無しさん
    
    RedditではDeepSeekの方がコーディング性能高いって意見多い。でも好みの問題かも。
- 2025年3月6日 9:45 AM #64566 返信
  
  名無しさん
  
  128GB Mac持ってないから、普通のPCで動かす方法も考えないと。
  - 2025年3月6日 9:50 AM #64567 返信
    
    名無しさん
    
    GPUメモリ24GBあれば4bit量子化でなんとか動くかも。ただし速度は遅い。
- 2025年3月6日 10:00 AM #64568 返信
  
  名無しさん
  
  とりあえずHugging Faceでモデル公開されたら試してみる。
- 2025年3月6日 10:05 AM #64570 返信
  
  名無しさん
  
  でも品質が13Bモデル並みなら、素直に大きいモデル使う方が良くない？
投稿者

投稿

23件の返信を表示中（うち親返信12件）

返信先: DeepSeek V4-Flash 13Bアクティブパラメータ、128GB Macでも動くか？

あなたの情報:

お名前 (必須)

メール (非公開) (必須):

ウェブサイト:

AA

タイトルとURLをコピーしました