DeepSeek V4-Flash 13Bアクティブパラメータ、128GB Macでも動くか？

[名無しさん]

Redditのr/LocalLLaMAで話題になっているDeepSeek V4-Flashのスレッドを紹介します。13Bのアクティブパラメータを持ち、量子化すれば128GB Macでも動くかもしれないとのこと。コード生成やコスト、プライバシー面での評価が議論されています。ッド:

[名無しさん]

これすごいな。13Bでこれだけできるなら、ローカルLLMの選択肢が広がる。

[名無しさん]

でも実際のベンチマークはどうなの？既存の7Bモデルと比較してどのくらい差がある？

[名無しさん]

Redditのコメント見ると、GSM8KやHumanEvalで高いスコア出してるみたい。ただし検証が必要。

[名無しさん]

自分でベンチマーク取らないとね。他人のスコアはあてにならない。

[名無しさん]

128GB Macってまだ高いけど、量子化で動くなら試してみたい。

[名無しさん]

128GB MacってM1 Ultraとか？メモリ帯域も重要だからそこも考慮しないと。

[名無しさん]

M1 Ultraのメモリ帯域は800GB/sだから、推論速度も期待できる。

[名無しさん]

コード生成ならDeepSeekは結構優秀って聞くけど、V4-Flashは特にCoder向けなのかな。

[名無しさん]

Coder向けっていうより汎用モデルっぽい。でもコードも得意らしい。

[名無しさん]

プライバシー重視ならローカル運用は正義。クラウドAPI使いたくない人には朗報。

[名無しさん]

量子化ビット数が気になる。4bitでどれだけ性能落ちるんだろ。

[名無しさん]

13Bアクティブパラメータってことは、全体ではもっと大きいのか？MoE構造？

[名無しさん]

そう、MoEで総パラメータは100B以上あるって話。アクティブは13Bだけ。

[名無しさん]

それならVRAM消費は13B相当で済むのか。良い設計だな。

[名無しさん]

アクティブパラメータだけなら、既存の13Bモデルと同程度のリ済むから嬉しい。

[名無しさん]

でもAPIの方がコスト安いんじゃない？電気代考えると。

[名無しさん]

長期的にはローカルの方が安い場合もある。特に頻繁に使うなら。

[名無しさん]

競合のQwenとかと比べてどうなんだろう。

[名無しさん]

RedditではDeepSeekの方がコーディング性能高いって意見多い。でも好みの問題かも。

[名無しさん]

128GB Mac持ってないから、普通のPCで動かす方法も考えないと。

[名無しさん]

GPUメモリ24GBあれば4bit量子化でなんとか動くかも。ただし速度は遅い。

[名無しさん]

とりあえずHugging Faceでモデル公開されたら試してみる。

[名無しさん]

でも品質が13Bモデル並みなら、素直に大きいモデル使う方が良くない？

[投稿者]

投稿