DeepSeek V4-Flashを8x H100で動かしたらmHCがすごいらしい

[名無しさん]

Reddit r/LocalLLaMAで「8x H100でDeepSeek V4-Flashの内部を動かしてみた – mHCが実際にやっていること」という投稿がありました。モデルの内部動作やmHCの効果について議論されています。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1syeqpe/i_ran_deepseek_v4flash_internals_on_8x_h100s/

[名無しさん]

mHCって何の略？初めて聞いた。

[名無しさん]

なるほど、KVキャッシュの改良版って感じか。

[名無しさん]

Multi-Head Cacheのことらしい。推論高速化の仕組みみたい。

[名無しさん]

8台のH100って金持ちすぎるだろ。個人では無理。

[名無しさん]

クラウドでレンタルすれば意外と安く済むらしいよ。

[名無しさん]

それでも1時間数千円はかかるんでしょ？気軽にはできないな。

[名無しさん]

DeepSeek V4ってどのくらいの性能なんだ？他のモデルと比較して。

[名無しさん]

ベンチマークではLlama 3.1 405Bに迫るって噂。でも実際は使ってみないと分からない。

[名無しさん]

mHCの効果って本当にあるの？過大評価されてない？

[名無しさん]

自分のテストだとトークン生成速度が20%くらい上がった。ただし精度に影響はない。

[名無しさん]

それは結構な改善だな。でもキャッシュのメモリ使用量は増えるんでしょ？

[名無しさん]

そこがトレードオフ。H100なら余裕かもしれんが、コンシューマー向けGPUだと厳しいかも。

[名無しさん]

DeepSeekって中国の企業だよね。データプライバシー大丈夫？

[名無しさん]

ローカルで動かすから問題ない。むしろAPI使うほうがリスク。

[名無しさん]

そうか。でもモデル自体にバックドアがあったら怖いな。

[名無しさん]

オープンウェイトだから検証できるし、コミュニティでチェックされてるよ。

[名無しさん]

8x H100なんて環境、普通の人は持てないから、もっと軽いモデルに期待。

[名無しさん]

V4-Flashは蒸留モデルだから、8x H100は過剰かも。実際は4台でも動くらしい。

[名無しさん]

情報ありがとう。じゃあ2台のA100でもなんとか？

[名無しさん]

メモリ次第。V4-Flashは700Bパラメータあるから、2台のA100 80GBでは足りないかも。

[名無しさん]

このスレ、技術的に深いな。もっと詳細なドキュメント欲しい。

[名無しさん]

Redditの元スレにもっと詳しく書いてあるよ。興味あるなら読んでみて。

[名無しさん]

見てきたけど、結構専門的だった。でもmHCの実装は参考になる。

[名無しさん]

結局、コスパはどうなの？GPT-4よりも安く済む？

[名無しさん]

自前で動かせば長期的には安いけど、初期投資とメンテが大変。APIのほうが手軽。

[投稿者]

投稿