DeepSeekのmHCを1.7Bパラメータで再現した結果、不安定性が報告の3倍だったけどモデルは爆発しなかった

[名無しさん]

RedditのLocalLLaMA板で、DeepSeekのmHC（マルチヘッドキャッシュ？）を1.7Bパラメータ、8xH100環境で再現したという投稿がありました。報告では不安定性が3kだったのが実際は10kと3倍悪かったものの、モデルは爆発しなかったそうです。この結果についてどう思いますか？

[名無しさん]

3倍の不安定性でも実用的に使えるのか気になる。

[名無しさん]

不安定性が10kってことは学習が安定しないってこと？

[名無しさん]

おそらく勾配の変動が大きいんだろう。でも爆発しなかったのは良い傾向。

[名無しさん]

勾配クリッピングとかで改善できるんじゃない？

[名無しさん]

それか学習率を下げるとか。でも元の論文の設定が謎。

[名無しさん]

8xH100って結構なコストだな。一般ユーザーには厳しい。

[名無しさん]

DeepSeekの論文ってあんまり再現性ないってよく聞くけど、これもその一例か。

[名無しさん]

確かにDeepSeekの結果は再現しにくいという話があるね。でもこの人は再現できたんだからすごい。

[名無しさん]

1.7Bならもう少し小さいモデルで試してみたい。

[名無しさん]

8台のH100って個人では無理だから、やっぱり研究機関向けだな。

[名無しさん]

不安定性が3倍って結構な差だけど、モデルが壊れなかったのは収穫。

[名無しさん]

こういう再現実験は大事。学会は盛りすぎるからね。

[名無しさん]

そうそう。特に中国の論文は再現が難しいって言われる。

[名無しさん]

1.7Bでこの不安定性なら、もっと大きいモデルはどうなるんだろう。

[名無しさん]

多分もっと悪化する。だからDeepSeekは大規模モデルでうまくいってないのかも。

[名無しさん]

そもそもmHCって何の略？Multi-Head Cache？

[名無しさん]

多分そう。推論を効率化する技術らしい。

[名無しさん]

再現性の問題はよくあるけど、こうして報告してくれるのはありがたい。

[名無しさん]

自分も試してみたいけど、H100なんてないわ。

[名無しさん]

クラウドで借りる手もあるけど、めっちゃ高い。

[名無しさん]

とにかくモデルが爆発しなかったのは良いニュース。今後に期待。

[投稿者]

投稿