DeepSeekのmHCを1.7Bパラメータで再現した結果、不安定性が報告の3倍だったけどモデルは爆発しなかった

スレッド概要

「DeepSeekのmHCを1.7Bパラメータで再現した結果、不安定性が報告の3倍だったけどモデルは爆発しなかった」についてのスレッドです。）を1.7Bパラメータ、8xH100環境で再現したという投稿がありました。 報告では不安定性が3kだったのが実際は10kと3倍悪かったものの、モデルは爆発しなかったそうです。 21件の返信で意見交換されています。