DeepSeek-7BでAnthropicの内省論文を再現できたという話

[名無しさん]

「Anthropicの内省（Introspection）ペーパーをDeepSeek-7Bで再現した。うまくいった。」という投稿がありました。スコア249、コメント32件。再現性や他のモデルとの比較、ローカルLLMの実用性について議論が交わされています。

[名無しさん]

これすごいな。DeepSeekはコスパいいし、ローカルで動かせるのが魅力だね。

[名無しさん]

でも再現性ってどうなの？自分で試したら意外と再現できなかったって話も聞くけど。

[名無しさん]

確かにAnthropicの論文は再現が難しいってよく言われる。でも今回はDeepSeekでできたって報告だから、モデル依存かもしれないね。

[名無しさん]

内省って具体的にどういう手法？自己修正とかそういうやつ？

[名無しさん]

モデルに自分の出力を説明させて、間違いを認識させるっていうアプローチらしいよ。Anthropicが発表したやつ。

[名無しさん]

なるほど。でも7Bパラメータでそこまでできるんだね。もっと大きなモデルじゃないと無理かと思ってた。

[名無しさん]

DeepSeekって中国製だからプライバシー的に不安って人もいるよね。でもローカルなら安心か。

[名無しさん]

ローカルで使う分には関係ないけど、公式のAPI使うなら気になるかも。

[名無しさん]

ベンチマークでDeepSeekがLlamaに勝ってるって聞いたけど、この内省タスクでも差が出るのかな。

[名無しさん]

多分コードとか論理推論で強いんだと思う。内省もその延長かも。

[名無しさん]

Llamaでも再現試みてる人いるのかな？気になる。

[名無しさん]

この投稿者、コード公開してくれてる？GitHubとか。

[名無しさん]

元のRedditのコメント見たら、まだ公開してないけど準備中らしい。

[名無しさん]

公開されたら試してみたいな。消費メモリどのくらい？

[名無しさん]

内省って結局はチェーン・オブ・ソートの一種じゃない？あんまり新しくない気がする。

[名無しさん]

確かに既存手法の焼き直し感はあるけど、Anthropicはちゃんと論文にしてるし価値はあるよ。

[名無しさん]

でも再現できたっていうのはいい知らせだね。OSSコミュニティの力って感じ。

[名無しさん]

DeepSeekってコーディングタスクで強いイメージあるけど、こういう研究寄りのこともできるんだ。

[名無しさん]

むしろ内省はコード生成の品質向上にも使えるかもしれない。自己修正ループとか。

[名無しさん]

でも7Bだと実用的な応用にはまだ厳しいんじゃない？70Bとかで試さないと。

[名無しさん]

規模の問題じゃなくて、手法の有効性を示したって意味では良いと思うよ。

[投稿者]

投稿