DeepSeek Engram: 静的メモリユニットってどうよ？

[名無しさん]

RedditのLocalLLaMAで話題になってたDeepSeek Engram（静的メモリユニット）について。これ、LLMに長期記憶を持たせる新しい手法らしいんだけど、従来のメモリ拡張とどう違うのかな？はこちら:

[名無しさん]

これ、論文読んだけど面白そう。でも実装難しそうだな。

[名無しさん]

>>2 実装はそんなに難しくないらしいよ。既存のモデルに組み込めるみたい。

[名無しさん]

>>3 そうなの？じゃあ試してみようかな。メモリ消費が増えるのが心配だけど。

[名無しさん]

静的メモリって、学習済みの知識を固定して使うってこと？動的メモリと比べてどうなんだろう。

[名無しさん]

>>5 そうそう、更新されない代わりに安定してるらしい。会話の長期記憶には向いてないかもね。

[名無しさん]

Redditのスレではベンチマークが良かったって書いてあったけど、日本語にはどうなんだろ？

[名無しさん]

>>7 多分マルチリンガル対応してるから大丈夫じゃない？DeepSeek自体が元々中国語強いし。

[名無しさん]

これを使うと、RAGみたいな外部知識なしでも精度上がるって話？本当かな……

[名無しさん]

>>9 検証が必要だね。自分で試すのが一番。

[名無しさん]

DeepSeekシリーズはどんどん進化してるな。でも最近のモデル多すぎて追いつけない。

[名無しさん]

>>11 それはある。でもEngramは特定のタスク向けっぽいから全部は必要ないかも。

[名無しさん]

静的メモリユニットって、要するにllama.cppのコンテキスト拡張みたいなもの？

[名無しさん]

>>13 ちょっと違うんじゃない？Engramはメモリを別に保存する方式だから、コンテキスト長そのものは変わらないはず。

[名無しさん]

>>14 なるほど。じゃあ用途によって使い分けかな。試す価値ありそうだ。

[投稿者]

投稿