DeepSeekが公開した「Engram」：条件付きメモリとスパース性の新しい軸について

[名無しさん]

Redditのr/LocalLLaMAで話題になっていたDeepSeekの新しい論文「Engram: Conditional Memory via Scalable Lookup」についてのスレッドです。GitHubで公開されたこの手法は、大規模言語モデルにスパース性の新しい軸を導入し、条件付きメモリをスケーラブルに実現するものだそうです。ローカルLLM界隈では、推論コストの削減や性能向上に期待する声がある一方で、実装の複雑さや実際の効果に懐疑的な意見も見られます。

[名無しさん]

これって要するに、従来のMoEみたいなスパース性とは別の次元ってこと？ちゃんと読まないと理解できなさそう。

[名無しさん]

そうそう、従来のMoEは専門家の選択だけど、Engramは各トークンが自分に合ったメモリスロットをルックアップする感じらしい。

[名無しさん]

それって結局、実装が複雑になりそうじゃない？スケーラビリティのトレードオフが気になる。

[名無しさん]

条件付きメモリって、推論時に特定の知識を動的に呼び出すってこと？効果がありそうだね。

[名無しさん]

条件付きメモリと言っても、結局は計算コストとのバランスだと思う。使いどころ次第。

[名無しさん]

そうね。ただ、長文生成とかだと効果発揮しそう。メモリ肥大化の問題を解決できるかも。

[名無しさん]

DeepSeekは最近色々出してるけど、これでどのくらい性能上がるんだろう。ベンチマーク結果待ち。

[名無しさん]

Redditのコメントでは既に試した人がいて、特定のタスクで結構改善したらしいよ。ただしコードがまだ整ってないって。

[名無しさん]

マジ？自分でも試してみたいけど、VRAM消費が増えそうで怖い。ローカルで動くのかな。

[名無しさん]

正直、論文のタイトルだけじゃ中身がよくわからん。誰か簡単に解説してくれ。

[名無しさん]

簡単に言うと、Transformerのアテンションとは別に、外部メモリから条件に応じて情報を引っ張ってくる仕組みらしい。

[名無しさん]

なるほど。それってRetrieval-Augmented Generationと似てる？でももっと軽量なのかな。

[名無しさん]

RAGほど重くないらしいよ。でもそもそもスパース性が新しい軸って理論的な面白さがあるね。

[名無しさん]

DeepSeekはオープンこのレベル出してくるから凄い。競争が激しくなるね。

[名無しさん]

ただ、論文の再現性はまだ不明。Redditでも一部の人が再現できてないって投稿してた。

[名無しさん]

ああ、やっぱりそうか。新しい手法は再現に苦労する。公式の実装が整うのを待つ方がいいかも。

[名無しさん]

個人的には、この手法がローカルLLMのメモリ効率をどれだけ改善するかが気になる。現状のモデルでも十分使えるけど、もっと大きなモデルが動かせるなら嬉しい。

[名無しさん]

確かに。でもVRAM節約になるかは疑問。むしろ追加でメモリが必要な気がする。

[名無しさん]

まあ、スパース性を導入することでトレードオフがあるのは間違いない。でも研究として面白い方向だと思う。今後の発展を期待。

[投稿者]

投稿