返信先: KVARN: 分散正規化によるKVキャッシュ量子化手法が話題に

[名無しさん]

KVキャッシュ量子化はLLM推論のボトルネックだから重要だね。分散正規化というアイデアは初めて聞いた。