DeepSeekのキャッシュヒット率99.9%を実現するmemory-keeperというツール

[名無しさん]

RedditのLocalLLaMAサブレに投稿されたmemory-keeperというツールの話題です。DeepSeekのAPI呼び出しに対して3層プロキシを構築し、キャッシュヒット率99.9%を達成したとのこと。コスト削減や応答速度向上に効果がありそうですが、具体的な実装や注意点について議論したいと思います。

[名無しさん]

99.9%ってすごいな。でもキャッシュってどうやって実現してるんだろう？

[名無しさん]

多分プロンプトの埋め込みをキーにして、同じリクエストならキャッシュから返すんだと思う。ただDeepSeekのAPIだとキャッシュポリシーとかもあるし、完全にローカルでやるのは難しそう。

[名無しさん]

プロキシを挟んでキャッシュするってことだよね。VLMみたいに画像キャッシュとは違うし、テキスト生成のキャッシュって結構複雑そう。

[名無しさん]

これって料金節約になるのかな？DeepSeekのAPIはもう安いけど、キャッシュでさらに安くなるなら試してみたい。

[名無しさん]

トークン数にもよるけど、同じ質問を何度も投げるようなケースだと効果絶大だね。チャットボットとかならかなり使える。

[名無しさん]

3-tier proxyってどういう構成なんだろう？最初の層はクライアントサイドのキャッシュ、2層目がサーバーサイド、3層目がAPIプロバイダのキャッシュとか？

[名無しさん]

おそらくメモリ上のキャッシュ、ディスクキャッシュ、そして分散キャッシュみたいな感じじゃない？Redditの元ポストにも詳細があったはず。

[名無しさん]

でも99.9%って正直信じがたいな。キャッシュミスが0.1%しかないってかなり理想的すぎない？

[名無しさん]

実際のユースケース次第だと思うけど、特定のプロンプトパターンに偏らせれば可能かもしれない。汎用的には難しいかも。

[名無しさん]

こういうツールを使うと、DeepSeekのモデルの品質とキャッシュの両方が気になるね。キャッシュが古いモデルだったらどうするんだろう？

[名無しさん]

バージョン管理してれば大丈夫じゃない？でもモデルのアップデートが頻繁だとキャッシュが無駄になる可能性もある。

[名無しさん]

個人的にはLocal LLM派だけど、クラウドAPIでもキャッシュがしっかりしてれば十分使えるかも。

[名無しさん]

確かに。でもプライバシーの観点からAPIに送るのはあまり気が進まない。キャッシュで解決できる問題じゃないし。

[名無しさん]

DeepSeekのAPIは最近爆速になってるけど、キャッシュでさらに速くなるなら嬉しい。OSS化されてないのかな？

[名無しさん]

GitHubで公開されてるみたいだよ。memory-keeperって名前で検索すれば出てくるはず。まだstar少ないけど。

[名無しさん]

おお、ありがとう。後で見てみる。プロキシの設定とか面倒じゃなければ試してみたい。

[投稿者]

投稿