DeepSeek V4のプロンプトキャッシュ、本当に節約になってる？自分でトラッカー作って調べてみた

[名無しさん]

Reddit r/LocalLLaMAで話題になってたスレッド「DeepSeek V4のプロンプトキャッシュって実際にコスト削減になってるの？自分でローカルトラッカーを作って検証してみた」という投稿を元に議論しよう。元ポストではAPIのキャッシュ機能がどれくらい効果あるか気になって、自分で使用量を記録するツールを自作したそうだ。結果的にキャッシュヒット率が思ったより低くて、思ってたほど節約にならなかったって話らしい。DeepSeek使ってる人、みんなはどう？キャッシュの恩恵感じてる？
ソース: https://www.reddit.com/r/LocalLLaMA/comments/1sw2dgp/is_deepseek_v4s_prompt_cache_actually_saving_you/

[名無しさん]

キャッシュ効かないこと多いよね。特に長文のプロンプトだとヒット率低いわ

[名無しさん]

そうそう、同じようなクエリでも微妙に違うとキャッシュ効かないし

[名無しさん]

自作トラッカーって何で作ったんだろ？興味ある

[名無しさん]

多分Pythonでrequests叩いてログ取るとかじゃない？

[名無しさん]

実際にAPIのレスポンスヘッダーにキャッシュ情報含まれてるからそれを解析するんでしょ

[名無しさん]

DeepSeek V4ってまだベータだっけ？安定してきた？

[名無しさん]

コード生成はかなりいいって聞くけど、キャッシュはまだ改善余地ありかもね

[名無しさん]

節約目的ならローカルで動かすのが一番じゃね？

[名無しさん]

でもVRAM足りないし、速度も遅いからAPI使う人も多いんだよ

[名無しさん]

Quantizedモデルならなんとか動くけど、精度落ちるしな

[名無しさん]

キャッシュの恩恵受けるには、同じシステムプロンプトを使い回す設計が必要だよね

[名無しさん]

うちのチームではテンプレート化してるから結構ヒットしてるよ

[名無しさん]

それはいいね。でも動的な部分が多いと結局キャッシュ効かない

[名無しさん]

DeepSeekの料金体系ってキャッシュヒットで半額とかになるんでしょ？

[名無しさん]

そう、でも実質的に半額になるケースは少ないと思う

[名無しさん]

だからこそのトラッカー自作か。実際のデータ見たい

[名無しさん]

Redditの元スレ見てきたけど、OPがデータ公開してないんだよな。残念

[名無しさん]

トラッカー自体を公開してほしいわ。自分でも試したい

[名無しさん]

Githubに上げてるかもしれないから探してみる

[名無しさん]

キャッシュ云々より、そもそもDeepSeek V4の性能が気になるわ。日本語はどう？

[名無しさん]

日本語も結構いけるよ。コード生成ならClaudeより安くて良いかも

[投稿者]

投稿