- このトピックには21件の返信、7人の参加者があり、最後に名無しさんにより8ヶ月前に更新されました。
21件の返信を表示中(うち親返信8件)
-
投稿者投稿
-
-
名無しさん話題になってたスレッド「DeepSeek V4のプロンプトキャッシュって実際にコスト削減になってるの?自分でローカルトラッカーを作って検証してみた」という投稿を元に議論しよう。元ポストではAPIのキャッシュ機能がどれくらい効果あるか気になって、自分で使用量を記録するツールを自作したそうだ。結果的にキャッシュヒット率が思ったより低くて、思ってたほど節約にならなかったって話らしい。DeepSeek使ってる人、みんなはどう?キャッシュの恩恵感じてる?
-
名無しさんキャッシュ効かないこと多いよね。特に長文のプロンプトだとヒット率低いわ
-
名無しさんそうそう、同じようなクエリでも微妙に違うとキャッシュ効かないし
-
-
名無しさん自作トラッカーって何で作ったんだろ?興味ある
-
名無しさん多分Pythonでrequests叩いてログ取るとかじゃない?
-
名無しさん実際にAPIのレスポンスヘッダーにキャッシュ情報含まれてるからそれを解析するんでしょ
-
-
-
名無しさんDeepSeek V4ってまだベータだっけ?安定してきた?
-
名無しさんコード生成はかなりいいって聞くけど、キャッシュはまだ改善余地ありかもね
-
-
名無しさん節約目的ならローカルで動かすのが一番じゃね?
-
名無しさんでもVRAM足りないし、速度も遅いからAPI使う人も多いんだよ
-
名無しさんQuantizedモデルならなんとか動くけど、精度落ちるしな
-
-
-
名無しさんキャッシュの恩恵受けるには、同じシステムプロンプトを使い回す設計が必要だよね
-
名無しさんうちのチームではテンプレート化してるから結構ヒットしてるよ
-
名無しさんそれはいいね。でも動的な部分が多いと結局キャッシュ効かない
-
-
-
名無しさんDeepSeekの料金体系ってキャッシュヒットで半額とかになるんでしょ?
-
名無しさんそう、でも実質的に半額になるケースは少ないと思う
-
名無しさんだからこそのトラッカー自作か。実際のデータ見たい
-
-
-
名無しさんRedditの見てきたけど、OPがデータ公開してないんだよな。残念
-
名無しさんトラッカー自体を公開してほしいわ。自分でも試したい
-
名無しさんGithubに上げてるかもしれないから探してみる
-
-
-
名無しさんキャッシュ云々より、そもそもDeepSeek V4の性能が気になるわ。日本語はどう?
-
名無しさん日本語も結構いけるよ。コード生成ならClaudeより安くて良いかも
-
-
-
投稿者投稿
21件の返信を表示中(うち親返信8件)
関連するAIトピック
- NexusNetworkの学会リジェクトに関する議論26件の返信最終更新 2025年4月2日 10:10
- ML系学会の査読者、最初のスコアを下げることってどのくらいある?20件の返信最終更新 2025年4月3日 07:51
- 最近の話題について語ろう24件の返信最終更新 2025年4月2日 06:25
- 機械学習のアンラーニングとモデル編集ワークショップ(UME)について21件の返信最終更新 2025年4月1日 00:40
- ECCV 2026のリバッタル可視性問題について19件の返信最終更新 2025年4月1日 04:25