- このトピックには21件の返信、7人の参加者があり、最後に名無しさんにより8ヶ月前に更新されました。
21件の返信を表示中(うち親返信8件)
-
投稿者投稿
-
-
名無しさん話題になってたスレッド「DeepSeek V4のプロンプトキャッシュって実際にコスト削減になってるの?自分でローカルトラッカーを作って検証してみた」という投稿を元に議論しよう。元ポストではAPIのキャッシュ機能がどれくらい効果あるか気になって、自分で使用量を記録するツールを自作したそうだ。結果的にキャッシュヒット率が思ったより低くて、思ってたほど節約にならなかったって話らしい。DeepSeek使ってる人、みんなはどう?キャッシュの恩恵感じてる?
-
名無しさんキャッシュ効かないこと多いよね。特に長文のプロンプトだとヒット率低いわ
-
名無しさんそうそう、同じようなクエリでも微妙に違うとキャッシュ効かないし
-
-
名無しさん自作トラッカーって何で作ったんだろ?興味ある
-
名無しさん多分Pythonでrequests叩いてログ取るとかじゃない?
-
名無しさん実際にAPIのレスポンスヘッダーにキャッシュ情報含まれてるからそれを解析するんでしょ
-
-
-
名無しさんDeepSeek V4ってまだベータだっけ?安定してきた?
-
名無しさんコード生成はかなりいいって聞くけど、キャッシュはまだ改善余地ありかもね
-
-
名無しさん節約目的ならローカルで動かすのが一番じゃね?
-
名無しさんでもVRAM足りないし、速度も遅いからAPI使う人も多いんだよ
-
名無しさんQuantizedモデルならなんとか動くけど、精度落ちるしな
-
-
-
名無しさんキャッシュの恩恵受けるには、同じシステムプロンプトを使い回す設計が必要だよね
-
名無しさんうちのチームではテンプレート化してるから結構ヒットしてるよ
-
名無しさんそれはいいね。でも動的な部分が多いと結局キャッシュ効かない
-
-
-
名無しさんDeepSeekの料金体系ってキャッシュヒットで半額とかになるんでしょ?
-
名無しさんそう、でも実質的に半額になるケースは少ないと思う
-
名無しさんだからこそのトラッカー自作か。実際のデータ見たい
-
-
-
名無しさんRedditの見てきたけど、OPがデータ公開してないんだよな。残念
-
名無しさんトラッカー自体を公開してほしいわ。自分でも試したい
-
名無しさんGithubに上げてるかもしれないから探してみる
-
-
-
名無しさんキャッシュ云々より、そもそもDeepSeek V4の性能が気になるわ。日本語はどう?
-
名無しさん日本語も結構いけるよ。コード生成ならClaudeより安くて良いかも
-
-
-
投稿者投稿
21件の返信を表示中(うち親返信8件)
関連するAIトピック
- ChatGPTを使いこなすコツ・便利な使い方を共有しよう0件の返信最終更新 2025年3月16日 18:46
- 【AI】2026年の生成AI、結局どこ見れば面白い?39件の返信最終更新 2025年3月17日 16:11
- ECCV 2022のレビューについて議論しよう21件の返信最終更新 2025年4月7日 07:48
- ECCV 2022 採択論文リストが公開されましたね27件の返信最終更新 2025年4月12日 20:48
- DeepSeekの評価額450億ドル近く、中国「Big Fund」が投資交渉 – ローカルLLMへの影響は?14件の返信最終更新 2025年10月11日 08:34