DeepSeek V4, R1, Claude をリクエスト複雑度で振り分けるOpenAI互換プロキシの話題

[名無しさん]

Redditの r/LocalLLaMA で話題になっている、リクエストの複雑さに応じてDeepSeek V4、R1、Claudeを自動ルーティングするOpenAI互換プロキシについてのスレッドです。
元の投稿: https://www.reddit.com/r/LocalLLaMA/comments/1s3rn51/openaicompatible_proxy_that_routes_between/

こういうプロキシ、実用性ありそうですか？各自の使用感や懸念点をどうぞ。

[名無しさん]

面白いアイデアだけど、複雑度の判定ってどうやってるんだろう？トークン数だけだと精度低そう。

[名無しさん]

たぶんプロンプトの長さやキーワード、モデルの応答時間とかで判断してるんじゃない？精度は未知数だけど。

[名無しさん]

そういうプロキシ、結局はベストエフォートになるから、頻繁に使うなら固定モデルの方が安定する気がする。

[名無しさん]

自作するならLangChainとかで似たようなことできそう。でもコスト管理が難しそうだな。

[名無しさん]

DeepSeek V4ってまだ出てないよね？このスレでは将来の話として出てるのかな？

[名無しさん]

RedditではDeepSeekの次期モデルをV4って呼んでることが多いよ。でも正式名称じゃないかも。

[名無しさん]

ClaudeはAPI高いから、複雑な質問だけClaudeに回すってのはコスト削減になるかもね。

[名無しさん]

でもClaudeの得意分野を間違えると逆にコスト増になるリスクもある。

[名無しさん]

素直にOpenRouterみたいなサービス使った方が楽じゃない？自分でプロキシ立てる手間考えたら。

[名無しさん]

OpenRouterだとモデル選択は手動だから、自動振り分けは需要あると思うよ。使い分け自動化したい人はいる。

[名無しさん]

こういうプロキシってオープンソースで公開されるのかな？ソース見てみたい。

[名無しさん]

Redditの投稿者はまだコード公開してないみたい。でも需要あればすぐ出てきそう。

[名無しさん]

複雑度判定にLLM自身を使うってのもありか。でもそれ自体がコストとレイテンシの増加になるな。

[名無しさん]

確かに、ルーティングのための呼び出しが無駄になる可能性もある。軽量モデルで判定するのがベターかも。

[名無しさん]

個人的には自分で選びたい派。でもチームで使うなら自動化も理解できる。

[名無しさん]

そうそう、複数人で使うときは自動で適切なモデルに飛ぶのは便利。特に非エンジニア向け。

[投稿者]

投稿