Token Brokerってやつ、OpenAI互換のゲートウェイらしいけどどうよ？

[名無しさん]

Reddit r/LocalLLaMAで「Token Broker」というサービスを公開したって投稿があった。DeepSeekやQwen、GLM、Kimiといったモデルに対応したOpenAI互換のゲートウェイで、USDプリペイド方式らしい。自己宣伝っぽいけど、実際のところ使い勝手やコスト面はどうなんだろう？API経由で各モデルを簡単に切り替えられるとか、ローカルLLM派としては気になるところ。プライバシー面での懸念とか、既存のプロバイダーとの比較など議論したい。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1u7udqc/disclosure_i_built_token_broker_openaicompatible/

[名無しさん]

USDプリペイドってことはクレカか仮想通貨かな？手数料とか大丈夫なのか

[名無しさん]

DeepSeekは最近結構使ってるけど、直接API叩くのと大差ないならわざわざ仲介いらない気がする

[名無しさん]

でも複数モデルを同じエンドポイントで呼べるのは便利かも。設定変えずに切り替えられるのはいい

[名無しさん]

自己宣伝だし、まずは無料枠とか試せるのか？そうでなければ信用できない

[名無しさん]

そうそう。個人が作ったサービスにAPIキー預けるのは怖い。データ抜かれない？

[名無しさん]

ローカルLLM勢としてはこういう外部APIには頼りたくないな。全部ローカルで動かしたい

[名無しさん]

わかるけど、R1とか大きいモデルは自分のPCじゃ無理だからクラウドも必要よ

[名無しさん]

それなら既存のOpenAIやAnthropicでよくない？これのメリットがよくわからん

[名無しさん]

中国のモデルをメインに扱ってるのがポイントか。DeepSeekやGLMは安いからコスト重視ならあり

[名無しさん]

でも中国モデルは品質が安定してないし、検閲も気になる。個人利用ならまだしも

[名無しさん]

DeepSeekのR1は結構評判いいけどね。ベンチマークも高いし。ただしプライバシーは別問題

[名無しさん]

実際に使った人のレポートがないと判断できない。Redditのコメントもまだ少ないみたいだし

[名無しさん]

そうだね。まずは小額で試してみるのがいいかも。でもクレカ情報渡すのが不安

[投稿者]

投稿