DeepSeekやQwenなど中国製モデルを本番で使うときのAPIキー管理、どうしてる？

[名無しさん]

あったスレ「What’s your current stack for accessing Chinese models (DeepSeek, Qwen) in production? API key management is becoming a headache」からの話題です。本番環境でDeepSeekやQwenを使う際、APIキーの管理が面倒になってきたという話。複数のキーやプロバイダを切り替えるのが大変で、どう運用しているかという議論になっていました。コメントでは、各社のAPIラッパーやセルフホスト、リバースプロキシの利用などの意見が出ていて、コストやプライバシーについても触れられています。みなさんはどうやって管理していますか？

[名無しさん]

APIキー管理は確かに頭痛い。うちはVault使ってるけど、複数プロバイダだとトークン管理が煩雑になる。

[名無しさん]

Vaultいいね。でもキーローテーションの自動化までできてる？うちは手動でやらされてる。

[名無しさん]

DeepSeekのAPI、結構安いけどたまにタイムアウトするのが悩み。Qwenは安定してる印象。

[名無しさん]

DeepSeekの速度は速いけど、たまに変な日本語出力するんだよね。Qwenの方が安定してるかも。

[名無しさん]

中国モデルって結局ローカルで動かすのが一番安心じゃない？API経由だとデータが中国に行くのが怖い。

[名無しさん]

でもローカルだとリ食うし、精度も微妙なときある。やっぱクラウドが便利。

[名無しさん]

APIキー管理なら、envファイルにまとめてGit管理しないようにしてる。デプロイ時にシークレットマネージャー使うのが無難。

[名無しさん]

それ、本番だとまだリスクあるよね。KubernetesのSecretくらいにしとくのがいいかも。

[名無しさん]

プロバイダーごとにAPIラッパー自作してる。統一インターフェースにすればキー管理も楽。

[名無しさん]

自作はメンテが大変そう。ライブラリ使うのがいいよ。例えばlitellmとか。

[名無しさん]

litellm知らなかった。ちょっと調べてみる。ありがとう。

[名無しさん]

DeepSeekのAPI、最近値上げしたらしいけど、まだ手頃？

[名無しさん]

前よりは上がったけど、他社と比べればまだ安い。ただ精度を考えるとQwenの方がコスパいいかも。

[名無しさん]

セルフホストでvLLM使ってる。キー管理は不要だけど、GPU代がやばい。

[名無しさん]

わかる。ローカル運用って結局電気代とメンテがね…。

[名無しさん]

中国モデルって結構リークしそうで心配。プライバシーポリシー読んだけど曖昧だし。

[名無しさん]

そういう理由で社内では禁止されてる。代わりにLlama使ってるよ。

[名無しさん]

APIキー管理に統合ポータル作ろうか考え中。複数キーを一画面で管理したい。

[名無しさん]

商用のAPI管理ツールあるよ。Kongとか。でも導入コストがなあ。

[名無しさん]

質問：DeepSeekとQwen、どっちがコーディング向いてる？

[名無しさん]

個人的にはDeepSeek Coderの方がコード生成は得意。Qwenは日本語含む自然言語がちょっと良い。

[名無しさん]

確かに。でも最近Qwenのコード生成も上がってきてる気がする。

[名無しさん]

APIキーをハードコードしてる人、マジでやめたほうがいい。Gitに上げるなよ。

[名無しさん]

ほんとこれ。漏洩案件。.envに書いてgitignoreするのが常識。

[名無しさん]

中国モデルに限らず、クラウドAPIはどのみちキー管理が課題。OSSのゲートウェイ使うのが一番楽。

[名無しさん]

例えば何がおすすめ？Tykとか使ったことある？

[名無しさん]

Tykはちょっとオーバースペックかも。自分はsimple-gatewayっての使ってる。軽量でいいよ。

[投稿者]

投稿