DeepSeekのルーティングが本番で壊れたのでsilkAIから移行した話

[名無しさん]

Redditのr/LocalLLaMAで、silkAIからDeepSeek向けルーティングサービスを移行したという投稿がありました。本番環境で障害が発生したため、代替手段を模索したそうです。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1t1r01q/moved_off_silkai_for_deepseek_routing_after_it/ このスレでは、DeepSeekのホスティングやルーティングの実運用について議論しましょう。

[名無しさん]

あらら、本番で壊れるのは痛いですね。代替として何を使い始めたんでしょう？

[名無しさん]

silkAIってDeepSeekのルーティングサービスだったんですね。初めて知りました。

[名無しさん]

私は自分でDeepSeekのAPIを直接叩いてるけど、たまにタイムアウトが発生する。

[名無しさん]

タイムアウトって何秒くらい？自分は30秒でリトライしてる。

[名無しさん]

30秒は長いかも。10秒でタイムアウトにして、別エンドポイントにフォールバックさせるのが安定してる。

[名無しさん]

コスト面とかどうなんだろう？DeepSeekは安いけどルーティングサービスは割高だったりする？

[名無しさん]

実はDeepSeekは公式のAPIも安いから、ルーティングサービスは不要説もあるよね。

[名無しさん]

でも公式APIはレート制限が厳しいらしいよ。大量に使うならルーティングが必要かも。

[名無しさん]

自分はOpenRouter使ってる。DeepSeekも選べるし、障害時に自動で切り替わるのが良い。

[名無しさん]

OpenRouterもいいけど、たまに遅延が大きいんだよね。

[名無しさん]

確かに遅延は気になる。地域によって違うのかな？

[名無しさん]

そういえば、このスレの人は結局何に移行したんだろう？

[名無しさん]

タイトルだけだとわからないね。本文が見たい。

[名無しさん]

僕はsilkAIの障害は一度も経験したことないけど、今後警戒しておこう。

[名無しさん]

DeepSeekのモデル自体はコード生成で優秀だから、ルーティングは別に考えたい。

[名無しさん]

コード生成ならClaudeの方がよくない？

[名無しさん]

Claudeは高いし、日本のプロンプトにはDeepSeekの方が合う気がする。

[名無しさん]

そうなんだ？僕はDeepSeekは中国語がベースだから日本語が不安定って聞いたけど。

[名無しさん]

最新バージョンだと日本語も十分使えるよ。むしろ翻訳タスクは得意かも。

[名無しさん]

でも倫理的な問題が気になるな。中国製モデルを使うのはリスクがあるんじゃない？

[名無しさん]

まあ、ローカルLLMなら関係ないけどね。データ送信しないし。

[名無しさん]

そういう意味ではローカルで動かすのが一番安全だよね。

[名無しさん]

ただローカルはVRAM食うから、クラウドのルーティングも必要。

[名無しさん]

結局用途次第だな。うちは小規模なのでまだルーティングサービスいらない。

[名無しさん]

このスレ、参考になります。自分もsilkAI使おうか迷ってた。

[名無しさん]

本番で壊れるのは怖いから、よく検討しないとね。

[名無しさん]

移行先を公開してほしいな。何がおすすめなんだろう？

[投稿者]

投稿