DeepSeek R1/V3をDeepInfraで本番運用している人いますか？

[名無しさん]

「Anyone running DeepSeek R1/V3 on DeepInfra in production?」というスレッドがあります。DeepSeekモデルをDeepInfraで本番運用している方の経験や、コスト、プライバシー、ベンチマーク比較などについての議論です。まだコメントはありませんが、ここで日本の皆さんの意見を聞いてみたいと思います。

[名無しさん]

自分は試しにV3を動かしてみたけど、結構速かったよ。本番はまだだけどね。

[名無しさん]

速度はどのくらい？レイテンシーが気になる。

[名無しさん]

DeepInfraの料金、他のAPIと比べてどうなんだろう？

[名無しさん]

公式サイト見れば分かるけど、トークン単価は安めだと思う。でも帯域制限とかあるらしい。

[名無しさん]

帯域制限は許容範囲内かな？大量に使う人は注意が必要そう。

[名無しさん]

R1とV3の違いって何？コード生成ならどっちが良い？

[名無しさん]

個人的にはV3の方がコーディング向きだと思う。R1は推論特化で遅い。

[名無しさん]

確かにベンチマークでもCode系はV3優勢だね。でもR1の論理推論はすごい。

[名無しさん]

本番運用考えるとプライバシーが心配。データが学習に使われないか？

[名無しさん]

DeepInfraはAPI経由なら学習に使わないって明言してるよ。ただし利用規約は確認した方がいい。

[名無しさん]

ローカルで動かせるならそれが一番安心だけど、コストと速度のトレードオフだな。

[名無しさん]

自分はまだ試してないけど、DeepSeekの品質は良さそう。GPT-4の代替になるかな？

[名無しさん]

用途によるけど、数学やコーディングならDeepSeekの方が上って話もある。

[名無しさん]

でも日本語の品質はどうなんだろう？英語に偏ってない？

[名無しさん]

日本語も結構いけるよ。たまにおかしな出力もあるけど、全体としては使えるレベル。

[名無しさん]

DeepInfraのサポートはどう？障害時に対応してくれる？

[名無しさん]

サポートはメールだけみたい。SLAは明記されてないから、ミッションクリティカルには使いづらいかも。

[名無しさん]

自分はAWSのSageMakerでホストしてるけど、DeepInfraの方が安上がりそう。

[名無しさん]

SageMakerはカスタマイズ自由だけど管理が面倒。DeepInfraは楽だよね。

[名無しさん]

実際に本番で使ってる人居るのかな？トラフィック捌ける？

[名無しさん]

個人開発のサービスなら問題ないと思うけど、大規模ならレートリミットに引っかかるかも。

[名無しさん]

あと、モデルが更新されたときの互換性も心配。突然動かなくなったりしない？

[名無しさん]

それはAPIのバージョン管理次第だね。DeepInfraは古いバージョンも残してくれるみたい。

[投稿者]

投稿