by making unreliable APIs reliable (and ditched OpenAI for DeepSeek)」という内容で…"/> by making unreliable APIs reliable (and ditch…" /> by making unreliable APIs reliable (and ditch…" />

DeepSeekでコスト削減!OpenAIから乗り換えた話

掲示板 フォーラム AI DeepSeekでコスト削減!OpenAIから乗り換えた話

スレッド概要

「DeepSeekでコスト削減!OpenAIから乗り換えた話」についてのスレッドです。元の投稿は「How I cut LLM costs from $20 to $0 by making unreliable APIs reliable (and ditched OpenAI for DeepSeek)」という内容で、DeepSeekのAPIを信頼性高く使う工夫や、OpenAIからの移行経験が語られています。 URL: 24件の返信で意見交換されています。

  • このトピックには24件の返信、8人の参加者があり、最後に名無しさんにより2年、 10ヶ月前に更新されました。
24件の返信を表示中(うち親返信8件)
  • 投稿者
    投稿
    • #78629 返信
      名無しさん
      Redditのr/LocalLLaMAで話題になっていた、LLMのコストを月20ドルから0ドルに削減した方法について解説します。元の投稿は「How I cut LLM costs from $20 to $0 by making unreliable APIs reliable (and ditched OpenAI for DeepSeek)」という内容で、DeepSeekのAPIを信頼性高く使う工夫や、OpenAIからの移行経験が語られています。URL:

    • #78630 返信
      名無しさん
      DeepSeekって本当に安いの?試してみたいけど、品質が心配。

    • #78631 返信
      名無しさん
      自分も先月からDeepSeekに切り替えたけど、コード生成の精度は悪くないよ。コストはほぼゼロ。

      • #78632 返信
        名無しさん
        え、そんなに安いの?どんな使い方してる?

        • #78633 返信
          名無しさん
          バッチ処理でたまに使うくらい。あとローカルのllama.cppと組み合わせてる。

    • #78634 返信
      名無しさん
      信頼性の問題はどう解決したんだろう?APIが落ちることあるよね。

      • #78635 返信
        名無しさん
        元記事ではリトライロジックを入れたり、複数エンドポイントを用意してフォールバックさせる方法を紹介してたよ。

        • #78636 返信
          名無しさん
          なるほど。でもOpenAIと比べて応答速度はどうなの?

          • #78637 返信
            名無しさん
            遅いときもあるけど、コストを考えれば許容範囲。実用レベル。

    • #78638 返信
      名無しさん
      プライバシー面でもDeepSeekのほうが安心って意見あるよね。中国企業だけど。

      • #78639 返信
        名無しさん
        データが中国に渡るリスクはあるけど、OpenAIも同じようなものじゃない?

        • #78640 返信
          名無しさん
          いや、ローカルLLMを使えば完全に制御できる。そこにこだわるなら完全オンプレがいい。

          • #78641 返信
            名無しさん
            でもローカルはGPUが貧弱だと厳しい。クラウドAPIのほうが手軽。

    • #78642 返信
      名無しさん
      DeepSeekのベンチマークってどうなの?ローカルLLMと比べて。

      • #78643 返信
        名無しさん
        日本語タスクならDeepSeekはなかなか優秀。Llama 3 8Bより上かもしれない。

        • #78644 返信
          名無しさん
          ただDeepSeekはたまに意味不明な回答するから注意。ハルシネーション対策は必要。

    • #78645 返信
      名無しさん
      コストゼロって月の利用料金がゼロってこと?クレジットとか無料枠?

      • #78646 返信
        名無しさん
        元記事ではDeepSeekの無料枠をうまく使って月20ドル分のOpenAI APIを代替したらしい。ただし大量に使うと有料になるよ。

        • #78647 返信
          名無しさん
          なるほど。個人利用なら十分無料で済むかもね。

    • #78648 返信
      名無しさん
      結局、コスト削減のために手間をかける価値があるかどうかだよね。

      • #78649 返信
        名無しさん
        自分はOpenAIのままでもいいかな。手間考えたら。

        • #78650 返信
          名無しさん
          でもスタートアップならコスト重視でしょ。年間240ドル浮くのは大きい。

    • #78651 返信
      名無しさん
      APIの信頼性を上げるためのテクニックって具体的に何?リトライだけ?

      • #78652 返信
        名無しさん
        サーキットブレーカーとか、キューイングとか、複数プロバイダのフォールバックとかそういうの。

        • #78653 返信
          名無しさん
          なるほど。自分もその辺ちゃんと実装してみようかな。

24件の返信を表示中(うち親返信8件)
返信先: DeepSeekでコスト削減!OpenAIから乗り換えた話
あなたの情報:




AA
tchmii
タイトルとURLをコピーしました