DeepSeek v4 Flash と llama.cpp の話題

掲示板 › フォーラム › AI › DeepSeek v4 Flash と llama.cpp の話題

  • このトピックには23件の返信、7人の参加者があり、最後に名無しさんにより1年前に更新されました。
23件の返信を表示中（うち親返信11件）
  • 投稿者
    投稿
    • 2025年6月17日 3:17 AM #61471 返信
      名無しさん
      Redditの DeepSeek v4 Flash と llama.cpp に関するスレッドが立ってました。ローカルLLMの実用性やベンチマーク、コード生成の性能、コスト面などが議論されていたようです。元のスレッドはこちら: DeepSeek v4 Flash を実際にローカルで動かしている方いますか？llama.cpp との相性や速度、精度について感想を聞かせてください。

    • 2025年6月17日 3:19 AM #61472 返信
      名無しさん
      試してみたけどllama.cppでの推論速度は思ったより速かった。ただしVRAM消費が多いのが難点。

      • 2025年6月17日 3:22 AM #61473 返信
        名無しさん
        Quantizeすれば多少マシになるよ。Q4_K_Mで十分実用的。

    • 2025年6月17日 3:26 AM #61474 返信
      名無しさん
      コード生成の品質はどうなん？ChatGPTと比べて使い物になる？

      • 2025年6月17日 3:33 AM #61475 返信
        名無しさん
        簡単なスクリプトなら問題ないけど、複雑なロジックだと微妙。API版の方が安定してる。

    • 2025年6月17日 3:35 AM #61476 返信
      名無しさん
      DeepSeekって中国製だし、プライバシー面で不安。ローカルで動かせるのは安心だけど。

      • 2025年6月17日 3:39 AM #61477 返信
        名無しさん
        その点は完全同意。ローカルならデータ漏洩のリスクは減るけど、モデル自体にバックドアがないかは別問題。

    • 2025年6月17日 3:45 AM #61478 返信
      名無しさん
      ベンチマークスコアだけ見ると結構いいね。Mistral Largeより上って主張もあるけど、実際の使用感はどうなん？

      • 2025年6月17日 3:54 AM #61479 返信
        名無しさん
        Mistral Largeと比較すると、日本語の性能はDeepSeekの方が上かな。でも英語タスクだと大差なし。

    • 2025年6月17日 3:55 AM #61480 返信
      名無しさん
      llama.cppの最新版じゃないと動かないって聞いた。対応ビルド必要？

      • 2025年6月17日 3:58 AM #61481 返信
        名無しさん
        brewで最新版入れたら普通に動いたよ。特に特殊な設定はいらない。

    • 2025年6月17日 4:02 AM #61482 返信
      名無しさん
      コスト面ではAPIよりローカルの方が長期的には安い？電気代考えたら微妙。

      • 2025年6月17日 4:08 AM #61483 返信
        名無しさん
        ヘビーユーザーならローカルの方が絶対安い。APIは従量課金だから使いすぎると怖い。

        • 2025年6月17日 4:20 AM #61484 返信
          名無しさん
          でもGPU買う初期費用考えると、ライトユーザーはAPIの方がいいかも。

    • 2025年6月17日 4:21 AM #61485 返信
      名無しさん
      DeepSeek v4 Flashってv4の軽量版？それとも別物？

      • 2025年6月17日 4:24 AM #61486 返信
        名無しさん
        v4の蒸留モデルだよ。Flashって名前からして高速版。実際v4より1.5倍くらい速い。

    • 2025年6月17日 4:29 AM #61487 返信
      名無しさん
      llama.cpp以外で動かしてる人いる？ExLlamaだとどう？

      • 2025年6月17日 4:37 AM #61488 返信
        名無しさん
        ExLlamaでは未確認だけど、llama.cppのが安定してると思う。

    • 2025年6月17日 4:39 AM #61489 返信
      名無しさん
      生成速度だけならllama.cppよりvLLMの方が速いって話もあるね。でもセットアップが面倒。

      • 2025年6月17日 4:43 AM #61490 返信
        名無しさん
        vLLMはバッチ処理向けだから、個人用途ならオーバーキル。llama.cppで十分。

    • 2025年6月17日 4:48 AM #61491 返信
      名無しさん
      個人的にはDeepSeekのコード生成はかなり使える。最近のプロジェクトでも活躍してる。

      • 2025年6月17日 4:58 AM #61492 返信
        名無しさん
        どんなコード書かせてる？俺はPythonの関数生成で重宝してる。

        • 2025年6月17日 5:00 AM #61493 返信
          名無しさん
          RustでCLIツール作らせてみたけど、なかなか良かった。ただしたまに変なコード吐くからレビュー必須。

    • 2025年6月17日 5:03 AM #61494 返信
      名無しさん
      とりあえず一度試してみる価値はあると思う。無料でここまでできるのはすごい。

  • 投稿者
    投稿
23件の返信を表示中（うち親返信11件）
返信先: DeepSeek v4 Flash と llama.cpp の話題
あなたの情報:




AA

関連するAIトピック

tchmii
タイトルとURLをコピーしました