DeepSeek V4 Flashがやばいって噂だけど、llama.cppのPR #24162ってどうなの?

掲示板 フォーラム AI DeepSeek V4 Flashがやばいって噂だけど、llama.cppのPR #24162ってどうなの?

  • このトピックには27件の返信、9人の参加者があり、最後に名無しさんにより8ヶ月、 3週前に更新されました。
27件の返信を表示中(うち親返信13件)
  • 投稿者
    投稿
    • #61606 返信
      名無しさん
      Redditのr/LocalLLaMAで話題のDeepSeek V4 Flash、llama.cppのPR #24162で対応が進んでるみたい。スコア226、コメント114の盛り上がり。コード生成やコスト面、プライバシーの話も出てる。実際に試した人いる?ベンチマークや比較も気になる。元スレ:https://www.reddit.com/r/LocalLLaMA/comments/1tyb3np/deepseek_v4_flash_is_amazing_wip_llamacpp_pr_24162/

    • #61607 返信
      名無しさん
      まだPR段階だけど、V4 Flashは推論速度が鬼のように速いって聞いた。llama.cppで動けばローカル環境でも手軽に試せるから楽しみ。

      • #61608 返信
        名無しさん
        速度だけでなく、精度も結構いいらしいよ。Mixtral 8x7Bと比較してる人もいた。

    • #61609 返信
      名無しさん
      でもDeepSeekって中国の会社だよね?プライバシー面で不安って意見もある。実際どうなんだろ。

      • #61610 返信
        名無しさん
        ローカルで動かすなら関係ないと思うけど、モデル自体にバイアスが入ってないかは気になる。

    • #61611 返信
      名無しさん
      llama.cppのPR見てきたけど、まだマージされてないんだね。いつ安定版になるんだろう?

      • #61612 返信
        名無しさん
        WIPだからまだ先かも。でも有志がテストしてるから、そのうち動くようになるんじゃね?

    • #61613 返信
      名無しさん
      コード生成タスクで試した人いる?自分はCline経由で使ってるけど、結構使える。

      • #61614 返信
        名無しさん
        Clineって何?初めて聞いた。

        • #61615 返信
          名無しさん
          AIコードエージェント的なツールだよ。DeepSeekと組み合わせるとかなり便利。

    • #61616 返信
      名無しさん
      V4 FlashってMoEモデルなんだっけ?メモリ使用量とかどうなの?

      • #61617 返信
        名無しさん
        MoEだからVRAMはそこそこ使うけど、推論速度は速い。量子化すればもう少し軽くなるかも。

    • #61618 返信
      名無しさん
      Redditのスレ見てきたけど、結構ホットな話題だね。自分はまだ試してないから、安定したら試したい。

    • #61619 返信
      名無しさん
      GPT-4oと比較してる人がいたけど、そこまで差はないって意見も。コスト面では圧倒的だよね。

      • #61620 返信
        名無しさん
        API使うならDeepSeekの方が安いけど、ローカルならタダだしな。

    • #61621 返信
      名無しさん
      llama.cppのPRって誰でもコメントできるの?ちょっと見てみたい。

      • #61622 返信
        名無しさん
        できるよ。GitHubアカウントがあれば誰でも。でもマジでカオスだから覚悟して。

    • #61623 返信
      名無しさん
      ベンチマークの数字だけ見ると確かにすごいけど、実際の使い勝手はまた別だと思う。

      • #61624 返信
        名無しさん
        だね。自分は質問応答で試したけど、たまに変な回答する。まだ改善の余地あり。

    • #61625 返信
      名無しさん
      中国製モデルってことでセキュリティ的にどうなんだ?OSSだからソース見れば分かるけど。

      • #61626 返信
        名無しさん
        重みが公開されてるから、自分で検査すればいいと思う。そこまで心配しなくても。

    • #61627 返信
      名無しさん
      llama.cppのPR、結構コード量多くてビビった。ちゃんと動くのかな。

      • #61628 返信
        名無しさん
        コミュニティのレビューでバグは取れてくはず。自分はビルドしてみたけど、一応動いたよ。

        • #61629 返信
          名無しさん
          マジか。試す価値ありそうだな。

    • #61630 返信
      名無しさん
      DeepSeek V4 Flash、個人的にはプログラミング用途でかなり優秀。Cline使わなくても。

      • #61631 返信
        名無しさん
        どんなタスクで使ってる?自分はバグ修正で重宝してる。

        • #61632 返信
          名無しさん
          主にコード補完とドキュメント生成。結構正確だよ。

    • #61633 返信
      名無しさん
      いろいろ情報ありがとう。とりあえずPRがマージされるのを待つか。自分でビルドするのは面倒だし。

27件の返信を表示中(うち親返信13件)
返信先: DeepSeek V4 Flashがやばいって噂だけど、llama.cppのPR #24162ってどうなの?
あなたの情報:




AA
tchmii
タイトルとURLをコピーしました