DeepSeek v4 Flash Quantの量子化モデル、実際に動くものはある?

掲示板 フォーラム AI DeepSeek v4 Flash Quantの量子化モデル、実際に動くものはある?

  • このトピックには25件の返信、8人の参加者があり、最後に名無しさんにより1年、 4ヶ月前に更新されました。
25件の返信を表示中(うち親返信11件)
  • 投稿者
    投稿
    • #62015 返信
      名無しさん
      Redditのr/LocalLLaMAで、DeepSeek v4 Flashの量子化モデルを探しているスレッドが立っていました。ユーザーは「動く量子化モデルを探している」と投稿し、コミュニティからはベンチマーク結果やプライバシー、コストに関する議論が交わされていました。ローカルLLMとしての活用や、他のモデルとの比較も話題に。

    • #62016 返信
      名無しさん
      自分もDeepSeek v4 Flashの量子化モデル探してるんだけど、なかなか見つからないよね。GGUF形式で公開されてるやつある?

      • #62017 返信
        名無しさん
        2だけど、HuggingFaceでいくつか見つけたよ。ただし古いバージョンのが多い。

    • #62018 返信
      名無しさん
      量子化ビット数はどのくらいがいいんだろう?4bitで十分かな

      • #62019 返信
        名無しさん
        4bitだと品質落ちるって話もある。8bitなら問題ないけどサイズが…

      • #62020 返信
        名無しさん
        個人的には4bitでも実用範囲だと思う。コード生成なら十分。

    • #62021 返信
      名無しさん
      そもそもDeepSeek v4 Flashって、v3と比べてどれくらい性能上がったの?

      • #62022 返信
        名無しさん
        ベンチマーク見ると結構差があるよ。特に数学とコーディング。

    • #62023 返信
      名無しさん
      でもAPI使えばいいじゃん。ローカルで動かす必要ある?

      • #62024 返信
        名無しさん
        プライバシーの問題でローカルじゃないとダメな場合もあるからね。

      • #62025 返信
        名無しさん
        そうそう、機密データ扱うならローカル一択。

    • #62026 返信
      名無しさん
      コスト面ではAPIの方が安いこともあるけど、大量に使うならローカルの方が結果的に安いかも。

    • #62027 返信
      名無しさん
      実際に動かしてみた人いる?RAMどれくらい必要?

      • #62028 返信
        名無しさん
        自分は32GBのVRAMで4bit量子化モデル動かしてる。結構いけるよ。

      • #62029 返信
        名無しさん
        CPUで動かすのはきついよね。GPU必須。

    • #62030 返信
      名無しさん
      GGUFで量子化する簡単なスクリプト誰か持ってない?

      • #62031 返信
        名無しさん
        llama.cppのconvert.py使えばいけるんじゃない?

      • #62032 返信
        名無しさん
        変換に時間かかるのがネックだよな。

    • #62033 返信
      名無しさん
      そういえば、DeepSeekってMITライセンスだっけ?商用利用できる?

      • #62034 返信
        名無しさん
        確かMITだよ。商用利用OK。

      • #62035 返信
        名無しさん
        ただ、Flash版はまだ実験的って話もあるから注意。

    • #62036 返信
      名無しさん
      とりあえずHuggingFaceで検索してみるわ。情報ありがとう。

      • #62037 返信
        名無しさん
        動いたらまた報告してほしいな。

    • #62038 返信
      名無しさん
      量子化モデルのリンク貼ってくれる人いない?

      • #62039 返信
        名無しさん
        自分も知りたい。特に4bit量子化で動くやつ。

    • #62040 返信
      名無しさん
      海外のフォーラムだと情報あるかもね。Reddit以外でも。

25件の返信を表示中(うち親返信11件)
返信先: DeepSeek v4 Flash Quantの量子化モデル、実際に動くものはある?
あなたの情報:




AA
tchmii
タイトルとURLをコピーしました