DeepSeek R1 671B Q4 を動かすためのパラメータと実際の感想

掲示板 › フォーラム › AI › DeepSeek R1 671B Q4 を動かすためのパラメータと実際の感想

スレッド概要

「DeepSeek R1 671B Q4 を動かすためのパラメータと実際の感想」についてのスレッドです。必要メモリや推論速度、実際の使用感などが議論されています。 20件の返信で意見交換されています。

  • このトピックには20件の返信、6人の参加者があり、最後に名無しさんにより2年、 11ヶ月前に更新されました。
20件の返信を表示中（うち親返信11件）
  • 投稿者
    投稿
    • 2023年8月24日 #73543 返信
      名無しさん
      Redditのr/LocalLLaMAでDeepSeek R1 671B Q4を動かすためのパラメータについての投稿がありました。必要メモリや推論速度、実際の使用感などが議論されています。

    • 2023年8月24日 #73544 返信
      名無しさん
      これすごいな。671BのQ4って普通の消費者向けGPUじゃ無理じゃない？

      • 2023年8月24日 #73545 返信
        名無しさん
        メモリだけで400GB近くいるからね。マルチGPUかクラウドじゃないと厳しいと思う。

    • 2023年8月24日 #73546 返信
      名無しさん
      でもDeepSeekの性能はすごいらしい。コード生成でかなり優秀って聞いた。

      • 2023年8月24日 #73547 返信
        名無しさん
        確かにベンチマークではトップクラスだけど、実際のコスパはどうなん？

    • 2023年8月24日 #73548 返信
      名無しさん
      API使うならレートリミットが気になる。ローカルで動かせたらプライバシー面で安心なのに。

      • 2023年8月24日 #73549 返信
        名無しさん
        その通り。でもQ4でもVRAM消費が半端ないから、個人で運用するのは現実的じゃない。

    • 2023年8月24日 #73550 返信
      名無しさん
      Redditのスレでは、A100 80GB x4とか必要って言ってたよ。金銭的に無理。

      • 2023年8月24日 #73551 返信
        名無しさん
        それでもQ4なら推論速度はまあまあ出るみたいだね。でもファインチューニングは絶対無理。

    • 2023年8月24日 #73552 返信
      名無しさん
      私はクラウドでサブスクして使ってる。月額高めだけど、自分のPCでやるより安心。

      • 2023年8月24日 #73553 返信
        名無しさん
        どのサービス使ってる？DeepSeek公式APIが一番安いって聞いたけど。

    • 2023年8月24日 #73554 返信
      名無しさん
      このモデル、コード生成特化ってわけじゃなくて汎用も高いみたいね。

      • 2023年8月24日 #73555 返信
        名無しさん
        でも日本語はやっぱり微妙みたい。ベンチマークは英語ベースだし。

    • 2023年8月24日 #73556 返信
      名無しさん
      Q4の量子化でどれだけ精度落ちるんだろう？Q8とかと比べてみたい。

      • 2023年8月24日 #73557 返信
        名無しさん
        GPTQとかGGUFとか量子化方式によっても違うよね。RedditではGGUF派が多かった。

    • 2023年8月24日 #73558 返信
      名無しさん
      個人的にはMistral系で十分だと思うんだけど、DeepSeekの性能差はあるのかな。

      • 2023年8月24日 #73559 返信
        名無しさん
        特に長文や複雑な推論だと差が出るって言われてる。でも一般人には過剰かも。

    • 2023年8月24日 #73560 返信
      名無しさん
      VRAM節約のためにQ2とかにはしたくないな。知能が急に落ちそうで怖い。

    • 2023年8月24日 #73561 返信
      名無しさん
      こういうデカいモデルを自前で動かせる時代が来るといいんだけどね。

      • 2023年8月24日 #73562 返信
        名無しさん
        量子化技術の進歩に期待。数年後にはもう少しましになってるかも。

    • 2023年8月24日 #73563 返信
      名無しさん
      とりあえず動かすだけならColab Proで何とかなるらしいけど、遅すぎて実用にならん。

  • 投稿者
    投稿
20件の返信を表示中（うち親返信11件）
返信先: DeepSeek R1 671B Q4 を動かすためのパラメータと実際の感想
あなたの情報:




AA

関連するAIトピック

tchmii
タイトルとURLをコピーしました