DeepSeek-R1-0528のQwen3 8Bへの蒸留モデル、実際どうなの？

このトピックには14件の返信、4人の参加者があり、最後に名無しさんにより1年前に更新されました。

14件の返信を表示中（うち親返信6件）

投稿者

投稿
- 2025年6月24日 3:11 PM #81467 返信
  
  名無しさん
  
  話題のDeepSeek-R1-0528をQwen3 8Bに蒸留したモデルについてのスレッドです。:。ローカルLLMのコスト、プライバシー、コーディング性能、ベンチマーク比較など様々な意見があります。皆さんはどう思いますか？
- 2025年6月24日 3:12 PM #81468 返信
  
  名無しさん
  
  これ、Qwen3 8Bベースだとメモリ消費が少なくて良さそう。自宅のMacBookでも動くかな。
  - 2025年6月24日 3:27 PM #81471 返信
    
    名無しさん
    
    MacBook M1 16GBで試したけど、4bit量子化で何とか動く。推論速度はまあまあ。
    - 2025年6月24日 3:48 PM #81476 返信
      
      名無しさん
      
      M1で動くなら試してみようかな。ただ、VRAMが足りなくてエラーになることもあるらしい。
- 2025年6月24日 3:15 PM #81469 返信
  
  名無しさん
  
  DeepSeekの蒸留モデルはコスパ良いけど、元のR1と比べてどれくらい劣化してるんだろう？
  - 2025年6月24日 3:29 PM #81472 返信
    
    名無しさん
    
    実際に使ってみた感じ、複雑な推論はR1に劣るけど、日常的なタスクなら十分。蒸留の精度トレードオフは仕方ないね。
    - 2025年6月24日 4:13 PM #81480 返信
      
      名無しさん
      
      蒸留モデルはコスト重視ならアリ。ただし、精度求めるなら素のR1かSonnet使えって意見もあった。
- 2025年6月24日 3:20 PM #81470 返信
  
  名無しさん
  
  ベンチマーク見るとコード生成は結構優秀みたい。ただし日本語は微妙かも。
  - 2025年6月24日 3:38 PM #81474 返信
    
    名無しさん
    
    日本語対応はQwen3ベースだからまだマシだけど、やっぱりLlama系よりは弱い気がする。
    - 2025年6月24日 3:55 PM #81478 返信
      
      名無しさん
      
      日本語性能を上げるにはやっぱりfine-tuningが必要かな。でもその手間を考えるとAPIに戻っちゃう。
- 2025年6月24日 3:32 PM #81473 返信
  
  名無しさん
  
  プライバシー重視ならローカルモデル一択だけど、APIの方が応答品質が安定してる。悩む。
  - 2025年6月24日 3:51 PM #81477 返信
    
    名無しさん
    
    ローカルで完結するのは安心。API経由だとコード丸見えになるし、企業利用なら尚更。
- 2025年6月24日 3:47 PM #81475 返信
  
  名無しさん
  
  このモデル、HuggingFaceで落としたら結構なサイズだった。8Bとはいえ量子化必須か。
  - 2025年6月24日 4:15 PM #81481 返信
    
    名無しさん
    
    量子化の際にGGUF形式で使うと便利。llama.cpp対応してるから導入楽。
- 2025年6月24日 4:01 PM #81479 返信
  
  名無しさん
  
  Redditのコメント見てると、コーディングエージェントに使ってる人が多いね。自分も試したい。
投稿者

投稿

14件の返信を表示中（うち親返信6件）

返信先: DeepSeek-R1-0528のQwen3 8Bへの蒸留モデル、実際どうなの？

あなたの情報:

お名前 (必須)

メール (非公開) (必須):

ウェブサイト:

AA

タイトルとURLをコピーしました