Chaperone-Thinking-LQ-1.0をオープンソース化：DeepSeek-R1-32Bを4ビットGPTQ+QLoRAでファインチューニン...

このトピックには27件の返信、9人の参加者があり、最後に名無しさんにより7ヶ月、 3週前に更新されました。

27件の返信を表示中（うち親返信14件）

投稿者

投稿
- 2025年11月1日 2:38 PM #66089 返信
  
  名無しさん
  
  Redditのr/LocalLLaMAで話題になっている、Chaperone-Thinking-LQ-1.0というモデルがオープンソース化されました。ベースはDeepSeek-R1-32Bで、4ビットGPTQ量子化とQLoRAによるファインチューニングを施し、約20GBのVRAMで動くそうです。MedQAのスコアが84%とかなり高いみたい。ソースURL：https://www.reddit.com/r/LocalLLaMA/comments/1srz499/we_opensourced_chaperonethinkinglq10_a_4bit_gptq/。皆さんはどう思いますか？ローカルLLMの選択肢がまた増えましたね。
- 2025年11月1日 2:40 PM #66090 返信
  
  名無しさん
  
  84%はすごいね。でも医療用のベンチマークだから専門的すぎる気もする。
  - 2025年11月1日 2:43 PM #66091 返信
    
    名無しさん
    
    そうだけど、汎用性能もそれなりにあるんじゃない？量子化してこの精度は珍しい。
- 2025年11月1日 2:47 PM #66092 返信
  
  名無しさん
  
  20GBで動くのはいいね。手持ちの3090で試せるかも。
- 2025年11月1日 2:54 PM #66093 返信
  
  名無しさん
  
  QLoRAってやっぱり効果あるんだな。ただファインチューニングのデータセットが気になる。
  - 2025年11月1日 2:56 PM #66094 返信
    
    名無しさん
    
    公開されたデータセット使ってるっぽいよ。RedditのコメントによるとMedQAのトレーニングセットらしい。
- 2025年11月1日 2:59 PM #66095 返信
  
  名無しさん
  
  DeepSeek-R1って中国のモデルだよね？ライセンス的に大丈夫なのかな。
  - 2025年11月1日 3:05 PM #66096 返信
    
    名無しさん
    
    MITライセンスで公開されてるから商用利用も可能のはず。
- 2025年11月1日 3:14 PM #66097 返信
  
  名無しさん
  
  4ビットってかなり落としすぎじゃない？PPLどれくらいなんだろう。
  - 2025年11月1日 3:16 PM #66098 返信
    
    名無しさん
    
    でもMedQAのスコア見る限り、ちゃんと学習できてるみたい。他のベンチマークも見たいな。
- 2025年11月1日 3:18 PM #66099 返信
  
  名無しさん
  
  これとLlama-3-70Bの4ビット版と比較したらどうなる？
  - 2025年11月1日 3:22 PM #66100 返信
    
    名無しさん
    
    DeepSeekは推論に強いって言われてるから、思考チェーン系のタスクで差が出そう。
- 2025年11月1日 3:29 PM #66101 返信
  
  名無しさん
  
  VRAM20GBならMacのMチップでも動くのかな？ユニファイドメモリならなんとか？
  - 2025年11月1日 3:40 PM #66102 返信
    
    名無しさん
    
    MacだとMetal経由で動くかどうか。変換が必要かも。
- 2025年11月1日 3:42 PM #66103 返信
  
  名無しさん
  
  HuggingFaceでモデルカード見てきたが、結構丁寧に書いてある。使いやすそう。
  - 2025年11月1日 3:45 PM #66104 返信
    
    名無しさん
    
    実際にダウンロードしてみたけど、量子化済みでそのまま使える。これは楽。
- 2025年11月1日 3:50 PM #66105 返信
  
  名無しさん
  
  でも84%って、GPT-4とかより低いんじゃない？医療特化ならもっと上を目指せるのでは。
  - 2025年11月1日 3:57 PM #66106 返信
    
    名無しさん
    
    ローカルで動くモデルとして考えると十分だよ。GPT-4はAPI使うだけだし。
- 2025年11月1日 4:00 PM #66107 返信
  
  名無しさん
  
  Ollamaで動かせるようにしてほしい。今のところ変換が面倒。
  - 2025年11月1日 4:03 PM #66108 返信
    
    名無しさん
    
    GGUF版も出るんじゃない？Redditでリクエスト出てたよ。
- 2025年11月1日 4:09 PM #66109 返信
  
  名無しさん
  
  このモデル、日本語はどうなんだろう。DeepSeekは日本語もそこそこできるって聞くけど。
  - 2025年11月1日 4:19 PM #66110 返信
    
    名無しさん
    
    試しに日本語で質問したらそこそこ正確な答えが返ってきたよ。でもやっぱり英語の方がいいね。
- 2025年11月1日 4:20 PM #66111 返信
  
  名無しさん
  
  量子化モデルでこれは優秀。でもファインチューニングのコストはどれくらいかかったんだろう。
  - 2025年11月1日 4:23 PM #66112 返信
    
    名無しさん
    
    Redditの投稿によると、A100を数日使ったらしい。個人では厳しいね。
- 2025年11月1日 4:27 PM #66113 返信
  
  名無しさん
  
  GDPRとか考えると、ローカルにモデル置けるのは安心。医療データ扱うなら特に。
  - 2025年11月1日 4:34 PM #66114 返信
    
    名無しさん
    
    でも公開Wエイトをそのまま使うなら、ファインチューニングデータにも医療情報が含まれてないか要注意。
- 2025年11月1日 4:46 PM #66115 返信
  
  名無しさん
  
  MedQAってアメリカの医師免許試験だっけ？日本でも役立つのかな。
  - 2025年11月1日 4:48 PM #66116 返信
    
    名無しさん
    
    翻訳して使えばある程度は使えるかも。でも日本の医療制度は違うから過信は禁物。
投稿者

投稿

27件の返信を表示中（うち親返信14件）

返信先: Chaperone-Thinking-LQ-1.0をオープンソース化：DeepSeek-R1-32Bを4ビットGPTQ+QLoRAでファインチューニン…

あなたの情報:

お名前 (必須)

メール (非公開) (必須):

ウェブサイト:

関連するAIトピック