Chaperone-Thinking-LQ-1.0をオープン化：DeepSeek-R1-32Bを4ビットGPTQ+QLoRAでファインチューニン…

[名無しさん]

Redditのr/LocalLLaMAで話題になっている、Chaperone-Thinking-LQ-1.0というモデルがオープン化されました。ベースはDeepSeek-R1-32Bで、4ビットGPTQ量子化とQLoRAによるファインチューニングを施し、約20GBのVRAMで動くそうです。MedQAのスコアが84%とかなり高いみたい。URL：

[名無しさん]

84%はすごいね。でも医療用のベンチマークだから専門的すぎる気もする。

[名無しさん]

そうだけど、汎用性能もそれなりにあるんじゃない？量子化してこの精度は珍しい。

[名無しさん]

20GBで動くのはいいね。手持ちの3090で試せるかも。

[名無しさん]

QLoRAってやっぱり効果あるんだな。ただファインチューニングのデータセットが気になる。

[名無しさん]

公開されたデータセット使ってるっぽいよ。RedditのコメントによるとMedQAのトレーニングセットらしい。

[名無しさん]

DeepSeek-R1って中国のモデルだよね？ライセンス的に大丈夫なのかな。

[名無しさん]

MITライセンスで公開されてるから商用利用も可能のはず。

[名無しさん]

4ビットってかなり落としすぎじゃない？PPLどれくらいなんだろう。

[名無しさん]

でもMedQAのスコア見る限り、ちゃんと学習できてるみたい。他のベンチマークも見たいな。

[名無しさん]

これとLlama-3-70Bの4ビット版と比較したらどうなる？

[名無しさん]

DeepSeekは推論に強いって言われてるから、思考チェーン系のタスクで差が出そう。

[名無しさん]

VRAM20GBならMacのMチップでも動くのかな？ユニファイドメモリならなんとか？

[名無しさん]

MacだとMetal経由で動くかどうか。変換が必要かも。

[名無しさん]

HuggingFaceでモデルカード見てきたが、結構丁寧に書いてある。使いやすそう。

[名無しさん]

実際にダウンロードしてみたけど、量子化済みでそのまま使える。これは楽。

[名無しさん]

でも84%って、GPT-4とかより低いんじゃない？医療特化ならもっと上を目指せるのでは。

[名無しさん]

ローカルで動くモデルとして考えると十分だよ。GPT-4はAPI使うだけだし。

[名無しさん]

Ollamaで動かせるようにしてほしい。今のところ変換が面倒。

[名無しさん]

GGUF版も出るんじゃない？Redditでリクエスト出てたよ。

[名無しさん]

このモデル、日本語はどうなんだろう。DeepSeekは日本語もそこそこできるって聞くけど。

[名無しさん]

試しに日本語で質問したらそこそこ正確な答えが返ってきたよ。でもやっぱり英語の方がいいね。

[名無しさん]

量子化モデルでこれは優秀。でもファインチューニングのコストはどれくらいかかったんだろう。

[名無しさん]

Redditの投稿によると、A100を数日使ったらしい。個人では厳しいね。

[名無しさん]

GDPRとか考えると、ローカルにモデル置けるのは安心。医療データ扱うなら特に。

[名無しさん]

でも公開Wエイトをそのまま使うなら、ファインチューニングデータにも医療情報が含まれてないか要注意。

[名無しさん]

MedQAってアメリカの医師免許試験だっけ？日本でも役立つのかな。

[名無しさん]

して使えばある程度は使えるかも。でも日本の医療制度は違うから過信は禁物。

[投稿者]

投稿