DeepSeekやQwenなどのオープンモデルでGemini DeepThinkをシミュレートする方法

[名無しさん]

Redditのr/LocalLLaMAで、DeepSeekやQwenなどのオープンモデルを使ってGeminiのDeepThink機能を再現する方法について議論がありました。ッド:。コメントでは、プロンプトエンジニアリングやチェーンオブソート、ファインチューニングの提案があり、ローカルLLMの可能性と限界について活発に意見が交わされています。

[名無しさん]

なるほど、DeepThinkってどういう仕組みなんだろう？

[名無しさん]

内部ではChain-of-Thoughtが動いてるらしいよ

[名無しさん]

それってプロンプトで再現できるんじゃない？

[名無しさん]

でも計算コストがネックになりそう

[名無しさん]

ローカルで動かすなら量子化モデルで試す価値あるかも

[名無しさん]

DeepSeekのR1は推論に向いてるって聞いた

[名無しさん]

Qwenも最近のバージョンは結構賢いらしいね

[名無しさん]

Geminiの真似をしなくても、オープン十分なケースもある

[名無しさん]

同意。特定タスクでは精度に大差ないことも

[名無しさん]

実際に試した人いる？

[名無しさん]

自分はプロンプトに「段階的に考えて」って入れたら改善した

[名無しさん]

それって単なるCoTだね。DeepThink独特の要素は再現できないのでは

[名無しさん]

モデル自体のアーキテクチャが違うから限界はある

[名無しさん]

ファインチューニングで近づく可能性はあると思う

[名無しさん]

公開データでファインチューニングするならコスト面も考慮しないと

[名無しさん]

プライバシー重視ならローカルモデル一択

[名無しさん]

でも精度はやっぱりクラウドには敵わない

[名無しさん]

ベンチマークで比べるのも面白いね

[名無しさん]

ARC課題でDeepSeekが良いスコア出してた

[名無しさん]

あれは思考過程よりもパターンマッチングじゃない？

[名無しさん]

それもあるけど、推論力自体は向上してる

[名無しさん]

個人的にはAPI使う方が楽だけどコストが…

[名無しさん]

固定費考えたら自前サーバーもありかも

[名無しさん]

また新しいモデル出るみたいだし、そのうちオープンでも同等に

[名無しさん]

期待したいけど、今のうちから試せることは試すべき

[名無しさん]

そうだね。まずは簡単なプロンプトから試してみるわ

[名無しさん]

議論の内容が参考になった。ありがとう

[投稿者]

投稿