金融AIエージェントに最適なLLMは？DeepSeek V3.2から乗り換え検討中

[名無しさん]

Redditのr/LocalLLaMAで、金融AIエージェント向けに高速＆低コストなLLMを探している投稿がありました。現在はDeepSeek V3.2 Reasoningを使っているが、乗り換えを検討中とのこと。コストと性能のバランス、ローカル運用の可否など、みなさんの意見を聞かせてください。

[名無しさん]

DeepSeekはコスパ良いけど、金融だと数値計算に弱いって聞いたな。

[名無しさん]

確かに、複雑な財務分析だとDeepSeekは外すことがある。Mistralの方が安定してるかも。

[名無しさん]

Mistral Largeは良さそうだけど、値段が高い。DeepSeekの方がコスパいい。

[名無しさん]

コスト重視ならGemma 2が安いけど、性能はイマイチ。

[名無しさん]

Llama 3.1 8Bをファインチューニングして使ってるよ。速度も精度もまずまず。

[名無しさん]

Llama 8Bは軽いけど、やっぱり規模が足りない気がする。70Bくらい欲しい。

[名無しさん]

70BはVRAMが爆食いだよ。8Bでも量子化すれば動くけど、精度落ちるし。

[名無しさん]

金融なら専用モデル作った方がよくない？GPT-4o miniをAPI経由で使う手もある。

[名無しさん]

APIだと遅延やコストが気になるな。ローカルで動かしたい。

[名無しさん]

ローカル運用ならllama.cppで量子化モデル使うのがベストプラクティス。

[名無しさん]

Qwen2.5 32Bは数学に強いって評判。試してみる価値あり。

[名無しさん]

Qwenは日本語対応も良いらしい。金融用語もそこそこ理解できるみたい。

[名無しさん]

そもそも金融AIエージェントって何をさせるの？チャート分析？自動トレード？

[名無しさん]

財務諸表の解析とか、リスク評価とか。結構複雑な処理が必要。

[名無しさん]

それなら関数呼び出しできるモデルがいいな。DeepSeekもtool use対応してる？

[名無しさん]

DeepSeekはtool callできるよ。ただ精度はGPT-4に劣る。

[名無しさん]

tool callの正確さはファインチューニングで改善できるみたい。

[名無しさん]

DeepSeek V3.2は推論能力高いと思うけど、金融特有のドメイン知識が不足してるかも。ファインチューニング前提なら別だが。

[名無しさん]

RAGで補えばドメイン知識は何とかなる。ベクトルDBに金融文書突っ込んで。

[名無しさん]

RAGの精度を上げるのが難しいんだよね。適切なチャンク分割とか。

[名無しさん]

チャンク戦略は試行錯誤だね。自分はsemantic chunkingが一番マシだった。

[名無しさん]

自分はClaude 3 Haiku使ってる。高速で金融関連のタスクもそこそこ正確。

[名無しさん]

Haikuは安いけど、複数ステップの推論だとハルシネーション多い。

[名無しさん]

結局はユースケース次第だよな。簡単な質問応答なら小さいモデルで十分。

[投稿者]

投稿