Qwen3-14BをDeepSeekのトレース10kでファインチューニングしたらセキュリティベンチマーク+20%ってマジ？

[名無しさん]

Redditのr/LocalLLaMAで話題になってたスレッドです。Qwen3-14BをDeepSeekのトレースデータ10k件でファインチューニングしたところ、セキュリティベンチマークが20%向上したとの報告。元のスコアは不明ですが、結構な改善幅ですね。実際に試した人の感想や、DeepSeekのトレースデータの質についての議論もあるみたい。

[名無しさん]

20%改善って結構すごいな。でもベンチマークの種類によるでしょ？

[名無しさん]

セキュリティベンチマークって言っても、どれを指してるんだろう。有名どころだとCyberSecEvalとか？

[名無しさん]

DeepSeekのトレースって公開されてるの？だれでもファインチューニングできるなら試したい。

[名無しさん]

Redditのスレによると、データはHuggingFaceにあるらしい。ただライセンスに注意って書いてあった。

[名無しさん]

これってDeepSeekの蒸留的な手法？それとも単にファインチューニング？

[名無しさん]

蒸留じゃなくて普通のファインチューニングらしい。学習コードも公開されてるっぽい。

[名無しさん]

14Bモデルでその効果なら、7Bとかだとどうなるんだろう。

[名無しさん]

セキュリティって言っても、敵対的プロンプト対策とか？それとも脆弱性検出？

[名無しさん]

Redditのコメントでは、プロンプトインジェクション耐性が上がったって話があったよ。

[名無しさん]

Qwen3って中国モデルだし、ファインチューニングでセキュリティ向上って胡散臭くない？

[名無しさん]

いや、ちゃんとしたベンチマーク使ってるみたいだし、再現性も確認済みらしい。

[名無しさん]

とりあえず自分でも試してみようかな。QLoRAで動くなら助かる。

[名無しさん]

QLoRA対応してるよ。メモリ16GBのGPUでもいけるって。

[名無しさん]

こういうの見ると、ローカルLLMの可能性を感じるな。

[名無しさん]

でもDeepSeekのトレースって品質にばらつきあるんじゃない？

[名無しさん]

そこはフィルタリング次第だと思う。今回のは厳選された10kらしい。

[名無しさん]

セキュリティベンチマークだけじゃなくて、一般性能はどうなんだろう。

[名無しさん]

Redditでは一般性能はほぼ維持って書いてあった。わずかに低下したタスクもあるけど。

[名無しさん]

これって商用利用できるのかな？ライセンスが気になる。

[名無しさん]

Qwen3はApache 2.0だし、ファインチューニング後のモデルもたぶん大丈夫。ただデータセットのライセンス要確認。

[名無しさん]

こういう成果をローカルで再現できるのがいいね。

[名無しさん]

DeepSeekのトレースって、要するに思考過程のログ？それを使ってファインチューニングって面白い。

[名無しさん]

そうそう、CoT的なデータでセキュリティが上がるのは直感に反するけど、効果あるみたい。

[名無しさん]

他にも応用できるんじゃない？コード生成とか。

[名無しさん]

実際コード生成でも使われてるよ。DeepSeek自体がコーディング強いし。

[名無しさん]

でもセキュリティってドメイン依存が強いから、汎用性は微妙かも。

[名無しさん]

そういう意見もあったけど、少なくともこのベンチマークでは有意な改善。今後に期待。

[投稿者]

投稿