Qwen3-14BをDeepSeekのトレース10kでファインチューニングしたらセキュリティベンチマーク+20%ってマジ?

掲示板 フォーラム AI Qwen3-14BをDeepSeekのトレース10kでファインチューニングしたらセキュリティベンチマーク+20%ってマジ?

スレッド概要

「Qwen3-14BをDeepSeekのトレース10kでファインチューニングしたらセキュリティベンチマーク+20%ってマジ?」についてのスレッドです。Qwen3-14BをDeepSeekのトレースデータ10k件でファインチューニングしたところ、セキュリティベンチマークが20%向上したとの報告。 元のスコアは不明ですが、結構な改善幅ですね。 27件の返信で意見交換されています。

  • このトピックには27件の返信、9人の参加者があり、最後に名無しさんにより3年前に更新されました。
27件の返信を表示中(うち親返信15件)
  • 投稿者
    投稿
    • #71101 返信
      名無しさん
      Redditのr/LocalLLaMAで話題になってたスレッドです。Qwen3-14BをDeepSeekのトレースデータ10k件でファインチューニングしたところ、セキュリティベンチマークが20%向上したとの報告。元のスコアは不明ですが、結構な改善幅ですね。実際に試した人の感想や、DeepSeekのトレースデータの質についての議論もあるみたい。

    • #71102 返信
      名無しさん
      20%改善って結構すごいな。でもベンチマークの種類によるでしょ?

      • #71104 返信
        名無しさん
        セキュリティベンチマークって言っても、どれを指してるんだろう。有名どころだとCyberSecEvalとか?

    • #71103 返信
      名無しさん
      DeepSeekのトレースって公開されてるの?だれでもファインチューニングできるなら試したい。

      • #71106 返信
        名無しさん
        Redditのスレによると、データはHuggingFaceにあるらしい。ただライセンスに注意って書いてあった。

    • #71105 返信
      名無しさん
      これってDeepSeekの蒸留的な手法?それとも単にファインチューニング?

      • #71108 返信
        名無しさん
        蒸留じゃなくて普通のファインチューニングらしい。学習コードも公開されてるっぽい。

    • #71107 返信
      名無しさん
      14Bモデルでその効果なら、7Bとかだとどうなるんだろう。

    • #71109 返信
      名無しさん
      セキュリティって言っても、敵対的プロンプト対策とか?それとも脆弱性検出?

      • #71110 返信
        名無しさん
        Redditのコメントでは、プロンプトインジェクション耐性が上がったって話があったよ。

    • #71111 返信
      名無しさん
      Qwen3って中国モデルだし、ファインチューニングでセキュリティ向上って胡散臭くない?

      • #71112 返信
        名無しさん
        いや、ちゃんとしたベンチマーク使ってるみたいだし、再現性も確認済みらしい。

    • #71113 返信
      名無しさん
      とりあえず自分でも試してみようかな。QLoRAで動くなら助かる。

      • #71114 返信
        名無しさん
        QLoRA対応してるよ。メモリ16GBのGPUでもいけるって。

    • #71115 返信
      名無しさん
      こういうの見ると、ローカルLLMの可能性を感じるな。

    • #71116 返信
      名無しさん
      でもDeepSeekのトレースって品質にばらつきあるんじゃない?

      • #71117 返信
        名無しさん
        そこはフィルタリング次第だと思う。今回のは厳選された10kらしい。

    • #71118 返信
      名無しさん
      セキュリティベンチマークだけじゃなくて、一般性能はどうなんだろう。

      • #71119 返信
        名無しさん
        Redditでは一般性能はほぼ維持って書いてあった。わずかに低下したタスクもあるけど。

    • #71120 返信
      名無しさん
      これって商用利用できるのかな?ライセンスが気になる。

      • #71121 返信
        名無しさん
        Qwen3はApache 2.0だし、ファインチューニング後のモデルもたぶん大丈夫。ただデータセットのライセンス要確認。

    • #71122 返信
      名無しさん
      こういう成果をローカルで再現できるのがいいね。

    • #71123 返信
      名無しさん
      DeepSeekのトレースって、要するに思考過程のログ?それを使ってファインチューニングって面白い。

      • #71124 返信
        名無しさん
        そうそう、CoT的なデータでセキュリティが上がるのは直感に反するけど、効果あるみたい。

    • #71125 返信
      名無しさん
      他にも応用できるんじゃない?コード生成とか。

      • #71126 返信
        名無しさん
        実際コード生成でも使われてるよ。DeepSeek自体がコーディング強いし。

    • #71127 返信
      名無しさん
      でもセキュリティってドメイン依存が強いから、汎用性は微妙かも。

      • #71128 返信
        名無しさん
        そういう意見もあったけど、少なくともこのベンチマークでは有意な改善。今後に期待。

27件の返信を表示中(うち親返信15件)
返信先: Qwen3-14BをDeepSeekのトレース10kでファインチューニングしたらセキュリティベンチマーク+20%ってマジ?
あなたの情報:




AA
tchmii
タイトルとURLをコピーしました