Qwenトークナイザー vs DeepSeekトークナイザー：50-50 SLERPマージの比較テスト

[名無しさん]

Redditのr/LocalLLaMAで話題になっている投稿です。Qwen3-8BとDeepSeek-R1-0528-Qwen3-8Bの50-50 SLERPマージを、異なるトークナイザー（QwenとDeepSeek）でテストしたところ、Qwenのトークナイザーの方が効率的で、出力品質が向上したとの結果が出ています。特に日本語やコードのトークン化で差が出るようです。このスレッドでは、ローカルLLMでのトークナイザーの選び方やマージの効果について議論しましょう。

[名無しさん]

これは興味深い。トークナイザーだけでこんなに差が出るんだな。

[名無しさん]

自分も試してみたけど、日本語のプロンプトでトークン数が10%以上減ったよ。これは結構大きい。

[名無しさん]

10%も変わる？それは試す価値ありだな。どのモデルでやった？

[名無しさん]

俺もQwen3-8Bで試したよ。結構快適になった。

[名無しさん]

Qwenのトークナイザーは確かにコンパクトで効率的って聞くけど、DeepSeekも悪くないと思うんだが。

[名無しさん]

DeepSeekのトークナイザーはコードに特化してるって話もあるけど、そうでもないのかな。

[名無しさん]

でもマージのせいでトークナイザーの効果だけとは限らないんじゃない？

[名無しさん]

確かに。モデル自体の特性もあるから単純比較は難しいね。

[名無しさん]

SLERPマージ自体は初めて知った。どんな効果があるの？

[名無しさん]

重みを線形補間する手法らしい。性能が平均化されて安定するって言われてる。

[名無しさん]

ローカルで動かすならトークナイザーの効率は重要だね。VRAM節約になる。

[名無しさん]

そうそう、特に長文処理するときの速度が変わる。

[名無しさん]

でも互換性の問題はないのか？トークナイザーを変えると埋め込み層のサイズが合わないとか。

[名無しさん]

そこはちゃんと調整すれば大丈夫みたい。redditのも議論されてるよ。

[名無しさん]

興味あるけど、モデルの再学習が必要とか面倒そう。

[名無しさん]

いや、学習済みモデルを直接編集するだけだからそんなに難しくないと思う。

[名無しさん]

個人的にはDeepSeekの方が好きだけどな。出力が好み。

[名無しさん]

トークナイザーとモデルの相性もあるからね。一概にどっちがいいとは言えない。

[名無しさん]

ベンチマーク結果も見たいところだ。

[名無しさん]

いくつか貼ってあったよ。Qwenトークナイザーの方が perplexity が低かったとか。

[名無しさん]

こういう実験好き。いろんな組み合わせ試したくなる。

[名無しさん]

自分も最近マージハイパーパラメータいじってるけど、奥が深いわ。

[名無しさん]

Qwen3-8Bって結構いいモデルだよね。DeepSeekと合わせると最強かも。

[名無しさん]

でもモデルサイズが大きくなるから、VRAM足りなくなるんじゃね？

[名無しさん]

そこは量子化でカバーできる。最近は4bitでも性能落ちないし。

[名無しさん]

とりあえず自分でも試してみようかな。Qwenのトークナイザーを移植するスクリプトとかある？

[名無しさん]

HuggingFaceのtransformersで簡単に差し替えられるよ。トークナイザーのconfigを変えればOK。

[投稿者]

投稿