DeepSeek-TNG-R1T2-Chimera、R1より200%高速って本当？

[名無しさん]

RedditのLocalLLaMAで話題のDeepSeek-TNG-R1T2-Chimeraモデルについて。R1-0528比200%高速、R1比20%高速と主張されていますが、実際のところどうなんでしょう？

[名無しさん]

200%速いって、倍以上の速度ってこと？さすがに誇大広告じゃね？

[名無しさん]

実際に試した人いる？ローカルで動かせるなら興味ある。

[名無しさん]

自分はLlama.cppで試したけど、確かにR1よりトークン生成速度は上がってた。でも200%は盛りすぎ。

[名無しさん]

具体的な数字教えてくれ。うちの環境だとR1で50t/sくらい出てる。

[名無しさん]

うちの環境（RTX4090）で70t/sくらい出たよ。でもR1でも似たようなもんだった。

[名無しさん]

精度はR1と同等って話だけど、自分で試した限りでは微妙な気がする。

[名無しさん]

ベンチマークの内容次第だよね。コード生成とか特定タスクだけ早いパターン。

[名無しさん]

DeepSeekのモデルは結構リーズナブルなコストで動くから、試す価値はありそう。

[名無しさん]

R1-0528って以前のバージョンだっけ？比較対象が古いと速く見えるだけかも。

[名無しさん]

Chimeraってモデルアーキテクチャ？それとも単なるファインチューン？

[名無しさん]

多分マージモデルか何かだと思う。見る限りだと新しい蒸留技術使ってるらしい。

[名無しさん]

精度はどうなの？速さだけじゃ意味ないぞ。

[名無しさん]

ベンチマークスコアも見たいな。MMLUとかHumanEvalでどう違うのか。

[名無しさん]

Redditのスレッドではコード生成の品質が向上したって意見もあるよ。

[名無しさん]

コード生成はR1よりもバグが少ないって検証結果が出てたよ。

[名無しさん]

コスト重視ならDeepSeekはいい選択肢だと思う。APIも安いし。

[名無しさん]

APIの応答速度も速いなら業務用にも使えそう。

[名無しさん]

プライバシー面でもローカルで動かせるのは嬉しい。

[名無しさん]

とりあえず自分で試すのが一番だな。量子化バージョン出てる？

[名無しさん]

GGUF形式のがHuggingFaceに上がってるよ。4bit量子化で8GBVRAMでも動くらしい。

[名無しさん]

200%速いって数字だけ見ると胡散臭いけど、実際に使ってみたら結構良かった。

[名無しさん]

でもR1と比較して体感できる差は10%くらいだったよ。

[名無しさん]

それでもコスパは良いから、新しいモデルが出たら試す価値はある。

[名無しさん]

マーケティング用の誇張だと思う。DeepSeekは最近そういうの多い。

[名無しさん]

結局、自分の使い方次第だよね。大量にバッチ処理するなら速度差は大きいかも。

[名無しさん]

同意。リアルタイム対話には速度より応答品質が大事。このモデルはそこそこバランス良いと思う。

[投稿者]

投稿