ローカルLLMのバックエンド生成ベンチマーク（GLM vs Qwen vs DeepSeek）

[名無しさん]

Reddit r/LocalLLaMA で話題になっている、ローカルLLMのバックエンド生成（関数呼び出し）のベンチマーク比較スレッドです。GLM、Qwen、DeepSeekの3モデルを比較した結果、DeepSeekがコスト対性能で優秀との評価があるようです。ただ、関数呼び出しの精度や実運用での使い勝手など、意見が分かれている様子。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1t2m7wi/local_llm_benchmark_about_backend_generation_by/

[名無しさん]

DeepSeekってそんなにいいのか？自分はQwenばかり使ってたけど、試してみる価値ありそうだな。

[名無しさん]

DeepSeekは確かに安いけど、日本語の関数呼び出しはどうなんだろう。Qwenの方が日本語は得意って話も聞く。

[名無しさん]

日本語だとやっぱりQwenの方が自然な出力になるケース多いよ。DeepSeekはたまに変な翻訳になる。

[名無しさん]

日本語の自然さはQwenに軍配かな。DeepSeekは英語特化って感じがする。

[名無しさん]

関数呼び出しのベンチって実際のタスクとどれくらい相関あるんだろう。単純な精度だけじゃ測れない部分もあるよね。

[名無しさん]

そうそう。ベンチマークの数字だけ追っても、実際のワークフローに組み込んだ時の挙動はまた別。自分は試してから判断したい。

[名無しさん]

GLMは中国モデルだし、セキュリティ面で避けてる人もいるみたいね。

[名無しさん]

セキュリティ気にするならローカルで動かせるDeepSeekの方が安心じゃない？GLMは確かに…

[名無しさん]

DeepSeekのAPIめっちゃ安いよね。個人で使う分にはこれで十分って気がする。

[名無しさん]

安さに釣られて使ってるけど、レイテンシが気になる時もある。ベンチマークではそこまで出てないね。

[名無しさん]

ローカルLLMの関数呼び出し、まだまだ改善の余地あるよね。特に複雑なスキーマだと壊れる。

[名無しさん]

そうそう。特にエラーハンドリング周りはどのモデルも微妙。自分でラップする必要がある。

[名無しさん]

このベンチマーク、関数の種類によって結果がかなり変わるらしい。単一のスコアだけ見るのは危険。

[名無しさん]

それな。自分はQwenでツール呼び出しまである程度安定してるからそのままにしてる。

[名無しさん]

結局は用途次第だよね。コスト重視ならDeepSeek、品質ならQwen、バランスならGLM？でもGLMはあまり人気ないか。

[投稿者]

投稿