GLM-5とDeepSeekがゲームエージェントコーディングリーグでトップ6入り

[名無しさん]

Redditのr/LocalLLaMAで、GLM-5とDeepSeekが5つのゲームを対象としたエージェントコーディングリーグでトップ6に入ったという話題がありました。ソースはこちら: https://www.reddit.com/r/LocalLLaMA/comments/1r7i2im/glm5_and_deepseek_are_in_the_top_6_of_the_game/

このリーグは、LLMがゲーム内のタスクをコードで解決する能力を競うものらしく、ローカルLLM勢の健闘が光りますね。特にDeepSeekはコスパやプライバシーの面でも注目されています。皆さんはどう思いますか？

[名無しさん]

GLM-5って初めて聞いたけど、中国のモデルなんだっけ？結構強いのね。

[名無しさん]

そうそう、智源研究院（BAAI）のモデルだよ。DeepSeekと並んでトップ6ってことは、オープンソース勢も捨てたもんじゃないね。

[名無しさん]

でもゲームエージェントって特定のタスクに特化してるから、汎用性能とはまた別だよね。

[名無しさん]

その通り。でもコード生成能力は実用的な指標の一つだから、参考にはなると思う。

[名無しさん]

DeepSeekは最近いろんなベンチマークで上位に入ってて、しかも安いから人気だよね。ローカルで動かすなら最適解の一つかも。

[名無しさん]

ただ、DeepSeekの日本語性能はまだ微妙って話もある。試したことある人いる？

[名無しさん]

英語のコード生成ならかなり使えるけど、日本語の自然言語処理は確かに精度が落ちる感じ。でもコーディングだけなら問題ないよ。

[名無しさん]

GLM-5も試してみたいけど、モデルサイズが大きくてローカルじゃ厳しいかも。DeepSeekのほうが軽量で使いやすい。

[名無しさん]

確かに。でも最近は量子化技術が進んでて、7Bクラスなら大抵の環境で動くよ。

[名無しさん]

こういうリーグってモデル選びの参考になるけど、運営側のバイアスとかないのかな？

[名無しさん]

そこは気になるね。でも複数ゲームで評価してるから、ある程度は公平だと思う。

[名無しさん]

個人的にはコード生成ならClaudeやGPT-4oにまだ及ばない印象。でもオープンなのは良い。

[名無しさん]

値段とプライバシーを考えれば十分トレードオフになるよ。API叩き続けるより自分のマシンで動かせる安心感は大きい。

[名無しさん]

このリーグの詳細な結果ってどこかで見れるの？ソースのRedditにリンクある？

[名無しさん]

Redditのポスト自体にリンクが貼ってあったはず。たしかGitHubのリポジトリとかなんとか。

[名無しさん]

ありがとう。後で調べてみる。ローカルLLMの進化は本当に早いね。

[投稿者]

投稿