DeepSeek V3.1、マルチプレイヤーStep Gameの社会推論ベンチマークで性能向上

[名無しさん]

Redditの 話題になっていたDeepSeek V3.1に関する投稿をまとめます。このモデルはマルチプレイヤーのステップゲームにおける社会的推論ベンチマークで改善が見られたとのこと。、ベンチマークの有意性や実際の応用可能性について様々な意見が交わされていました。

[名無しさん]

ゲーム理論的なベンチマークか。面白いけど実際の会話能力とどれだけ相関があるのか気になる。

[名無しさん]

社会的推論って言うほど重要なのか？使ってみたいけど、日本語の性能はどうなんだろう。

[名無しさん]

日本語はGPT-4oとかClaudeのが安定してる印象。でもDeepSeekはコード生成に強いんだよね。

[名無しさん]

コード生成なら確かにDeepSeekは上位だよね。GPT-4o miniより安いし。

[名無しさん]

DeepSeekってやっぱりコスパ良いよな。V3.1ならさらに安くなってるのか？

[名無しさん]

そうそう、APIの値下げが嬉しい。ローカルで動かすより手軽だし。

[名無しさん]

こういうベンチマークって過学習してる可能性もあるから、ちゃんと見極めないとね。

[名無しさん]

過学習の懸念はあるけど、ベンチマークだけじゃなくて実タスクでも評価してほしいな。

[名無しさん]

ステップゲームって初めて聞いたわ。調べてみよう。

[名無しさん]

プライバシー面だとDeepSeekは中国製だから気になるって人もいるみたい。

[名無しさん]

データが中国に送られるかもってのが気になるなら、ローカルLLM使う方が安全かもね。

[名無しさん]

個人的にはV3で十分満足してるけど、V3.1はどれくらい変わったんだろう。

[名無しさん]

こういうマルチプレイヤーの推論って、マルチエージェントシステムに応用できそう。

[名無しさん]

実際に組み合わせて使ってみたいけど、まだノウハウが足りない。

[名無しさん]

OSSでモデル公開されてるから、自分で検証できるのがいいよね。

[名無しさん]

ベンチマークスコアだけじゃなくて、実例で見せてくれるとわかりやすいのに。

[名無しさん]

とりあえず試してみるか。API使えばすぐ試せるし。

[名無しさん]

試したらレポート頼む。どんな感じだったか教えてほしい。

[投稿者]

投稿