DeepSeek V4 Pro、GPT-5.2並みの性能でコスト17分の1？ FoodTruck Benchの結果について

[名無しさん]

Redditのr/LocalLLaMAで話題になっていたDeepSeek V4 Proの話です。独自のエージェントベンチマークFoodTruck BenchでGPT-5.2と同等のスコアを出し、しかも推論コストが約17分の1と報告されています。ローカルLLMコミュニティではかなり盛り上がっていました。

[名無しさん]

17分の1ってすごいな。でもベンチマークの内容が気になる。Food Truckって何だ？

[名無しさん]

FoodTruck Benchはエージェント的なタスクのベンチマークらしいよ。実際のユースケースに近いとか。

[名無しさん]

DeepSeekって中国のモデルだよね。ライセンス的にローカルで商用利用できるのか？

[名無しさん]

MITライセンスだったはず。だから個人でも企業でも使えると思う。

[名無しさん]

ただ中国のモデルってデータの偏りとかない？気になる。

[名無しさん]

GPT-5.2ってまだ出てないはず。何かのコードネーム？

[名無しさん]

多分内部的なモデルだと思う。OpenAIのリークとかではないかな。

[名無しさん]

実際に使ってみたけど、コーディングはかなり優秀。Claude 3.5 Sonnetと互角くらい。

[名無しさん]

どのくらいの規模のモデル？ローカルで動かせるの？

[名無しさん]

V4 Proはパラメータ非公開だけど、多分70Bくらいじゃない？量子化すれば24GB VRAMでもいける。

[名無しさん]

FoodTruck Benchのスコアだけ見て飛びつくのは危険。他のベンチマークも見たい。

[名無しさん]

そうそう。MMLUとかHumanEvalでの結果も欲しいところ。

[名無しさん]

Redditのスレでは他のベンチも貼ってたけど、確かに総合力ではGPT-4oに届いてない感じ。

[名無しさん]

コストが安いのは魅力。API叩くときに気にしなくていい。

[名無しさん]

でもAPIの安定性はどうなんだろう。DeepSeekのAPI、たまに落ちるって聞く。

[名無しさん]

ローカルで動かせば関係ないけどね。とにかく選択肢が増えるのは良いことだ。

[投稿者]

投稿