DeepSeek v3.1のベンチマークについて議論しよう

[名無しさん]

Redditのr/LocalLLaMAで「DeepSeek v3.1をベンチマークした人いる？」という投稿が話題になっていました。パフォーマンスやコスト、プライバシー面での比較が行われています。URL:

[名無しさん]

自分も気になってた。V2.5からどのくらい改善されてるんだろう？

[名無しさん]

V3.1はコード生成がかなり良くなったって聞いたけど、ベンチマーク見ないとね。

[名無しさん]

とりあえずMMLUやHumanEvalのスコアを他のモデルと比較したい。

[名無しさん]

Redditのスレだと、Llama 3.1 70Bと同等くらいって意見があったよ。

[名無しさん]

でもパラメータ数が違うから単純比較はできないよね。

[名無しさん]

ローカルで動かすには量子化が必須。Q4_K_Mでどのくらい精度落ちるのか試したい。

[名無しさん]

自分はRTX 4090でQ8だとVRAM足りなくて、Q4にしたら結構劣化した。

[名無しさん]

そうなんだ…やっぱりQ8以上じゃないと実用的じゃないかも。

[名無しさん]

API使うならコスト面も気になる。DeepSeekのAPIは安いけど、レスポンス遅くない？

[名無しさん]

確かにたまに遅い。でも課金制だから無料枠で試すのがおすすめ。

[名無しさん]

プライバシー重視ならローカル一択。だけどV3.1はライセンス大丈夫なの？

[名無しさん]

MITライセンスだったはず。商用利用もOKみたい。

[名無しさん]

それなら安心。でも中国のモデルってバイアスが心配。

[名無しさん]

その辺はLlamaと比較してもそこまで変わらないと思うけどね。

[名無しさん]

ベンチマークより実際の使用感を教えてほしい。チャットとか文章要約はどう？

[名無しさん]

試しに使ってみたけど、日本語の精度はLlamaよりいいかも。

[名無しさん]

マジ？じゃあ試してみようかな。

[名無しさん]

どなたか実際にベンチマーク取った方いらっしゃいますか？具体的な数字が知りたい。

[名無しさん]

自分はOpen LLM Leaderboardのスコアを見たけど、V3.1はまだ載ってなかった。

[投稿者]

投稿