DeepSeekの品質が悪いって話

[名無しさん]

Redditのr/LocalLLaMAで「DeepSeekがフレーズを正しくしない」という投稿がありました。スコア4、コメント2件と小規模ですが、DeepSeekモデルを使っている人には気になる話題です。精度の問題、コード生成、コスト、プライバシー、ベンチマーク比較など、様々な観点で議論が行われています。皆さんの経験や意見を聞かせてください。

[名無しさん]

確かにDeepSeekの、たまに変な訳出るよ。特に日本語→英語が怪しい。

[名無しさん]

自分は英語→日本語で使ってるけど、そもそも日本語コーパスが少ないんじゃない？

[名無しさん]

だけじゃなくて、コード生成もたまに変なの出る。でもコスパはいいよね。

[名無しさん]

そうそう、API価格が安いからトレードオフって感じ。GPT-4oと比べるのは酷かも。

[名無しさん]

ローカルで動かしてるけど、量子化モデルだと特にが微妙。

[名無しさん]

どの量子化レベル？Q4_K_Mとか？自分はQ8で試したらまあまあだったよ。

[名無しさん]

Q4_K_Mで試した。やっぱり精度落ちるんだな。

[名無しさん]

Redditのスレでも言われてたけど、プロンプトを工夫すると改善するらしい。

[名無しさん]

具体的には？「正確にして」って付け加えるだけで変わる？

[名無しさん]

俺は言語とターゲット言語を明示するとマシになる気がする。

[名無しさん]

DeepSeekは中国語には強いけど、日本語はあまり得意じゃないのかな。

[名無しさん]

でもベンチマークでは結構いいスコア出してるよ。実際の使用感とのギャップか。

[名無しさん]

ベンチマークは英語中心だからね。非英語は評価が難しい。

[名無しさん]

プライバシー考えるとローカルで動かせるDeepSeekは魅力的だけど、品質がネック。

[名無しさん]

そうそう、クラウドに送りたくないデータだけど、品質悪いと使えないジレンマ。

[名無しさん]

他のモデルと比較して、DeepSeekのは独特のくせがある。

[名無しさん]

どんなくせ？俺はNLLBとか使ってたけど、DeepSeekは自然な感じがする時もある。

[名無しさん]

たまに原文にない単語を勝手に追加するんだよ。ハルシネーションって感じ。

[名無しさん]

確かに、なのに創作入るのは困るな。

[名無しさん]

現時点では、目的ならGPT-4oやClaudeの方が安定してる。

[名無しさん]

でもコストが全然違うから、用途によるかも。大量のならDeepSeekでもいいかも。

[名無しさん]

品質よりも量を優先するならありか。後で人間がチェックするなら。

[名無しさん]

Redditスレ見返すと、結構多言語対応に苦戦してる人多いね。

[名無しさん]

日本語コミュニティでも似たような話題出てるよ。改善に期待。

[名無しさん]

とりあえず、以外のタスクでは満足してる。コード生成とか。

[名無しさん]

コードは英語だから問題ないってのもあるかも。非英語タスクの性能向上に期待したい。

[名無しさん]

まとめると、DeepSeekのはまだまだ改善の余地あり。でもコスパとプライバシー面で価値はあるという意見が多数って感じかな。

[投稿者]

投稿