DeepSeek、Web/APPとAPIでモデルが違う？ベースモデルは1.5T～2T規模らしい

[名無しさん]

Redditのr/LocalLLaMAで興味深い投稿がありました。DeepSeekはWeb/APPとAPIで異なるモデルを使っていて、APIのベースモデルは1.5T～2Tパラメータと大きく、さらに大型モデルが近日公開予定だそうです。ローカルLLMユーザーとしては、コストやプライバシー、ベンチマーク比較など気になる点が多いですね。

[名無しさん]

え、そうなん？Web版とAPIでモデル違うって初耳だわ。

[名無しさん]

そうらしい。Redditの投稿によると、APIは1.5T～2Tパラメータで、Web版は蒸留モデルとか？

[名無しさん]

APIの方が大きいモデルなら、やっぱり精度はそっちの方が良いのかな。でもコストが気になる。

[名無しさん]

コストは確かに。DeepSeekのAPI、確か無料枠があるけど、大規模には向かないかも。

[名無しさん]

大型モデルが来るなら、ローカルで動かすのはまだ無理そうだな。

[名無しさん]

量子化すればいけるかも？でも2Tはさすがにきつい。

[名無しさん]

ベンチマーク比較待ったなしだな。ClaudeやGPTと比べてどうなんだろ。

[名無しさん]

DeepSeekのコーディング能力は結構高いって聞くけど、実際どうなんだろう。

[名無しさん]

コード生成は結構正確だったよ。ただし複雑なタスクだとまだ怪しい部分もある。

[名無しさん]

プライバシー面ではローカルが安心だけど、APIの方が性能良いならトレードオフだね。

[名無しさん]

個人的にはローカルLLMで十分だから、APIは緊急時だけ使うかな。

[名無しさん]

Web版を触った感じだと、応答速度は悪くなかったよ。でもモデルサイズが違うなら納得。

[名無しさん]

1.5Tって、訓練コストもやばそう。DeepSeekは金あるんだな。

[名無しさん]

APIの料金表見たけど、入力100万トークンあたり$0.28って安い？高い？

[名無しさん]

GPT-4よりは安いけど、ローカルならタダだからね。

[名無しさん]

実はWeb版も裏では同じモデル使ってるって可能性はないの？

[名無しさん]

それは検証しないとわからんね。プロンプトで挙動変えてるとか？

[名無しさん]

大型モデルが来たら、ローカルじゃなくてレンタルGPUで動かす人が増えそう。

[名無しさん]

その時はまた新しいベンチマーク戦争が始まるな。

[名無しさん]

蒸留モデルの方も結構使えるから、API課金したくないならそっちでいいかも。

[名無しさん]

でも蒸留モデルだとやっぱり性能落ちる？同じパラメータ数なら差はあるよね。

[名無しさん]

とりあえず今後に期待。オープン公開されるなら嬉しいけどな。

[投稿者]

投稿