DeepSeek新モデル、コンテキスト長3.2M？1Mじゃないらしい

[名無しさん]

Reddit r/LocalLLaMAで話題のDeepSeek新モデル、当初1Mコンテキストと言われていたけど実は3.2Mかもしれないという投稿がありました。
ローカルLLMユーザーとしてはコンテキスト長の拡大は嬉しいけど、メモリ消費や速度が気になりますね。皆さんはどう思いますか？

[名無しさん]

3.2Mってすごいな。でもローカルだとGPUメモリが足りなさそう。

[名無しさん]

今の4090でも24GBじゃ厳しいだろうね。量子化すればいけるか？

[名無しさん]

本当ならコード補完に使いたい。長いプロジェクト全体を入れられるかも。

[名無しさん]

DeepSeekは中国のモデルだから、やっぱりデータ収集が気になる。

[名無しさん]

ローカルで動かせば問題ないでしょ。オープンソースだし。

[名無しさん]

Redditではベンチマーク結果が賛否両論だったな。実際の性能はどうなんだろう。

[名無しさん]

リーダーボードでは上位だけど、実用的なタスクだと微妙って声もあるよ。

[名無しさん]

コンテキスト長だけじゃなくて、推論コストも下がってるといいな。

[名無しさん]

確かに。APIの価格次第では業務でも使える。

[名無しさん]

3.2Mって検索拡張(RAG)いらなくなるレベルじゃない？

[名無しさん]

いや、それでも検索は必要だよ。全部の情報をコンテキストに入れるのは非効率。

[名無しさん]

これってDeepSeek-V3の後継？それとも別物？

[名無しさん]

おそらくR1系統の派生モデルじゃないかな。詳細まだ不明。

[名無しさん]

とにかくベンチマークの数字だけじゃなくて、自分の使い方で試したい。

[名無しさん]

Ollamaで早く動かせるようにならないかな。

[名無しさん]

contextの長さだけで優劣決めるのは危険。精度が落ちるかもしれない。

[名無しさん]

その通り。長ければいいってもんじゃない。Lost in the middle問題は解決されてるの？

[名無しさん]

そこが一番気になる。論文ではどうなってるんだろう。

[名無しさん]

中国の規制に引っかからなければいいけど。

[名無しさん]

オープンソースだからこそ、自分でチェックできる。

[名無しさん]

しかし3.2Mって聞くと、Llama 3.1 405Bの128Kが小さく感じるな。

[名無しさん]

でも405Bはパラメータ数が桁違い。コンテキスト長だけ比較してもね。

[名無しさん]

個人的には1Mでも十分すぎる。3.2Mって誰が使うんだ？

[名無しさん]

コード生成や法律文書分析には役立つかも。

[名無しさん]

とにかく実際にリリースされてから評価しよう。今は噂段階だし。

[名無しさん]

楽しみだけど、過度な期待は禁物だね。

[投稿者]

投稿