DeepSeekやMoonshot AIが来年には数兆パラメータのオープンウェイトモデルをリリースする可能性について

[名無しさん]

Redditのr/LocalLLaMAで話題になっているスレッドです。DeepSeekやMoonshot AIといった企業が、来年には数兆パラメータ級のオープンウェイトモデルを出すかもしれないとの予測について議論されています。新しいアーキテクチャが開発されなければ、こうした巨大モデルが登場する可能性が高いとのこと。日本でもローカルLLMとして使えるか、コストやプライバシー面での懸念など、様々な意見があります。ッド:

[名無しさん]

数兆パラメータって、もう人間の脳みそのシナプス数超えてるんじゃないか？そんなモデルをローカルで動かすのは無理だろ。

[名無しさん]

量子化とか蒸留技術で小さくできるかもしれないけど、それでもRAMが何TBも必要になりそうだな。

[名無しさん]

それでもオープンウェイトならクラウドで使う分にはいいかもね。ただしAPI料金が高そう。

[名無しさん]

DeepSeekって中国企業だよね？プライバシー的に大丈夫なのかな。

[名無しさん]

オープンウェイトなら自分で検証できるから、プライバシーはある程度コントロールできると思う。でも学習データに中国の検閲が入ってる可能性はある。

[名無しさん]

そもそもそんな巨大モデルって本当に必要なん？現状の70Bとかでも十分賢いし。

[名無しさん]

専門的なタスクやマルチモーダルになるとまだまだ改良の余地はあるよ。でもコスト対効果が問題。

[名無しさん]

ベンチマークでどのくらい伸びるんだろうね。MMLUとかHumanEvalで劇的な差が出るなら価値あるかも。

[名無しさん]

前にDeepSeekのモデルがコーディングで結構いいスコア出してたから、さらに上がったら凄いな。

[名無しさん]

Moonshot AIってあまり聞かないけど、どんなとこ？

[名無しさん]

中国のスタートアップで、Kimiという長文対応のモデルで有名。資金調達もしてるらしい。

[名無しさん]

とにかく注目だわ。来年はLLM業界がまた大きく動きそう。

[名無しさん]

でもアメリカの規制とかで中国からのオープンウェイトが制限される可能性もあるから、その辺も気になる。

[投稿者]

投稿