104kトークンのプロンプトを110kコンテキストで処理したDeepSeek-R1のベンチマーク結果

[名無しさん]

Redditのr/LocalLLaMAで話題になっているDeepSeek-R1-0528-UD-IQ1_Sモデルが、104kトークンのプロンプトを110kトークンのコンテキストウィンドウで処理し、印象的なベンチマーク結果を出したという投稿です。コード生成やコスト、プライバシー面での利点が議論されています。ッド：

[名無しさん]

すごいな、104kトークンって本何冊分だよ。ローカルで動かせるのか？

[名無しさん]

多分VRAM大量に積んでる鯖じゃないと無理。一般ユーザーは無理ゲー

[名無しさん]

VRAM48GBあればなんとか？でも価格的に個人はきつい

[名無しさん]

でもDeepSeekはコスパいいから、クラウドで試すのはありかも

[名無しさん]

IQ1_Sって量子化方式だよね。精度落ちてるんじゃないの？

[名無しさん]

量子化でも大規模コンテキストだと結構性能出るらしいよ。このIQ1_Sは新しい手法みたい

[名無しさん]

ベンチマークの詳細が気になる。どんなタスクでどのくらいのスコアなんだろ

[名無しさん]

ブログ記事にベンチ詳細あるよ。コード補完と長文要約で高スコア

[名無しさん]

コード生成がメインならMistralの方がいいって見たことあるけど

[名無しさん]

プライバシー面でローカルLLMは魅力的だけど、このサイズだと導入コストがなあ

[名無しさん]

Redditのスレ見てきたけど、他のモデルと比較してかなり良い結果みたいだね

[名無しさん]

個人的にはLlama3の方が好き。DeepSeekは中国企業だしな

[名無しさん]

でも性能が良ければ使うわ。OSSだし、中身はチェックできる

[名無しさん]

110kコンテキストって実用的なのか？たまに事故るらしいけど

[名無しさん]

とりあえず試してみたいな。APIで安く使えるなら飛びつく

[投稿者]

投稿