DeepSeekの新モデル「slutty-deepseek-obliterated」って何？ローカルLLM界隈の話題

[名無しさん]

Redditのr/LocalLLaMAで話題になってる「slutty-deepseek-obliterated-6.5-20280512」ってモデルについて。タイトルが過激だけど、中身はDeepSeekの新しいローカルLLMらしい。ベンチマークやコスト、プライバシーの議論が盛り上がってる。ソース: https://www.reddit.com/r/LocalLLaMA/comments/1r7qfg0/okay_okay_yes_sluttydeepseekobliterated6520280512/

[名無しさん]

このモデル名、さすがに冗談だよね？

[名無しさん]

実際に使ってみたけど、コード生成はかなり良いよ。でもVRAMが12GBじゃ足りなかった。

[名無しさん]

量子化バージョンなら動くかも。GGUFで試した？

[名無しさん]

いや、まだ試してない。でも4bit量子化で8GBくらいならいけるらしい。

[名無しさん]

「slutty」って命名、誰得なんだよ…。性能で評価しようぜ。

[名無しさん]

ベンチマーク見たけど、GPT-4には及ばないが、ローカルにしては優秀。特に日本語タスクは意外と良い。

[名無しさん]

日本語のベンチってどれ？Rakudaとか？

[名無しさん]

そう、Rakudaスコアが65くらいで、他の8Bモデルより上。

[名無しさん]

DeepSeekは中国のモデルだから監視が怖い。ローカルならセーフか？

[名無しさん]

オープンソースだし、自分でファインチューンすれば大丈夫じゃない？

[名無しさん]

タイトルが過激すぎてRedditで炎上してたよ。でも中身は真面目な議論。

[名無しさん]

あれはパロディで、実際は真面目なモデル。でも名前は変えて欲しい。

[名無しさん]

このモデル、A100とかで動かすとすごいらしいけど、個人じゃ無理だな。

[名無しさん]

クラウドでレンタルすれば？でもコスト次第。

[名無しさん]

いや、ローカルで動かす意義が薄れる。

[名無しさん]

DeepSeekのMoEモデルと比べてどう？

[名無しさん]

こっちはdenseモデルだから、推論が速いけどパラメータ多い。

[名無しさん]

MoEの方がメモリ効率良いけど、速度はdenseに負ける。

[名無しさん]

個人的にはLLaMA系で十分。DeepSeekは過大評価？

[名無しさん]

でもコード生成はDeepSeekの方が得意みたい。

[名無しさん]

確かに。HumanEvalで良いスコア出てる。

[名無しさん]

「compute credits」って部分、どういう意味？

[名無しさん]

多分、モデルを使うためにAPI課金が必要ってことの皮肉。

[名無しさん]

ともかく、ローカルLLMの進化はすごい。このモデルもその一環。

[名無しさん]

そうだね。次のバージョンに期待。

[投稿者]

投稿