DeepSeek 7b Base のローカル運用について語ろう

[名無しさん]

話題の DeepSeek 7b Base について。コード生成やプライバシー面でのローカル利用が注目されていますが、実際のベンチマークやコスト感はどうなんでしょうか？

[名無しさん]

自分も試したけど、7Bにしては結構賢い印象。でもやっぱり70Bには敵わないな。

[名無しさん]

そう？コード生成だと意外と7Bでも十分って意見も多いよ。コスパ重視ならアリかも。

[名無しさん]

ローカルで動かすなら7Bで十分って人と、絶対70B派で分かれるね。私は8GB VRAMでも動く7Bに軍配。

[名無しさん]

ベンチマークスコアはどこかで見た？MMLUとかHumanEvalとか気になる。

[名無しさん]

Redditのスレでも話題になってたけど、MosaicMLの評価だとLlama 3 8Bよりやや上って結果だったよ。

[名無しさん]

ほんと？それは意外。てっきりLlama系列には劣ると思ってた。

[名無しさん]

ベンチマークの選び方次第じゃない？実用重視なら自分で試すのが一番。

[名無しさん]

プライバシー面でローカルLLMに興味あるんだけど、DeepSeekって中国製だからデータの扱いがちょっと心配。

[名無しさん]

オープン重み公開されてるから自分で検証できるし、ローカルなら通信無いから問題ないと思う。

[名無しさん]

でもモデル自体にバックドアとかあったら怖いよね。コミュニティの監視はあるけど。

[名無しさん]

そこまで paranoid になる必要ある？普通に使う分には大丈夫でしょ。

[名無しさん]

実際に動かすときのメモリ使用量とか知りたい。自分の環境はRTX 3060 12GBなんだけどいけるかな？

[名無しさん]

4bit量子化すれば余裕で動くよ。7Bなら6GBくらいでいける。

[名無しさん]

自分の3060でも試したけど、4bitで速い。ただしコンテキスト長は限られるけどね。

[名無しさん]

GGUF形式ならllama.cppでお手軽。Q4_K_Mがおすすめ。

[名無しさん]

DeepSeekってコーディングに特化してるって聞いたけど、他の分野はどうなの？

[名無しさん]

雑談とか文章作成も普通に使えるよ。ただ上位モデルに比べるとクリエイティブさは劣るかも。

[名無しさん]

コード生成がメインなら十分。俺はVS Codeの補完に使ってる。

[名無しさん]

それ！コード補完に特化したモデルとして結構いいらしいね。試してみようかな。

[投稿者]

投稿