DeepSeek V4 Liteを実際に使った人いる？ 議論から

[名無しさん]

Redditのr/LocalLLaMAで「DeepSeek V4 Liteを実際に使った人はいる？」というスレッドが立っていました。:。コメントは少ないものの、ローカルLLMの使用感、コスト、プライバシー、ベンチマーク比較などが話題になっています。DeepSeekモデルに関心のある方、意見をどうぞ。

[名無しさん]

使ってみたよ。とりあえずQ4_K_Mで動かしたけど、コード生成は悪くなかった。ただプロンプト次第かな。

[名無しさん]

どのくらいのVRAM必要？16GBでも動く？

[名無しさん]

Q4なら16GBでいけるよ。でもコンテキスト長いと厳しいかも。

[名無しさん]

ベンチマーク見る限り、Llama 3.1 8Bと同程度？でもパラメータ増えてるし、微調整次第で化けるかも。

[名無しさん]

DeepSeekって中国製だよね。プライバシー面でちょっと躊躇する。

[名無しさん]

ローカルで動かせば問題ないんじゃない？API経由だと気になるけど。

[名無しさん]

確かに。オープンウェイトだから監査もできるし、そこまで心配しなくていいかもね。

[名無しさん]

個人的にはV4（非Lite）のほうが興味ある。Liteはコスパ重視らしいけど。

[名無しさん]

公式ベンチだと数学が弱いって言われてるけど、実際どう？

[名無しさん]

確かに論理問題は微妙。でも日常的な質問だと十分。

[名無しさん]

まだ使ってない。インストール手順が面倒そうで。

[名無しさん]

llama.cppで結構簡単に動くよ。ドキュメント読めばすぐ。

[名無しさん]

コーディング用途で使ってるけど、PyTorch系はそこそこ。JavaScriptは意外と使える。

[名無しさん]

Qwen 2.5 Coderとどっちがいいんだろ？

[名無しさん]

同じベンチじゃDeepSeek Liteのほうが若干上って結果もあったけど、好みかも。

[名無しさん]

ローカルLLMってやっぱり日本語言語モデル専用のほうがいいのかな。

[名無しさん]

DeepSeekは日本語微妙って話もあるね。でも英語なら普通。

[名無しさん]

Liteって名前だけど結構重いんだよね。8Bクラスと変わらないVRAM食う。

[名無しさん]

そうそう、16Bだから当然か。でも精度はその分上がってるなら許容範囲。

[名無しさん]

Redditのスレ見てると、推論速度が気になるって人多かった。自分はまだ試せてない。

[名無しさん]

3070で4bitならそこそこ速いよ。ただし長文になるとトークン/s落ちる。

[名無しさん]

BGE M3みたいな埋め込みモデルと組み合わせてRAGに使えないかな。

[名無しさん]

その用途なら結構使えるよ。EmbeddingもDeepSeekのやつあるし、試してみようかと思ってる。

[投稿者]

投稿