DeepSeek V3.2をllama.cppで試してみたい人いる？ PR出したよ

[名無しさん]

、誰かがllama.cppにDeepSeek V3.2対応のPRを出したという投稿がありました。作者は「誰か試してみない？」と呼びかけていて、コメント欄では手軽に試せる環境や量子化の話、他のモデルとの比較などが議論されています。

[名無しさん]

これ面白そう。早速試してみるわ。

[名無しさん]

試した結果どうだった？

[名無しさん]

自分もビルドしてみたけど、普通に動いたよ。ただ量子化がまだ対応してないみたい。

[名無しさん]

量子化なしだとVRAM大量に使うから、要検討だな。

[名無しさん]

DeepSeek V3.2ってどんなモデル？性能は？

[名無しさん]

llama.cppのPRってことはコード読める人じゃないと厳しい？

[名無しさん]

DeepSeekは中国のモデルだからデータの扱いが気になる。

[名無しさん]

パフォーマンスはどう？Llama 3と比べて。

[名無しさん]

ベンチマーク見ると、コード生成で結構良いスコア出てるよ。

[名無しさん]

コード特化なら使ってみたいかも。

[名無しさん]

このPR、マージされるのかな？

[名無しさん]

レビューが進んでるみたいだから、そのうちマージされるんじゃない？

[名無しさん]

OSSコミュニティとしては歓迎だけど、バグが多そう。

[名無しさん]

自分はAPI経由でしか使ってないから、ローカルで動かすのは興味ある。

[名無しさん]

APIだとコストかかるしね。ローカルで動けば安心。

[名無しさん]

でもDeepSeekって結構重いんだよな。

[名無しさん]

llama.cppのビルドが面倒で諦めたわ。

[名無しさん]

プリビルドバイナリが配布されるのを待つ。

[名無しさん]

このモデル、マルチモーダルなの？

[名無しさん]

V3.2はテキストだけだよたぶん。

[名無しさん]

コード生成ならCopilotで十分って意見もあるけどね。

[名無しさん]

ローカルで動かせるのが大事なんだよ。オフラインでも使いたい。

[名無しさん]

PR作った人、偉いな。感謝。

[名無しさん]

DeepSeekってBenchmarkで過大評価されてる気がする。

[名無しさん]

実際に使ってみないと分からないね。

[名無しさん]

llama.cppのこのPR、DeepSeek以外にも応用できそう。

[名無しさん]

とりあえず自分も試してみる。後で結果報告する。

[投稿者]

投稿