DeepSeekモデルをllama.cppで動かすスレ

[名無しさん]

DeepSeekのモデルをllama.cppで動かす試みについての話題です。元記事はRedditのr/LocalLLaMAから。コード生成やコスト面、プライバシー、ベンチマークなど、ローカルLLMとしての実用性を議論しましょう。

[名無しさん]

DeepSeekってllama.cppで動くのか。試してみたいけど、量子化モデルとかあるのかな。

[名無しさん]

gguf形式のが公開されてるよ。7Bとか16Bとか。llama.cppのビルドが必要だけど、普通に動く。

[名無しさん]

コード生成の品質はどう？StarCoderとかCodeLlamaと比べて。

[名無しさん]

ベンチマーク見ると結構いいみたい。HumanEvalで60%超えてるらしい。ただ、サイズが大きいとVRAM食う。

[名無しさん]

プライバシー面ではローカルで動かせるのがいいね。API使うとデータが中国に行くリスクあるし。

[名無しさん]

でもライセンスが中国の法律に準拠って書いてあって、ちょっと不安。

[名無しさん]

llama.cppで動かす際の推論速度ってどれくらい？GPUなしでもいける？

[名無しさん]

7BモデルならCPUでも何とか。でもGPUあった方が速い。RTX3060で16Bならトークン/秒10ぐらい。

[名無しさん]

コスト面で考えると、クラウドAPIより断然安い。電気代だけだから。

[名無しさん]

でもモデル自体が結構でかいから、ダウンロードに時間かかるし、ストレージも必要。

[名無しさん]

DeepSeekのCoderモデルって日本語対応してる？

[名無しさん]

一応マルチリンガルらしいけど、英語と中国語がメイン。日本語はそこまでじゃないかも。

[名無しさん]

じゃあコードのコメントとか日本語で書くと変になるかな。試した人いる？

[名無しさん]

日本語のプロンプトだとたまに変な出力になる。でもコード生成自体は問題ない。

[名無しさん]

llama.cppのバージョンによってはDeepSeekのサポートが不完全って話もあるけど。

[名無しさん]

最新のmasterブランチなら大丈夫。コミットで対応されてる。

[名無しさん]

DeepSeekのモデルってOSSじゃないんでしょ？ライセンス的に微妙じゃない？

[名無しさん]

一応MITライセンスのやつもあるけど、v2以降は独自ライセンスみたい。商用利用は要確認。

[名無しさん]

llama.cppで動かすときに、サンプリングパラメータは何がおすすめ？

[名無しさん]

温度は0.7ぐらいで、top_p=0.9が無難。コード生成なら温度低めがいい。

[名無しさん]

llama.cppのCLIから使うのと、サーバーモードとどっちが楽？

[名無しさん]

サーバーモードの方が何かと便利。APIとして使えるし、GUIから接続できる。

[名無しさん]

中国のAIモデルってやっぱり検閲とか入ってるの？

[名無しさん]

中国政府の要請でモデルにフィルター入ってる可能性はある。でもローカルなら関係ないかも。

[名無しさん]

でも学習データ自体に偏りがあるから、回答が中国寄りになることはある。

[名無しさん]

とりあえずllama.cppで動かすのは簡単だから、一度試してみる価値あり。

[名無しさん]

そうだね。GPU持ってるならぜひ試してみて。

[投稿者]

投稿