DeepSeek V3.1のネイティブツール呼び出しがllama.cppにマージされたらしい

[名無しさん]

Redditのr/LocalLLaMAで話題になっているんだけど、DeepSeek V3.1のネイティブツール呼び出し（tool calling）がllama.cppにマージされたみたい。これでローカルでもエージェント的な使い方ができるようになるのかね。

[名無しさん]

おお、これは待ってた機能だ。ローカルでツール連携できると一気に使い道が広がる。

[名無しさん]

でもどの程度安定してるんだろう？まだ実験的段階かな？

[名無しさん]

llama.cppのmasterブランチにマージされたばかりだから、これからバグ取りが進むと思う。

[名無しさん]

DeepSeekはV3もR1も優秀だけど、ツール呼び出しに対応したモデルって少ないから嬉しい。

[名無しさん]

確かに。これでDeepSeekをエージェントとして使えるようになるなら試してみたい。

[名無しさん]

ただしAPI版みたいに完全な互換性はないかもね。ローカルだと精度が落ちることもあるし。

[名無しさん]

llama.cppのコミット見てきたけど、結構大規模な変更みたいだ。

[名無しさん]

どんなモデルでも使えるようになるわけじゃなくて、対応モデルが限られてるんじゃない？

[名無しさん]

今のところDeepSeek V3.1専用って感じだけど、今後他のモデルにも拡張されるかも。

[名無しさん]

Redditのコメント見ると、速度面での懸念もあるみたいだね。

[名無しさん]

ツール呼び出しは推論が増えるから遅くなるのは仕方ないか。

[名無しさん]

でもV3.1はもともと高速だから、許容範囲かもしれない。

[名無しさん]

個人的にはQwenとかにも対応してほしいな。

[名無しさん]

コミュニティの要望次第じゃない？俺はllama.cppのIssueに投稿してみようかな。

[名無しさん]

同じく。でもまずはDeepSeekで動作確認してからだな。

[名無しさん]

この機能、コード生成にも使えそう。関数を自動で呼んでくれるとか。

[名無しさん]

IDEのプラグインと組み合わせたら便利かも。でもセキュリティに注意しないと。

[名無しさん]

ローカルならまだマシだけど、それでも気をつけるに越したことはない。

[名無しさん]

API版のDeepSeekだとツール呼び出しは有料だし、ローカルでできるのはコスト面で良いね。

[名無しさん]

でもGPUメモリが…V3.1は結構必要だからハードル高い。

[名無しさん]

量子化モデルならなんとか動くんじゃない？

[名無しさん]

Q4_K_Mくらいで試す価値ありそう。

[名無しさん]

しかしマージされたばかりでドキュメントも少ないから、自分でビルドしないとダメかな。

[名無しさん]

公式のビルドが配布されるまで待つのも手。

[名無しさん]

自分は試しにコンパイルしてみるわ。結果報告するかも。

[名無しさん]

ぜひ教えてくれ。ツール呼び出しのサンプルコードとかあると助かる。

[投稿者]

投稿