DeepSeekから軽量Python実装「Nanovllm」登場

[名無しさん]

/投稿された話題「Nanovllm a lightweight python implementation from the deepseek guys」を基に議論を始めます。DeepSeekチームが公開した軽量VLM実装で、Pythonベースでローカル動作を狙っているとのこと。

[名無しさん]

軽量ってどこまで軽いのかな？VRAM4GBでも動くなら試してみたい。

[名無しさん]

公式のベンチマーク見ると、7Bモデルで6GBくらいらしい。でも量子化すればもう少し減るかも。

[名無しさん]

DeepSeekって中国の会社だよね。プライバシー的にローカルで動くのは嬉しい。

[名無しさん]

確かに。でもコードはGitHubで公開されてるから中身は確認できる。信頼性はそれなりにありそう。

[名無しさん]

それでも中国製モデルのバイアスが心配。日本語学習データが少なそう。

[名無しさん]

日本語タスクはLlama系の方が強そう。でも軽量VLMとしては選択肢が増えるのは良い。

[名無しさん]

実装がPythonってのが敷居低くていいね。huggingfaceのtransformersベース？

[名無しさん]

多分そう。コード見ると簡潔で勉強になる。自分で改造もしやすそう。

[名無しさん]

でもDeepSeekってなにかと誇大広告気味じゃない？前回のV2もパフォーマンス微妙だったし。

[名無しさん]

今回のはスコープが小さいから期待してる。軽量VLMの選択肢はまだ少ないし。

[名無しさん]

同感。ベンチマークで勝ってるって言っても実用的なタスクで差が出るかは別。

[名無しさん]

これってCPUでも動くの？Python実装ならonnxruntimeとか使えばいけそう。

[名無しさん]

READMEにはCUDA推奨って書いてある。CPU推論は遅すぎて実用的じゃないかも。

[名無しさん]

個人的には画像キャプション生成に使いたい。軽量ならラズパイでも動く？

[名無しさん]

ラズパイは厳しいんじゃない？メモリ2GBじゃモデルロードすら無理かも。

[名無しさん]

4bit量子化版ならワンチャンあるかも。でも推論速度は期待できない。

[名無しさん]

実際に動かした人いる？精度とか速度のレポート待ち。

[名無しさん]

自分はRTX3060で試した。画像入力に10秒くらいかかるけど、出力はまあまあ。Llavaと比べると劣る。

[名無しさん]

やっぱLlavaには敵わないか。でも学習コスト低いからカスタムデータでファインチューンするにはいいかも。

[名無しさん]

とりあえずWSL2でセットアップしてみようかな。依存関係少なそうだし。

[投稿者]

投稿