RK3588 NPU vs Raspberry Pi 5 でLlama 3.1 8B、Qwen 3B、DeepSeek 1.5Bをベンチマーク

[名無しさん]

Redditのr/LocalLLaMAで、RK3588のNPUとRaspberry Pi 5でLlama 3.1 8B、Qwen 3B、DeepSeek 1.5Bを比較したベンチマーク結果が投稿されていました。スコアは7、コメント13件です。NPUの実用性や各モデルのトークン速度、メモリ使用量などが議論されています。

[名無しさん]

NPUって実際どのくらい使えるんだろう？Raspberry Pi 5と比べてどれだけ速いのか知りたい。

[名無しさん]

RK3588のNPUは6TOPSとか言われてるけど、LLMではメモリ帯域がボトルネックになりがちらしい。

[名無しさん]

そうなんだ。だとするとRaspberry Pi 5の方が汎用性高いかもね。NPUは特定のモデルにしか最適化されてないし。

[名無しさん]

DeepSeek 1.5Bは小さいからエッジでも動かしやすいって話だけど、精度はどうなんだろ？

[名無しさん]

ベンチマーク見る限り、そこそこ使えるみたい。コード生成とかなら十分かも。

[名無しさん]

でもやっぱり8Bモデルと比べると賢さが違うよね。NPUで8B動かすのは厳しいのかな。

[名無しさん]

Raspberry Pi 5で8Bモデルを動かすって結構メモリきつくない？スワップとかで遅くなるし。

[名無しさん]

そもそもRPi5はメモリ8GBまでしかないから、8Bの量子化モデルでもギリギリだと思う。

[名無しさん]

そう考えると、RK3588はメモリも多いしNPUあるから有利そうだけど、ソフトウェアの対応がまだまだって話も聞く。

[名無しさん]

個人的にはローカルLLMのプライバシー面は魅力だけど、コスト考えるとクラウドの方が安い場合もあるよね。

[名無しさん]

確かに。でも無制限に使えるし、データ漏洩の心配がないのは大きい。

[名無しさん]

あと、ネットワーク切れても動くのは安心。キャンプとかで使いたい。

[名無しさん]

このベンチマーク、もっと細かい設定とか知りたいな。量子化ビット数やプロンプトの長さとか。

[投稿者]

投稿