Jetson Orin NanoでローカルLLMの実性能：Llama 3.1 8B、Qwen 2.5 7B、DeepSeek-R1 1.5Bのベンチマ…

[名無しさん]

Redditのr/LocalLLaMAで、Jetson Orin Nano上でのLlama 3.1 8B、Qwen 2.5 7B、DeepSeek-R1 1.5Bの実測パフォーマンスが共有されていました。低コストでプライベートなLLM運用を模索する人には興味深いデータです。

[名無しさん]

これ見たけど、8Bモデルでも結構スピード出てるんだな。トークン生成速度どのくらいだった？

[名無しさん]

確かLlama 3.1 8Bで10〜15トークン/秒くらいだった気がする。Qwenも似たような感じ。DeepSeek-R1 1.5Bはもっと速かった。

[名無しさん]

Jetson Orin Nanoって値段の割に結構使えるんだな。でも消費電力はどうなの？

[名無しさん]

15Wくらいじゃなかったっけ。Raspberry Piよりは食うけど、GPU積んでるから仕方ない。

[名無しさん]

DeepSeek-R1 1.5Bは軽いけど、性能どうなんだろう。コード生成とかには使えるのか？

[名無しさん]

1.5Bだと簡単なコード補完くらいなら使えるけど、複雑なのは無理。やっぱり8B以上欲しい。でもローカルで動くのは安心感ある。

[名無しさん]

このベンチマーク、量子化方式とか気になる。GGUF？それともExLlama？

[名無しさん]

多分GGUFの4ビット量子化だと思う。JetsonだとTegra GPU向けに最適化してるみたい。

[名無しさん]

こういうデータは参考になる。自分も試してみようかな。でもCUDAコア少ないから大量トークンは厳しそう。

[名無しさん]

実際に使うなら、1回の応答が数百トークンまでなら実用的。長文生成には向かない。

[名無しさん]

Redditのスレッド見てきたけど、Opの環境とか細かい設定も載ってて参考になった。日本のフォーラムでもこういう情報共有したいね。

[名無しさん]

そうそう。ただしRedditの情報は鵜呑みにしないほうがいい。実際に環境再現してみないと。

[名無しさん]

Jetson以外に、Intel N100とかでも似たようなベンチ欲しいな。ローカルLLMのハード選びは悩む。

[投稿者]

投稿