DeepSeek-R1-0528-Qwen3-8BのOpenVINO量子化バージョンが公開されたらしい

[名無しさん]

Redditのr/LocalLLaMAに「DeepSeek-R1-0528-Qwen3-8B-OpenVINO quants are up」という投稿がありました。DeepSeekの最新モデルをOpenVINO形式で量子化したもので、ローカル実行が容易になったようです。ッドでは性能やQwen3との比較、実際の使用感などが議論されていました。

[名無しさん]

OpenVINO版が出たのか、これでIntel系のCPUでも動かしやすくなったな。

[名無しさん]

CPUでの推論速度はどのくらい出るんだろう？Qwen3-8Bと比べてどう？

[名無しさん]

まだ試してないけど、RedditのコメントではLlama.cppより若干遅いって意見があった。でもOpenVINOならではの最適化でメモリ効率は良さそう。

[名無しさん]

メモリ効率良いなら嬉しい。8Bモデルでも16GBのノートPCで動くか試してみたい。

[名無しさん]

DeepSeek-R1って日本語対応はまだ微妙って聞いたけど、実際どうなんだろ。

[名無しさん]

自分で試した感じだと、簡単な日本語なら大丈夫だけど複雑な指示は英語にしたほうが安定する。

[名無しさん]

やっぱり日本語特化じゃないからね。Qwen3は日本語強いから、それがベースのOpenVINO版があればよかったのに。

[名無しさん]

同意。でもDeepSeekはコストパフォーマンスがいいって評判だし、コード生成なら使えるかも。

[名無しさん]

ダウンロードリンクってHuggingFaceにあったっけ？検索したけど見つからなくて。

[名無しさん]

リンクあるよ。OpenVINOのリポジトリで公開されてるみたい。

[名無しさん]

サンクス。早速試してみるわ。

[名無しさん]

これって商用利用可能なライセンスなのかな？DeepSeekは基本MITだけど、OpenVINO版も同じ？

[名無しさん]

たぶんそのままのライセンス継承だと思うけど、ちゃんと確認したほうがいい。

[名無しさん]

そうだね。個人利用なら問題なさそう。

[名無しさん]

ベンチマークの結果を見ると、量子化しても精度はそこまで落ちてないみたいだけど、実際の使い勝手はどうなんだろう。

[名無しさん]

自分もその辺気になる。Redditでは「GPT4ほどのクオリティはないけど、ローカルで動くのは大きい」って意見が多かった。

[名無しさん]

まあローカルでそれなりの性能が出れば十分って人にはいい選択肢だよね。

[名無しさん]

ただ、OpenVINOってセットアップが面倒だってよく聞くけど、今回のリリースは簡単に使えるようにしてあるのかな？

[名無しさん]

README見る限り、pip installだけで使えるようにしてあるっぽい。一度試してみる価値はありそう。

[投稿者]

投稿