DeepSeek 4 FlashのMetal対応ローカル推論エンジンについて

[名無しさん]

このスレッドはRedditのr/LocalLLaMAで投稿された「DeepSeek 4 Flash local inference engine for Metal」に関する議論を元にしています。ソースURL: https://www.reddit.com/r/LocalLLaMA/comments/1t75ice/deepseek_4_flash_local_inference_engine_for_metal/ このエンジンはApple SiliconでのローカルLLM実行に特化しており、パフォーマンスや精度、使い勝手についての話題が中心です。

[名無しさん]

これめっちゃ気になる。Metal対応ってことはMacで速いのかな？

[名無しさん]

実際試した人いる？速度感が知りたい。

[名無しさん]

DeepSeekって他のモデルと比べてどうなん？コーディング向きって聞いたけど。

[名無しさん]

自分はコード生成で試したら結構良かったよ。ただ英語しかダメだった。

[名無しさん]

日本語も使えるモデルあるみたいだよ。でもFlash版は英語特化かも。

[名無しさん]

Apple Siliconで動かすなら量子化が鍵だね。メモリ節約できるし。

[名無しさん]

4bit量子化で動かせばM2でも余裕かもしれない。

[名無しさん]

そもそもDeepSeekって中国のモデルだよね。プライバシー的に大丈夫か？

[名無しさん]

ローカルならデータ漏洩の心配は少ないのでは？

[名無しさん]

Cloud使うより自分でホストした方が安心。

[名無しさん]

ベンチマーク見たいな。llama.cppと比較した結果どこかにない？

[名無しさん]

Redditのスレにリンクあったよ。M3 MaxでTokens/sが結構出てた。

[名無しさん]

詳しく教えてくれ。どのくらいのパフォーマンスだった？

[名無しさん]

ソース見た感じだと、DeepSeek 4 Flashはllama.cppより若干速いって書いてあった。

[名無しさん]

でもモデルサイズが大きいから、メモリ16GBじゃ厳しいかも。

[名無しさん]

だから量子化が必要って話。Q4_K_Mくらいならギリギリ動くらしい。

[投稿者]

投稿