DeepSeek 3.1をApple Siliconで動かす – Unsloth版のパフォーマンス

[名無しさん]

DeepSeek 3.1をApple Siliconで動かすという話題。Redditのr/LocalLLaMAで話題になっていた。Unsloth版のパフォーマンスが気になる。URL:

[名無しさん]

M1 Maxで試してみたけど、思ったより速いね。16GBでも何とか動く。

[名無しさん]

16GBだと量子化必須だよね。Unslothの４ビット版が使えるみたい。

[名無しさん]

4ビットだと精度落ちるけどコード生成なら十分だよ。

[名無しさん]

コード生成で試したけど、結構まともなコード吐くよ。ただし複雑なのは無理。

[名無しさん]

ベンチマーク結果は？Redditにはスコア2ってあったけど詳細が欲しい。

[名無しさん]

自分も気になってる。MMLUとか測定した人いる？

[名無しさん]

Redditのスレではコメント5件しかないからベンチはまだ少ないね。自分で計ろうかな。

[名無しさん]

M2 Ultra持ちだけど、大きなモデルはメモリ不足で動かない。諦めてる。

[名無しさん]

Apple SiliconだとMetalの対応が肝心。Unslothは結構最適化されてるらしい。

[名無しさん]

Metalは確かに速いけど、CUDAには敵わないと思う。でも実用的ならOK。

[名無しさん]

プライバシー面でローカルLLMは良いね。DeepSeekはコーディングに特化してるし。

[名無しさん]

コストは電気代だけ。クラウドAPIより安上がりだし、オフラインでも使える。

[名無しさん]

Unslothって何？初めて聞いた。

[名無しさん]

LLMのファインチューニングとか量子化を簡単にするライブラリ。Apple Silicon向けの最適化もある。

[名無しさん]

比較対象としてLlama 3.1とかMistralはどう？DeepSeekの方が日本語は得意かも。

[名無しさん]

日本語性能はDeepSeekの方が上って聞いたけど、実際に試してみないとね。

[投稿者]

投稿