600ユーロ以下のローカルLLM環境、Qwen3.6-27B/35B-A3BやDeepSeek蒸留モデルを動かすには？

[名無しさん]

Redditのr/LocalLLaMAから話題を拾いました。予算600ユーロでQwen3.6-27B、Qwen3.6-35B-A3B、DeepSeek蒸留モデル、コーダーモデルをローカルで動かすためのハードウェア構成についてのスレッドです。プライバシーやコスト、ベンチマーク比較などの意見が交わされています。URL:

[名無しさん]

600ユーロだと中古のRTX3060 12GBとかかな。Qwen3.6-27Bは4ビット量子化でVRAM16GBくらい必要だからギリギリかも。

[名無しさん]

3060 12GBじゃ27Bは無理じゃない？ 35B-A3BのMoEは一部しかアクティブにならないからメモリは少なくて済むらしいけど。

[名無しさん]

自分は中古のP40 24GBを2枚で300ユーロくらいで組んだ。電力はかかるけどVRAMは潤沢。DeepSeekの蒸留モデルも問題なく動く。

[名無しさん]

P40ってメモリバンド幅とかは？ 推論速度はどのくらい？

[名無しさん]

メモリバンド幅は346GB/sだからRTX3060よりちょっと上。ただしFP16は遅いからINT8量子化必須。トークン速度は5-8 tok/sくらい。

[名無しさん]

いっそMac Mini M4の16GBモデルって手もあるよ。600ユーロちょいで買えるし、統一メモリで14Bくらいならサクサク。27Bは厳しいけど。

[名無しさん]

MacはMetal経由でllama.cppが動くけど、QwenのMoEモデルはまだ最適化されてないとか聞いた。

[名無しさん]

誰か実際にQwen3.6-35B-A3Bを動かした人いる？ アクティブパラメータが少ないから理論上は低スペックでもいけるはず。

[名無しさん]

自分はRTX4060 Ti 16GBで動かしたよ。13Bくらいのメモリ消費で推論できて、速度も悪くなかった。QwenのMoEはかなり効率的。

[名無しさん]

4060 Tiは16GBあるけどバンド幅が288GB/sだから、P40の方が安くてVRAM多いからトークン速度はP40の方が上かも？

[名無しさん]

コーダーモデルってCodeLlamaとかDeepSeek Coder？ それなら量子化すれば8GBでも動くよ。

[名無しさん]

DeepSeek Coder V2はパラメータ多いから16GBでもきつい。蒸留モデルの方がおすすめ。

[名無しさん]

600ユーロならTesla T4 16GBが中古で買えるよね。メモリバンド幅はそこそこ、電力もP40よりマシ。推論特化ならあり。

[名無しさん]

T4って冷却に工夫が必要だし、ファンレスだからケースエアフロー考えないと熱暴走するよ。

[名無しさん]

予算が少ないならクラウドGPUのレンタルの方が確実じゃない？ はローカル推したい人多いみたいだけど。

[名無しさん]

クラウドは月額かかるし、プライバシー気にするならローカル一択。コードやデータを外部に出したくない場合。

[名無しさん]

結局、予算内でVRAM多いグラボを中古で探すのがベスト。P40やT4、3060 12GB、4060 Ti 16GBあたりが候補。

[名無しさん]

でも新しいモデルはどんどん大きくなるから、今600ユーロ投資してもすぐ時代遅れになるリスクあるよね。

[名無しさん]

それはそう。でもローカルLLMの進化は速いから、2年後には同じ値段でもっと動くはず。

[名無しさん]

自分はCPUのみで試してる。Qwen3.6-27Bをllama.cppで18GBメモリ使ってRAMで動かすと0.5 tok/sくらい。実用にはならない。

[名無しさん]

それはきついね。GPU必須だわ。せめてApple Siliconの統一メモリならCPUでも速いらしいけど。

[名無しさん]

このスレ読んでP40カード買ってみようかな。ケースと電源の改造が必要だけどチャレンジする価値ありそう。

[名無しさん]

P40はデカいからケース入るか確認してね。あと8ピン補助電源x2必要。自分はATX電源でケーブル変換して使ってる。

[投稿者]

投稿