- このトピックには23件の返信、7人の参加者があり、最後に名無しさんにより8ヶ月、 2週前に更新されました。
23件の返信を表示中（うち親返信10件）
-
投稿者投稿
-
-
名無しさんRedditのr/LocalLLaMAから話題を拾いました。予算600ユーロでQwen3.6-27B、Qwen3.6-35B-A3B、DeepSeek蒸留モデル、コーダーモデルをローカルで動かすためのハードウェア構成についてのスレッドです。プライバシーやコスト、ベンチマーク比較などの意見が交わされています。URL:
-
名無しさん600ユーロだと中古のRTX3060 12GBとかかな。Qwen3.6-27Bは4ビット量子化でVRAM16GBくらい必要だからギリギリかも。
-
名無しさん3060 12GBじゃ27Bは無理じゃない？ 35B-A3BのMoEは一部しかアクティブにならないからメモリは少なくて済むらしいけど。
-
-
名無しさん自分は中古のP40 24GBを2枚で300ユーロくらいで組んだ。電力はかかるけどVRAMは潤沢。DeepSeekの蒸留モデルも問題なく動く。
-
名無しさんP40ってメモリバンド幅とかは？ 推論速度はどのくらい？
-
名無しさんメモリバンド幅は346GB/sだからRTX3060よりちょっと上。ただしFP16は遅いからINT8量子化必須。トークン速度は5-8 tok/sくらい。
-
-
-
名無しさんいっそMac Mini M4の16GBモデルって手もあるよ。600ユーロちょいで買えるし、統一メモリで14Bくらいならサクサク。27Bは厳しいけど。
-
名無しさんMacはMetal経由でllama.cppが動くけど、QwenのMoEモデルはまだ最適化されてないとか聞いた。
-
-
名無しさん誰か実際にQwen3.6-35B-A3Bを動かした人いる？ アクティブパラメータが少ないから理論上は低スペックでもいけるはず。
-
名無しさん自分はRTX4060 Ti 16GBで動かしたよ。13Bくらいのメモリ消費で推論できて、速度も悪くなかった。QwenのMoEはかなり効率的。
-
名無しさん4060 Tiは16GBあるけどバンド幅が288GB/sだから、P40の方が安くてVRAM多いからトークン速度はP40の方が上かも？
-
-
-
名無しさんコーダーモデルってCodeLlamaとかDeepSeek Coder？ それなら量子化すれば8GBでも動くよ。
-
名無しさんDeepSeek Coder V2はパラメータ多いから16GBでもきつい。蒸留モデルの方がおすすめ。
-
-
名無しさん600ユーロならTesla T4 16GBが中古で買えるよね。メモリバンド幅はそこそこ、電力もP40よりマシ。推論特化ならあり。
-
名無しさんT4って冷却に工夫が必要だし、ファンレスだからケースエアフロー考えないと熱暴走するよ。
-
-
名無しさん予算が少ないならクラウドGPUのレンタルの方が確実じゃない？ はローカル推したい人多いみたいだけど。
-
名無しさんクラウドは月額かかるし、プライバシー気にするならローカル一択。コードやデータを外部に出したくない場合。
-
-
名無しさん結局、予算内でVRAM多いグラボを中古で探すのがベスト。P40やT4、3060 12GB、4060 Ti 16GBあたりが候補。
-
名無しさんでも新しいモデルはどんどん大きくなるから、今600ユーロ投資してもすぐ時代遅れになるリスクあるよね。
-
名無しさんそれはそう。でもローカルLLMの進化は速いから、2年後には同じ値段でもっと動くはず。
-
-
-
名無しさん自分はCPUのみで試してる。Qwen3.6-27Bをllama.cppで18GBメモリ使ってRAMで動かすと0.5 tok/sくらい。実用にはならない。
-
名無しさんそれはきついね。GPU必須だわ。せめてApple Siliconの統一メモリならCPUでも速いらしいけど。
-
-
名無しさんこのスレ読んでP40カード買ってみようかな。ケースと電源の改造が必要だけどチャレンジする価値ありそう。
-
名無しさんP40はデカいからケース入るか確認してね。あと8ピン補助電源x2必要。自分はATX電源でケーブル変換して使ってる。
-
-
-
投稿者投稿
23件の返信を表示中（うち親返信10件）
関連するAIトピック
- ChatGPTを使いこなすコツ・便利な使い方を共有しよう0件の返信最終更新 2025年3月16日 18:46
- 【AI】2026年の生成AI、結局どこ見れば面白い？39件の返信最終更新 2025年3月17日 16:11
- ECCV 2022のレビューについて議論しよう21件の返信最終更新 2025年4月7日 07:48
- ECCV 2022 採択論文リストが公開されましたね27件の返信最終更新 2025年4月12日 20:48
- DeepSeekの評価額450億ドル近く、中国「Big Fund」が投資交渉 – ローカルLLMへの影響は？14件の返信最終更新 2025年10月11日 08:34