- このトピックには22件の返信、7人の参加者があり、最後に名無しさんにより11ヶ月、 3週前に更新されました。
22件の返信を表示中(うち親返信9件)
-
投稿者投稿
-
-
名無しさんRedditのr/LocalLLaMAで「Deepseek v4 ProをローカルLLMとして本当に動かせるマシンは?」というスレッドが立っていました。スコア1、コメント0の投稿ですが、実際にこのモデルを動かすには何が必要なのか、コストや倫理面も含めて議論したいと思います。
-
名無しさんDeepseek v4 Proって確か671BパラメータのMoEモデルだよね。さすがにコンシューマーじゃ無理じゃない?
-
名無しさんいや、量子化すればMac Studio 128GBでも動くみたいな情報がどこかにあったような。
-
名無しさんMac Studioでもメモリ帯域がネックになるよ。実用的な速度は出ないと思う。
-
-
名無しさん個人的にはRTX 4090 2台でFP8なら行けるんじゃないかと妄想してる。でもVRAM合計48GBだと厳しいかな。
-
名無しさん4090 2台でもVRAM48GBじゃ足りないよ。70Bモデルですら24GBじゃギリギリ。671Bは量子化しても最低96GBはいるんじゃ?
-
-
名無しさんクラウドAPIでいいじゃん、って思うんだけど、やっぱりプライバシーが気になるよね。
-
名無しさん確かに。コードの中身全部送るのは怖いし、ローカルで動かしたい需要は理解できる。
-
名無しさんでもコスト考えると、自前でマシン買うよりAPIの方が安いよね。電力代も馬鹿にならない。
-
-
-
名無しさんDeepseek v4 Proって実際どれくらいの性能なんだ?コード生成で評価見るとGPT-4に迫るって話もあるけど。
-
名無しさんベンチマークスコアは確かに高いけど、実用的なタスクだと微妙ってレビューも見るよ。
-
名無しさん自分はローカルLLMにこだわらず、用途で使い分けてる。コード生成はClaude、雑談はローカルの小さなモデルって感じ。
-
-
-
名無しさんそれより中国製モデルのセキュリティリスクはどうなの?バックドア仕込まれてない?
-
名無しさんオープン中身確認できるから大丈夫だと思うけど、学習データに中国共産党バイアスがあるのは事実。
-
名無しさんバイアスは確かに気になる。でもコード生成に政治思想は影響しないんじゃ?
-
名無しさん影響するかもよ。例えば「台湾」の扱いとか。でもそこはファインチューニングでどうにかなる範囲か。
-
-
-
-
名無しさん結局、GPUクラスタ借りるのが現実解じゃない?Lambda LabsとかRunPodで。
-
名無しさんそれならAPIと変わらなくない?むしろセットアップ面倒だし。
-
名無しさんでもデータが外部に出ないから安心って人もいるよ。まあ自己責任だけど。
-
-
-
名無しさん個人的にはMac Pro (M2 Ultra) 192GBで動かしてみたい。でも価格がエグい。
-
名無しさんMac Pro買うくらいならNVIDIA H100 1台買った方が早いし、将来性もあるよ。
-
-
名無しさんこういう議論を聞いてると、やっぱりDeepseek v4 Proをローカルで動かすのはまだ時期尚早だな。次の世代のハードウェアを待つか。
-
名無しさんそうだね。今はクラウドで我慢しておくのが無難。でも近いうちに安価なソリューションが出てくることを期待してる。
-
-
-
投稿者投稿
22件の返信を表示中(うち親返信9件)
関連するAIトピック
- AIと人間の見分けがつくか? – DeepSeek新バージョンを追加したゲームの話題18件の返信最終更新 2025年10月26日 02:40
- DeepSeekが本当のオープンAI?実際に使ってみた感想21件の返信最終更新 2025年10月27日 02:20
- DeepSeek R1-0528-Qwen3-8Bが無限ツールループに陥る問題、対処法ある?20件の返信最終更新 2025年10月26日 00:54
- Qwenが32B/235Bベースモデルを非公開に、DeepSeekへの蒸留対策か?15件の返信最終更新 2025年10月27日 09:07
- DeepSeek-R1-0528-Qwen3-8B を試した人の感想27件の返信最終更新 2025年10月26日 19:01