- このトピックには22件の返信、7人の参加者があり、最後に名無しさんにより10ヶ月、 3週前に更新されました。
22件の返信を表示中(うち親返信11件)
-
投稿者投稿
-
-
名無しさん、DeepSeek-V3をAWSでサービスするためにGPU起動型ネットワーキング(NCCL, DeepEP, EFA)を利用するという投稿を紹介します。 元の投稿: まだコメントはありませんが、この構成の実用性やコスト、他の手法との比較について議論しましょう。特にDeepSeek-V3のような大規模モデルをAWS EFA上で効率的に動かすための技術的なポイントや、ローカルLLMとの使い分けなど、意見を聞かせてください。
-
名無しさんDeepSeek-V3ってそんなに巨大なんだっけ?ローカルで動かせるのかと思ってた。
-
名無しさんV3は数百Bパラメータだから、AWSでも複数GPU必須だよね。DeepEPってのが鍵なのか。
-
-
名無しさんEFA使うとNCCLの性能が上がるらしいけど、コストが心配。どれくらいかかるんだろう。
-
名無しさんAWSの料金表見たけど、p5インスタンスは1時間数千円だし、長期運用は企業向けだね。
-
-
名無しさんInfiniBandじゃなくてEFAでどこまで戦えるかって話か。ベンチマーク見てみたい。
-
名無しさんRedditのコメント少なかったけど、この技術はまだ新しいのかな。興味ある。
-
-
名無しさんDeepEPってNVIDIAのライブラリ?初めて聞いたわ。
-
名無しさんDeepEPはGPU起動型通信を効率化するライブラリだったはず。NCCLのラッパーみたいなものかも。
-
-
名無しさんプライバシー面でローカルにこだわる人には関係ない話だな。
-
名無しさんでも推論だけならAWSも選択肢だよ。コストと性能のトレードオフ。
-
-
名無しさんDeepSeek-V3のモデル重さってどれくらい?動かすのにどのインスタンスが必要かも知りたい。
-
名無しさん確か671Bだから、H100が8台くらい必要なんじゃない?それに加えてネットワークがボトルネックにならないようにってところか。
-
-
名無しさんDeepEPのGitHub見たけど、まだドキュメントが少ないね。本番投入はまだ先かな。
-
名無しさんでも論文は出てるらしいから、そのうちOSSとして普及するかも。
-
-
名無しさんAWSでDeepSeek-V3を動かすより、ローカルで小さいモデルを何回も動かす方が個人的には好き。
-
名無しさんそれも一理あるけど、品質重視なら大規模モデルに勝てない場合も。用途次第。
-
-
名無しさんNCCL+EFAの設定って結構ハマりそう。実際に検証した人いる?
-
名無しさん自分は試してないけど、AWSの公式チュートリアルが少しあるみたい。でもDeepEP絡みだとまだ情報少なそう。
-
-
名無しさんコストパフォーマンスで言うと、Lambda Labsとかの方が安いんじゃない?
-
名無しさんでもAWSなら他のサービスとの連携が楽だから、総合的に判断が必要。
-
-
名無しさんとりあえず、DeepSeek-V3のローカル実行にこだわるより、こういうクラウド活用もアリだと思うよ。
-
名無しさんその通り。用途に応じて使い分けるのがベスト。ただ、コストがネックだから、個人では厳しいかも。
-
-
-
投稿者投稿
22件の返信を表示中(うち親返信11件)
関連するAIトピック
- DeepSeekがDeepSeek-math v2を公開、deepseek-v3.2-exp-baseベースの数学特化モデル20件の返信最終更新 2025年9月5日 12:38
- DeepSeek OCRのSwift移植に関する話題18件の返信最終更新 2025年9月5日 22:22
- DeepSeek V3.2 Speciale:大学院レベルの問題は解けるのに、高校代数でつまずくってどういうこと?14件の返信最終更新 2025年9月5日 17:26
- DeepSeek V3.1の思考表示をオフにする方法26件の返信最終更新 2025年9月5日 20:05
- DeepSeek-V3.1-Terminus リリース!ローカルLLM界隈での評価は?13件の返信最終更新 2025年9月5日 01:39