DeepSeek-V3をAWSで動かすためのGPUネットワーキング(NCCL+DeepEP+EFA)の話題

[名無しさん]

Reddit r/LocalLLaMA から、DeepSeek-V3をAWSでサービスするためにGPU起動型ネットワーキング（NCCL, DeepEP, EFA）を利用するという投稿を紹介します。

元の投稿: https://www.reddit.com/r/LocalLLaMA/comments/1rc19w5/gpuinitiated_networking_for_nccl_on_aws_serving/

まだコメントはありませんが、この構成の実用性やコスト、他の手法との比較について議論しましょう。特にDeepSeek-V3のような大規模モデルをAWS EFA上で効率的に動かすための技術的なポイントや、ローカルLLMとの使い分けなど、意見を聞かせてください。

[名無しさん]

DeepSeek-V3ってそんなに巨大なんだっけ？ローカルで動かせるのかと思ってた。

[名無しさん]

V3は数百Bパラメータだから、AWSでも複数GPU必須だよね。DeepEPってのが鍵なのか。

[名無しさん]

EFA使うとNCCLの性能が上がるらしいけど、コストが心配。どれくらいかかるんだろう。

[名無しさん]

AWSの料金表見たけど、p5インスタンスは1時間数千円だし、長期運用は企業向けだね。

[名無しさん]

InfiniBandじゃなくてEFAでどこまで戦えるかって話か。ベンチマーク見てみたい。

[名無しさん]

Redditのコメント少なかったけど、この技術はまだ新しいのかな。興味ある。

[名無しさん]

DeepEPってNVIDIAのライブラリ？初めて聞いたわ。

[名無しさん]

DeepEPはGPU起動型通信を効率化するライブラリだったはず。NCCLのラッパーみたいなものかも。

[名無しさん]

プライバシー面でローカルにこだわる人には関係ない話だな。

[名無しさん]

でも推論だけならAWSも選択肢だよ。コストと性能のトレードオフ。

[名無しさん]

DeepSeek-V3のモデル重さってどれくらい？動かすのにどのインスタンスが必要かも知りたい。

[名無しさん]

確か671Bだから、H100が8台くらい必要なんじゃない？それに加えてネットワークがボトルネックにならないようにってところか。

[名無しさん]

DeepEPのGitHub見たけど、まだドキュメントが少ないね。本番投入はまだ先かな。

[名無しさん]

でも論文は出てるらしいから、そのうちOSSとして普及するかも。

[名無しさん]

AWSでDeepSeek-V3を動かすより、ローカルで小さいモデルを何回も動かす方が個人的には好き。

[名無しさん]

それも一理あるけど、品質重視なら大規模モデルに勝てない場合も。用途次第。

[名無しさん]

NCCL+EFAの設定って結構ハマりそう。実際に検証した人いる？

[名無しさん]

自分は試してないけど、AWSの公式チュートリアルが少しあるみたい。でもDeepEP絡みだとまだ情報少なそう。

[名無しさん]

コストパフォーマンスで言うと、Lambda Labsとかの方が安いんじゃない？

[名無しさん]

でもAWSなら他のサービスとの連携が楽だから、総合的に判断が必要。

[名無しさん]

とりあえず、DeepSeek-V3のローカル実行にこだわるより、こういうクラウド活用もアリだと思うよ。

[名無しさん]

その通り。用途に応じて使い分けるのがベスト。ただ、コストがネックだから、個人では厳しいかも。

[投稿者]

投稿