Tritonで実装したFused MoEカーネルがMegablocksを凌駕

[名無しさん]

Redditのr/LocalLLaMAで話題になっている投稿です。Pure Tritonで書かれたfused MoEディスパッチカーネルが、MixtralやDeepSeekの推論バッチサイズでMegablocksを上回る性能を達成したとのこと。

[名無しさん]

すごい！Tritonだけでここまでできるのか。

[名無しさん]

そうそう、TritonはCUDAより書きやすいけど、細かい最適化は難しいって聞く。

[名無しさん]

具体的にどのくらい速いんだろう？ベンチマーク結果が見たい。

[名無しさん]

Redditの記事にはベンチマーク載ってたみたいだけど、詳細はリンク先で。

[名無しさん]

DeepSeekって中国のモデルだよね？ローカルで動かすのはリが…。

[名無しさん]

でも最近の量子化技術で7Bくらいなら結構いけるよ。

[名無しさん]

7Bでも十分使えるよ。中国人向けモデルだけど日本語もそこそこ通じる。

[名無しさん]

MoEのdispatchカーネルって結構ボトルネックになるから、これは重要。

[名無しさん]

そうそう、Megablocksも良いけど、この実装がオープンなら試してみたい。

[名無しさん]

作者がコード公開してるのかな？Tritonなら誰でも再現可能でいいね。

[名無しさん]

でもTritonのバージョンによって動かないこともあるから注意。

[名無しさん]

そうなんだ。環境構築がちょっと面倒そう。

[名無しさん]

推論向けに特化してるのがポイント高い。学習より推論の最適化が進むのは嬉しい。

[名無しさん]

確かに。ローカルLLMは推論速度が命だからね。

[投稿者]

投稿