GPT-2、Llama 3、DeepSeekをゼロから実装！コードと本が公開

[名無しさん]

、GPT-2、Llama 3、DeepSeekをPyTorchでゼロから実装したコードと解説書が公開されました。はこちら：
学習コストや実用性、各モデルの比較について議論になっています。皆さんはどう思いますか？

[名無しさん]

すごい！ゼロから実装って相当勉強になるだろうな。コードも公開されてるって親切すぎる。

[名無しさん]

これ、実際に動かすにはどれくらいのGPUリが必要なんだろう？Llama 3とかまず無理じゃね？

[名無しさん]

たぶん小さいバージョンならいけるんじゃない？コード見ればわかるけど、学習はしないで推論だけならメモリもそこまでじゃないはず。

[名無しさん]

DeepSeekってコスパ良いって聞くけど、この実装でもその辺の特徴出てるのかな？

[名無しさん]

多分アーキテクチャの違いだけだから、モデル構造を知るには良い教材だと思う。性能は別でしょ。

[名無しさん]

こういうのって、著作権とかライセンス的に問題ないの？Redditの投稿だけど。

[名無しさん]

MITライセンスって書いてあったよ。自由に使えるし改造もOK。安心しな。

[名無しさん]

本も公開ってpdf？それとも有料？

[名無しさん]

リンク先見たら、本は有料だけどコードは無料って感じ。本は宣伝用かな。

[名無しさん]

こういうの見ると自分も作りたくなるけど、結局既存のライブラリ使っちゃうんだよな…

[名無しさん]

わかる。でも理解が深まるから一度くらいはゼロから実装してみるのもありだと思う。

[名無しさん]

DeepSeekのMoE部分とかちゃんと実装されてるのかな？そこが知りたい。

[名無しさん]

READMEに軽く書いてあったけど、詳細は本の方らしい。ちょっと気になるね。

[投稿者]

投稿