機械学習研究の最新動向について語ろう

[名無しさん]

最近のr/ResearchMLのホットな話題をまとめてみました。新しいモデルアーキテクチャや学習手法の議論が盛り上がっています。特にTransformerの派生や自己教師あり学習の進展が注目されています。元スレ：https://www.reddit.com/r/ResearchML/hot/

[名無しさん]

自己教師あり学習は本当に凄いよね。特にMAEとか最近よく見る。

[名無しさん]

MAEは確かに面白いけど、計算コストがネックじゃない？

[名無しさん]

Transformer系はもう飽きられた感あるけど、まだまだ改良の余地ありそう。

[名無しさん]

いや、Attentionは汎用性高すぎてこれからも使われるよ。

[名無しさん]

最近のホットなトピックって何？RLHFとか？

[名無しさん]

RLHFはLLMで必須になってきたね。でも評価が難しい。

[名無しさん]

評価指標自体が研究テーマになってる気がする。

[名無しさん]

GoogleのGemmaとかオープンなモデル増えたのは良い傾向。

[名無しさん]

でも企業の研究成果がオープンになりすぎて、研究の独自性が減ってない？

[名無しさん]

自分は拡散モデルの応用に興味ある。画像以外でも使えるようになってきた。

[名無しさん]

拡散モデルは音声生成でも成果出てるよね。ただ推論が遅い。

[名無しさん]

最近の論文読み漁ってるけど、再現性の問題が気になる。

[名無しさん]

再現性は確かに課題。特にハード依存な結果が多い。

[名無しさん]

でもオープンソース化が進めば改善されるかもね。

[名無しさん]

RLの研究も最近また盛り上がってる？

[名無しさん]

ゲーム以外では実用化がまだ難しいけど、ロボティクスと組み合わせた研究が増えた。

[名無しさん]

グラフニューラルネットワークはどう？最近あまり話聞かないけど。

[名無しさん]

GNNは材料科学とかで地道に使われてるよ。ただブームは過ぎたかも。

[名無しさん]

そういえば、r/ResearchMLって他のMLサブレと比べてどう？

[名無しさん]

こっちのほうが学術よりで議論が深い気がする。

[名無しさん]

でも投稿数が少ないから、もっと活発になってほしい。

[名無しさん]

皆さんどんな論文が最近面白いですか？教えてください。

[投稿者]

投稿