Семинар №34

Докладчик: Сидоров М.

Тема доклада:  MUON

Дата: 28.07.2025 (понедельник)

Время: 17:00

Место: онлайн

Аннотация: В данном докладе рассматривается перспективный метод стохастической оптимизации Muon, разработанный для эффективного обучения скрытых слоёв нейронных сетей. В сравнении с широко распространённым AdamW, метод Muon демонстрирует существенное превосходство в скорости сходимости. Результаты исследований указывают на то, что Muon может стать новым стандартом в обучении глубоких нейронных сетей. В ходе доклада обсудим, как формулируются задачи стохастической оптимизации, что такое ортогонализация, проведём анализ работы Muon, сравним с ортогонализированным SGD и обсудим теоретические аспекты.