Семинар №42
Дата: 16 марта 2026 г. (понедельник)
Время: 16:00
Место: 422 (7 корпус)
Докладчик: Сидоров М.В.
Тема: Алгоритм оптимизации MUON с адаптивным шагом

Аннотация: В этом докладе предлагается модификация нового метода стохастической оптимизации MUON, предложенного в 2024 г. в блоге Келлера Джордана. Предложенный адаптивный шаг заключается в динамическом подборе параметров learning rate и beta с помощью градиентного спуска на выборке из тестового датасета каждые N шагов MUON`а. На практике это позволяет заменить подбор параметров и использование scheduler`а для алгоритма. Также будет представлена оценка сходимости модифицированного метода, полученная по шагам доказательства сходимости trust-region методов в статье Understanding Gradient Orthogonalization for Deep Learning via Non-Euclidean Trust-Region Optimization Дмитрия Ковалева.