Студенты научатся применять методы, основанные на искусственных нейронных сетях, овладеют основами математического аппарата и программных библиотек, рассмотрят решения проблем, связанных с процессом обучения моделей.
Понимание задач машинного обучения. Базовые знания линейной алгебры, математического анализа и статистики. Знание основ Python. Приветствуется опыт работы с библиотекой Numpy.
Лекции и семинары проходят в вечернее время. В программе – четыре домашних задания, соревнование Kaggle и исследовательский проект, предполагающий командную работу на выбранную тему в течение семестра.
Вопросы на знание Python, принципы
Поступить могут студенты и аспиранты всех курсов и факультетов МФТИ, знающие
Компьютер, возможность подключиться к беспроводной сети для выхода в сеть Internet.
4 ак. часа в неделю без учета времени на выполнение домашнего задания.
МФТИ.
Обучение бесплатно.
Другие вопросы можно посмотреть здесь.
1. Задачи машинного обучения.
2. Линейные модели.
3. Обучение линейных моделей, метод максимизации правдоподобия.
1. Обобщенные линейные модели, обобщенные аддитивные модели.
2. Перцептрон.
3. Метод обратного распространения ошибки.
1. Метод стохастического градиентного спуска и его вариации.
2. Возможные проблемы при обучении глубоких нейронных сетей и пути их решения.
3. Инициализация параметров глубоких нейронных сетей.
Стабилизация обучения глубоких нейронных сетей:
1. Специальные функции активации.
2. Подходы регуляризации.
3. Batch normalization.
1. Недостатки полносвязных сетей в задаче анализа изображений
2. Операция свертки
3. Сверточные нейронные сети, основные понятия.
Реализация операции свертки для изображений.
1. Операция субдискретизации (Pooling)
2. Варианты операции свертки: transposed convolution, dilated convolution, etc.
3. Основные архитектуры сверточных нейронных сетей в задаче классификации изображений
1. Автокодировщики (AE) и их приложения
2. Недостатки MSE и MAE при восстановлении изображений
3. Вариационный автокодировщик (VAE), разреженный автокодировщик (Sparse AE)
3. Metric Learning
1. Перекрестная энтропия, правдоподобие и дивергенция Шеннона-Йенсена
2. Порождающие состязательные сети (GAN)
3. Анализ обучения GAN
4. Wasserstein GAN
1. Современные архитектуры GAN и их практические приложения.
2. Открытые вопросы.
1. Word Embeddings.
2. Введение в рекуррентные нейронные сети.
3. Языковые модели.
1. Задача Sequence-to-Sequence
2. Архитектура Transformer.
1. Saliency Maps.
2. Визуализация внутреннего состояния
3. Adversarial Examples
Защита проектов.
