Нейронные сети: новый уровень

Освой метод машинного обучения Deep Learning и начни карьеру в IT.
14 занятий, 56 ак.часов
Хочу учиться
Что дает курс

Студенты научатся применять методы, основанные на искусственных нейронных сетях, овладеют основами математического аппарата и программных библиотек, рассмотрят решения проблем, связанных с процессом обучения моделей.

Какие знания нужны

Понимание задач машинного обучения. Базовые знания линейной алгебры, математического анализа и статистики. Знание основ Python. Приветствуется опыт работы с библиотекой Numpy.

Как проходят занятия

Лекции и семинары проходят в вечернее время. В программе – четыре домашних задания, соревнование Kaggle и исследовательский проект, предполагающий командную работу на выбранную тему в течение семестра.

Как поступить?

Регистрация
Заполни заявку и регистрируйся на курс до 10:00 13-го сентября
Тестирование
Ссылка на тест придет на почту 14-го сентября. Пройди тест до 10:00 16-го сентября
Зачисление
Письмо о зачислении придет на почту каждому студенту 16-го сентября
Начало обучения
Обучение начнется на неделе с 17-го сентября согласно расписанию

Вопросы по обучению

Отборочный тест

Вопросы на знание Python, принципы объектно-ориентированного программирования, основы машинного обучения.

Требования к поступающим

Поступить могут студенты и аспиранты всех курсов и факультетов МФТИ, знающие какой-либо язык программирования.

Оборудование для обучения

Компьютер, возможность подключиться к беспроводной сети для выхода в сеть Internet.

Нагрузка в неделю

4 ак. часа в неделю без учета времени на выполнение домашнего задания.

Место проведения

МФТИ.

Стоимость обучения

Обучение бесплатно.

Моего вопроса тут нет :(

Другие вопросы можно посмотреть здесь.

Программа

Смешанное занятие № 1. От линейных моделей к нейронным сетям. Часть 1

1. Задачи машинного обучения.
2. Линейные модели.
3. Обучение линейных моделей, метод максимизации правдоподобия.

Смешанное занятие № 2. От линейных моделей к нейронным сетям. Часть 2

1. Обобщенные линейные модели, обобщенные аддитивные модели.
2. Перцептрон.
3. Метод обратного распространения ошибки.

Смешанное занятие № 3. Обучение сетей прямого распространения. Часть 1

1. Метод стохастического градиентного спуска и его вариации.
2. Возможные проблемы при обучении глубоких нейронных сетей и пути их решения.
3. Инициализация параметров глубоких нейронных сетей.

Смешанное занятие № 4. Обучение сетей прямого распространения. Часть 2

Стабилизация обучения глубоких нейронных сетей:
1. Специальные функции активации.
2. Подходы регуляризации.
3. Batch normalization.

Смешанное занятие № 5. Сверточные нейронные сети. Часть 1

1. Недостатки полносвязных сетей в задаче анализа изображений
2. Операция свертки
3. Сверточные нейронные сети, основные понятия.

Семинар № 1. Практика

Реализация операции свертки для изображений.

Смешанное занятие № 6. Сверточные нейронные сети. Часть 2

1. Операция субдискретизации (Pooling)
2. Варианты операции свертки: transposed convolution, dilated convolution, etc.
3. Основные архитектуры сверточных нейронных сетей в задаче классификации изображений

Смешанное занятие № 7. Автокодировщики и задача Metric Learning

1. Автокодировщики (AE) и их приложения
2. Недостатки MSE и MAE при восстановлении изображений
3. Вариационный автокодировщик (VAE), разреженный автокодировщик (Sparse AE)
3. Metric Learning

Смешанное занятие № 8. Порождающие модели: введение

1. Перекрестная энтропия, правдоподобие и дивергенция Шеннона-Йенсена
2. Порождающие состязательные сети (GAN)
3. Анализ обучения GAN
4. Wasserstein GAN

Смешанное занятие № 9. Порождающие состязательные сети: Часть 2

1. Современные архитектуры GAN и их практические приложения.
2. Открытые вопросы.

Смешанное занятие № 10. Обработка текстов на естественном языке. Часть 1

1. Word Embeddings.
2. Введение в рекуррентные нейронные сети.
3. Языковые модели.

Смешанное занятие № 11. Обработка текстов на естественном языке. Часть 2

1. Задача Sequence-to-Sequence
2. Архитектура Transformer.

Смешанное занятие № 12. Визуализация и интерпретация сверточных нейронных сетей

1. Saliency Maps.
2. Визуализация внутреннего состояния
3. Adversarial Examples

Экзамен № 1. Защита проектов

Защита проектов.