Лаборатория машинного обучения и эконометрики (Архипелаг 20.35, трек "искусственный интеллект в цифровой экономике")

Лаборатория машинного обучения и эконометрики

Институт количественных финансов НИУ ВШЭ совместно с Центром математических финансов и Школой управления рисками ВТБ проводит лабораторию по машинному обучению и эконометрике в рамках трека «Искусственный интеллект в цифровой экономике» «Архипелага 20.35»  .

Kaggle-in-Class Лаборатории: http://www.kaggle.com/c/bank-scoring-case-mlel
 

Подготовительный интенсив по машинному обучению

Четверг, 22 октября 

19:00 - 21:00 Введение в Python - Андрей Захаров, Data Scientist (linkedin.com/in/aizakharov94) 

Суббота, 24 октября

13:00 - 13:50 Введение в статистическую теорию обучения - Степан Зимин, Senior Data Scientist (linkedin.com/in/smzimin) 

13:50 - 14:50 Обучение с учителем. Метрики качества модели - Степан Зимин, Senior Data Scientist (linkedin.com/in/smzimin) 

15:00 - 16:00 Обзор моделей для задачи классификации - Степан Зимин, Senior Data Scientist (linkedin.com/in/smzimin) 

Воскресенье, 25 октября

12:00 - 13:55  Воркшоп на Python. Классификация. Подготовка данных и метрики - Андрей Захаров, Data Scientist (linkedin.com/in/aizakharov94) 

14:05 - 16:00 Воркшоп на Python. Классификация. Настройка гиперпараметров и выбор модели - Андрей Захаров, Data Scientist (linkedin.com/in/aizakharov94) 

16:10 - 17:30 Валидация моделей - Леонид Сигаев, Data Scientist (ВТБ), Анастасия Гуничева, Data Scientist (ВТБ)

Лаборатория 7-12 ноября

Задачи участников:

• отправить ваши ответы на тестовом датасете на Kaggle

  • они автоматически оценятся системой, и вы увидите свой score на части публичного датасета — а именно 40% тестовой выборки

  • после дедлайна вы узнаете свой score на всем тестовом датасете — а именно на оставшихся 60% — это сделано для того, чтобы вы не переобучались под лидерборд, и чтобы сохранялась интрига

  • мы посмотрим на распределение ваших скоров и определим финальные оценки по десятибалльной шкале

  • вес этой оценки — 40%

  • дедлайн — 12 ноября, 23:50

• отправить вашу работу и дополнительный анализ в виде Jupyter файла

  • здесь мы будем смотреть, как вы проделали следующие шаги и провели дополнительный анализ

  • кросс-валидация

    • выберите одну модель, которая достаточно быстро обучается, и поэкспериментируйте с валидацией

    • для нее проведите анализ, как ведет себя средний скор и доверительный интервал в зависимости от количества фолдов k

    • для достаточно большого k проанализируйте распределение ваших скоров для оптимального значения гиперпараметра — постройте гистограмму и посмотрите, как тут правильно рассчитать доверительный интервал

    • имеет ли тут смысл считать что-то наподобие Sharpe ratio, t-статистики или Value-at-Risk? Постройте графики и подумайте, вот эта статья в помощь https://habr.com/ru/company/ods/blog/336168/ 

  • тюнинг моделей

    • обязательно использовать по одной модели из “простых семейств” — linear, kNN, Decision Trees

    • обязательно использовать хотя бы один ансамбль над деревьями — Random Forest, Gradient Boosting, а также хотя бы один другой способ ансамблирования разных моделей (например, Voting как на занятии) 

    • опционально — попробуйте использовать DNN

    • для каждой модели надо подобрать параметры на кросс-валидации и описать, какие параметры вы настраивали и почему они получились примерно такими, какими получились

    • не забудьте, что у каких-то моделей гиперпараметров может быть несколько

    • опционально -- попробуйте не только GridSearchCV, но и RandomizedSearchCV, а в идеале и что-то из баесовой оптимизации, например пакет Hyperopt

    • как вариант, вот эта статья вам в помощь https://medium.com/vantageai/bringing-back-the-time-spent-on-hyperparameter-tuning-with-bayesian-optimisation-2e21a3198afb

  • анализ метрик качества бинарной классификации

    • посмотрите на accuracy, precision, recall, F1, ROC-AUC и Gini coefficient — (почти) все это нужно будет визуализировать на графиках и интерпретировать

    • сравните результаты для различных моделей и выберите лучшую (не только по скору ROC-AUC, а по вашему ощущению)

  • вес этой оценки — 25%

  • дедлайн — 12 ноября, 23:50

• в командах подготовить презентацию, кратко описывающую вашу работу

  • надо подготовить презентацию с самыми интересными (на ваш взгляд) вещами, о которых вы хотите рассказать, а именно хотелось бы увидеть слайды с

    • постановкой задачи

    • небольшии EDA -- гистограммы, диаграммы рассеяний и тд

    • описанием тюнинга пары моделей на ваш выбор -- графики изменения скора на валидации и тд

    • описанием результатов Voting’а моделей -- какие веса получились, увеличился ли скор

    • описанием анализа кросс-валидации -- гистограмма с распределением скора по фолдам, графики как ведет себя средний скор и доверительный интервал в зависимости от количества фолдов k, график с Sharpe ratio, t-статистики или Value-at-Risk

    • анализ скоров и метрик для различных моделей, например диаграммы рассеяния для ROC-AUC и F1 для нескольких моделей

    • ваше финальное решение, какую модель вы бы стали использовать

  • рассказывать должен каждый участник в команде, отвечать на вопросы — тоже (мы будем оценивать общее выступление, но распределять оценки внутри команды согласно вкладу каждого)

  • Время -- 10 минут на выступление, 5 минут на вопросы

  • вес этой оценки — 35%

  • презентация пройдет: TBA