Искусственный интеллект (машинное обучение) и его применение на финансовом рынке

Тематический план

Открытие курса. Вступительное слово руководителя образовательной программы, куратора курса.

Тема 1. Основные концепции ИИ. Data Science, Data Scientist. 2 часа

1.1. Понятия «искусственный интеллект», «машинное обучение» (ML). Различия между «машинным обучением» и «глубоким обучением».

1.2. ML-модели анализа, их классификация: supervised, unsupervised, reinforcement learning. Обзор примеров применения ML-моделей анализа.

1.3. Компания, управляемая на основе данных (Data Driven). Наука о данных (Data Science). Исследователь данных (Data Scientist): знания, навыки, умения. Инструментарий исследователя данных, применение Python, AirFlow, Jupyter, Git, DVC, NoSQL, Spark и др.

Практические составляющие занятия:

• Демонстрация датасета для иллюстрации работы различных типов ML-моделей с помощью Python.
• Демонстрация использования Jupyter Notebooks для анализа данных с помощью Python.

Тема 2. Подробный анализ этапов разработки и применения ML-модели. Погружение в этапы разработки ML-модели. 4 часа

2.1. Конвейер разработки ML-модели (Pipeline). Ключевые этапы разработки ML-модели.

2.2. Постановка бизнес-задачи и понимание данных (выбор источников, сбор метаданных, моделирование данных).

2.3. Погружение в этап сбора и подготовки данных (получение, профилирование, очистка и интеграция данных).

2.4. Погружение в этап создания модели (выбор метода и алгоритма анализа, отбор признаков и разметка, обучение/построение, тестирование и оценивание модели).

2.5. Развёртывание, применение и мониторинг модели.

2.6. Задачи регрессии и классификации.

Практические составляющие занятий:

• Демонстрация структуры типичного ML-пайплайна, включая этапы обработки данных, выбора модели, обучения, валидации и развертывания.
• Рассмотрение примера постановки бизнес-задач и определения соответствующих целей использования ML.
• Рассмотрение примера с проведением анализа и выбором источников данных, сбором метаданных, первичным моделированием данных.
• Рассмотрение примера работы с инструментами для извлечения данных, их очистки и интеграции.
• Рассмотрение примера применения методов профилирования данных для оценки качества и релевантности данных.
• Демонстрация примера развертывания ML-моделей, интеграции с существующими системами, мониторинга эффективности и точности моделей в реальных условиях.
• Рассмотрение примера обучения различных моделей регрессии и классификации, применения таких моделей, подходов к определению лучших практик для каждого типа задач.
• Погружение обучающихся в создание модели —выполнение практического комплексного упражнения на выбор и применение алгоритмов машинного обучения, методов отбора признаков, разметки данных, обучения модели с использованием различных техник и подходов, тестирования и оценки эффективности модели.

Тема 3. Управление проектами и внедрение ИИ. 4 часа

3.1. Управление проектами ИИ: методологии управления проектами ИИ, формирование команд, планирование и реализация проектов, мониторинг и оценка их эффективности.

3.2. Стратегия внедрения ИИ: анализ потребностей и возможностей организации, разработка стратегии внедрения, управление изменениями и изучение кейсов успешного внедрения ИИ.

3.3 Применение ИИ-решений в отдельных отраслях и сферах профессиональной деятельности (медицина, маркетинг и нек. др.)

3.4. Ключевые тренды по внедрению алгоритмов ИИ на финансовых рынках.

Практические составляющие занятий:

• Рассмотрение примеров использования методик управления проектами (Agile и Scrum) в ИИ-проектах.
• Рассмотрения примеров успешного внедрения ИИ в отдельных отраслях и сферах профессиональной деятельности.
• Мозговой штурм по обсуждению возможных стратегий внедрения ИИ-проекта на заданном примере.
• Рассмотрение примеров применения ИИ участниками финансового рынка для алгоритмической торговли, управления рисками.

Выдача домашнего задания № 1 по разработке плана проекта и определения KPI для оценки его успешности.

Тема 4. Идентификация инсайдерской торговли на рынке ценных бумаг на основе методов ИИ. 2 часа

4.1. Особенности создания ML-модели. Решение проблем источников с рядом данных, шума. Сбор информации и корреляционный анализ для проверки индикаторов.

4.2. Применение методов ИИ: logistic, support vector machine, deep neural network, random forest, extreme gradient boosting, многозадачная глубокая нейронная сеть для задачи идентификации инсайдерской торговли.

Практические составляющие занятия:

• Разбор кейса по созданию ML-модели, включающего решение задач по сбору и анализу данных, проведению корреляционного анализа для оценки значимости индикаторов. очистки и фильтрации данных.
• Выполнение практических упражнений, направленных на понимание и умение применять методы ИИ, включая логистическую регрессию, SVM, глубокие нейронные сети, случайные леса и экстремальное градиентное усиление для выявления инсайдерской торговли.

Тема 5. Использование машинного обучения для классификации организаций. 2 часа

5.1. Результаты машинного обучения: новое представление о данных организаций, визуализация и классификация организаций эффективным способом.

5.2. Подход t-SNE (t-distributed stochastic neighbor embedding) и возможности его реализации в различных сферах финансового рынка.

Практическая составляющая занятия:

• Разбор кейса по использованию t-SNE и других алгоритмов классификации для классификации организаций, визуализации их многомерных данных. Кейс включает вопросы подготовки данных, выбора параметров алгоритмов и оценки качества модели.

Выдача домашнего задания № 2 по использованию машинного обучения для классификации организаций на финансовом рынке.

Тема 6. Нейронные сети в прогнозировании на фондовом рынке. 2 часа

6.1. Множественный линейный регрессивный анализ как традиционный метод прогнозирования.

6.2. Использование искусственных нейронных сетей (ANNS) — рекуррентных нейронных сетей (RNNS) в качестве инструмента прогнозирования колебаний фондового рынка.

6.3. Различные подходы проверки способности сети предсказывать будущие тенденции индексов фондового рынка, в том числе если прогнозирование должно быть достигнуто с помощью нелинейного определения данных.

Практическая составляющая занятия:

• Разбор примера применения нейронных сетей для прогнозирования на фондовом рынке с использованием множественного линейного регрессионного анализа, рекуррентных нейронных сетей.

Тема 7. Методы ИИ в выявлении киберпреступлений. 2 часа

6.1 Традиционные методы обнаружения и предотвращения киберпреступлений с применением ИИ: сильные и слабые стороны.

6.2 Использование полууправляемой нейронной сети для выявления преступлений.

Практические составляющие занятия:

• Рассмотрение практического примера, связанного с созданием базовой модели ИИ для выявления аномалий в сетевом трафике.
• Рассмотрение примера использования полууправляемой нейронной сети.

Тема 8. Обнаружение мошенничества с транзакциями: нейронная сеть vs алгоритмов обнаружения аномалий. 2 часа

7.1 Автоматическое обнаружение мошенничества в финансовых транзакциях с применением алгоритмов обнаружения аномалий.

7.2 Алгоритмы обнаружения мошенничества с использованием нейронной сети.

Практические составляющие занятия:

• Рассмотрение примера применения классических алгоритмов обнаружения аномалий.
• Рассмотрение примера применения глубоких нейронных сетей, включая особенности подготовки данных для их обработки нейронными сетями.

Онлайн-консультация по выполнению письменной работы. 1 час

Выполнение письменной работы — формирование задания на разработку инициатив по внедрению ИИ в деятельности финансовой организации.

Закрытие курса. Диалог с обучающимися руководителя образовательной программы, куратора курса.