Чему мы научим на Exploratory data analysis: ◆ На этом модуле вы изучите понятие стохастического подхода в анализе данных, научитесь разделять переменные на различные типы и выбирать соответствующие меры по локации и разбросу, а также разберётесь в применении различных методов для анализа данных. Обучение включает математическую статистику, линейную алгебру, математический анализ и теорию вероятностей, применяемые в оптимизации и машинном обучении. Вы узнаете, как проводить базовый исследовательский анализ, визуализировать данные и исправлять в них проблемы, заполнять пропущенные значения и оптимизировать большие датасеты для работы. ◆ Узнаете всё о стохастическом подходе Разведывательный анализ данных (EDA) используют для исследования и анализа набора данных с целью получения первичного понимания о его структуре, особенностях и возможных образцах. Вы разберёте, что такое EDA, погрузитесь в краткую историю стохастического подхода и в сферы его применения. ◆ Научитесь работать с переменными Вы узнаете, как в разведывательном методе используют различные типы переменных — непрерывные, дискретные, порядковые, номинальные, количественные. Также узнаете о зависимостях двух переменных, корреляции и регрессии. ◆ Изучите взаимодействие с массивами данных В EDA работа с массивами данных включает в себя подготовку данных, их обработку, анализ, визуализацию, агрегацию и преобразования. Вы разберёте методы работы и какие программные инструменты необходимы в процессе. ◆ Познакомитесь с оптимизацией больших датасетов Вы узнаете, как ускорить процесс работы, повысить эффективность в обработке информации и сократить время анализа. Расскажем, как удалять ненужные переменные, что такое индексация и как применять сжатие. Что включено в модуль: Введение в разведывательный анализ данных. Алгоритмы и методы Математическая статистика в контексте EDA. Типы признаков Линейная алгебра в контексте Линейных методов Математический анализ в контексте задачи оптимизации Теория вероятностей и математическая статистика Теория вероятностей в контексте Наивного Байесовского классификатора Анализ данных Программа модуля: Продолжительность: 16 ак. часов / 4 недели Формат обучения: Лекция + семинар Краткая история стохастического подхода. Типы переменных. Меры локации и разброса набора данных. Диаграмма размаха Таблицы частот и оценка мер локации по неполным данным. Гистограммы плотностей Зависимость двух переменных. Корреляция и регрессия Непараметрическая корреляция. Расчёт корреляции и построение регрессии в Python Мониторинг приложений. Автоматизация деплоя с помощью GitHub Actions Оптимизация больших датасетов и библиотеки для работы с большими данными Твои навыки после обучения Владение математической статистики в контексте EDA Умение строить таблицы частот и гистограммы плотностей, оценивать меры локации по неполным данным Расчёт корреляции и построение регрессии в Python Умение работать с массивами данных и пропусками. Классификация и агрегирование. Визуализация в Tableau Оптимизация больших датасетов и библиотеки для работы с большими данными Mathshub — международная школа анализа данных и разработки. Преподаватель модуля: Георгий Милютин. Ex-глава департамента математики в London Gate Education Group.
