Для кого этот курс? Для опытных специалистов в области компьютерного зрения (от 1 до 3 лет опыта), которые желают расширить свой кругозор в CV, упорядочить и актуализировать знания, углубиться в специфичные задачи компьютерного зрения. Для тех, кто самостоятельно освоил CV, но еще не имел возможносоти получить коммерческого опыта в этой сфере. Для опытных питонистов, знакомых с компьютерным зрением и нейросетями. Для тех, кто прошел курс «Компьютерное зрение» в Отус. Необходимые знания Уверенное знание Python Понимание работы нейросетей и методов глубокого обучения Базовые знания по компьютерному зрению Что даст вам этот курс? Продвинутые знания в области компьютерного зрения Глубокую теорию и понятную практику от ведущих экспертов в области компьютерного зрения Опыт работы с актуальными технологиями: PyTorch 2.0, Vision Transformers, Diffusion models, Generative AI, SAM, action detection, geometry computer vision Выпускной проект, который можно будет прикрепить к резюме Вы сможете Решать любые задачи компьютерного зрения от стадии идеи до продакшена, Понимать, как решать ту или иную задачу Понимать, какими инструментами воспользоваться и какие сложности и подводные камни могут при этом возникнуть Доводить решения от стадии идей и эксперементов до полноценного продакшен кода Программа: Рабочее окружение и библиотеки для CV Начальный модуль посвящён настройке рабочего окружения и установке библиотек, нужных для обучения на курсе. Вводная лекция: задачи, инструменты и программа курса PyTorch 2.x: стандартные датасеты и модели torchvision Библиотеки компьютерного зрения: OpenCV, Kornia, Hugging Face, OCR Нейронные сети и глубокое обучение Знакомство с архитектурами нейронных сетей, применяемых в компьютерном зрении, от свёрточных до современных трансформеров. Эволюция свёрточных сетей: от AlexNet до EfficientNet Адаптивные методы градиентного спуска Трансформеры в задачах зрения Self-Supervised Learning: SimCLR, BYOL, FixMatch, MAE, DINO Стандартные задачи CV Модуль посвящён основным задачам компьютерного зрения — детекции, трекингу, ре-идентификации и сегментации. Object Detection: постановка задачи, метрики, семейство R-CNN Object Detection: проблемы многомасштабности, семейство YOLO Сегментация: продвинутые методы, 3D-сегментация Pose Estimation: 2D и 3D Face Recognition: современные подходы (SphereFace, ArcFace, CosFace) Object Tracking и ReID Выбор темы и организация проектной работы Генеративные модели Модуль полностью посвящён генеративным моделям искусственного интеллекта — от автоэнкодеров и GAN до диффузионных и мультимодальных систем. Вариационные автоэнкодеры (VAE) GAN: постановка задачи и обзор архитектур Диффузионные модели Stable Diffusion. Multimodal text-to-image generation: IP-Adapter, ControlNet Generative Video Models: Stable Video Diffusion, Gen2, MAKE-A-VIDEO Multimodal image-to-text generation и visual QA Продвинутые методы CV Модуль посвящён современным задачам и инструментам компьютерного зрения — от SAM до стереозрения и SLAM. Zero-Shot Learning подходы Стереозрение и калибровка камеры Геометрические методы в компьютерном зрении 3D Reconstruction: MVSNet, NeRF SLAM и архитектуры моделей компьютерного зрения для автономного транспорта Распознавание и детекция действий на видео Оптимизация, инференс и подготовка к продакшену Практический модуль об оптимизации моделей и их развёртывании на сервере. Инференс на сервере: TensorRT, ONNX, Triton Ускорение работы с видео для инференса нейросетей (бонусное занятие) Архитектура проектов по видеоаналитике (бонусное занятие) Бонусные занятия Модуль даёт базовые знания и концепции в нейронных сетях и глубоком обучении. Полезен для тех, кто хочет освежить и актуализировать знания, а также для новичков в нейросетях. Рекомендуется пройти перед основными лекциями. Сверточные нейронные сети: операции свертки, транспонированной свертки, пуллинг Подготовка и аугментация данных Градиентный спуск и backpropagation Переобучение и регуляризация Взрывы и затухание градиентов
