ComfyUI — это интерфейс для работы с генеративным ИИ, предоставляющий наглядный и глубокий контроль над генеративными моделями, параметрами и результатами, что делает работу с нейросетями творческой, увлекательной и свободной. На курсе мы будем работать со свободно распространяемыми моделями. В отличие от коммерческих веб-сервисов с ними можно работать без ограничений, подписок и модерации. Разобравшись с основами, вы сможете работать в ComfyUI с новыми ИИ моделями любого типа в дальнейшем. Курс может быть интересен как тем, кто уже использует в работе ИИ-инструменты и хочет сделать следующий шаг, так и тем, кто только приступает к изучению возможностей ИИ и ищет фундаментальный и структурированный подход. Спойлер: Программа Программа курса Знакомство с ComfyUI и друг с другом Локальные модели ИИ, в чём отличие от сервисов, и как с ними работать. Интерфейс ComfyUI: воркфлоу, ноды, соединения. Запуск нейросетей в облаке Откуда берутся технические требования: GPU, NVidia CUDA, видеопамять. Настройка аккаунта и первый запуск. Docker контейнеры. Репозиторий ИИ моделей Hugging Face. Как работает генеративный ИИ Ключевые концепции диффузионных моделей, DiT/UNET, CLIP/Text Encoder, VAE, Latent space, Noise, Steps, CFG, Conditioning, Distilled. Приступаем к генерации изображений Текстовые промпты и основные параметры. Создание изображений с использованием базовых и дистилированных моделей. Edit-модели и denoise Модели для обработки и совмещения референсов. Denoise на примере image 2 image. Работа с размером изображений. Генерация текста. «Слепое» увеличение с помощью upscale моделей и «creative upscale» с помощью диффузии. Автоматическое описание изображений. Исправление частей изображения Inpainting модели, маски, сегментация, автоматическое выделение объектов и удаление фона. LoRA: Адаптация базовых моделей Установка и активация готовых LoRA в ComfyUI. Персонаж, визуальный стиль, концепт. Репозиторий civit.ai. Подготовка датасета к обучению. LoRA: Тренировка модели на своих данных Запуск в облаке обучения модели на ваших данных. Тест результата. Управление объёмом, контурами и позами ControlNet. Генерация и применение карт глубины. Извлечение визуальных признаков из изображений для переработки. IP-Adapter для SDXL, Redux для Flux 1. Изменение ракурса, сохранение персонажа, совмещение изображений. Генерация аудио. Звук, песни. Синтез и распознание речи, звуковые генерации. Видео на основе текста и изображений Локальные модели для генерации видео и их использование в ComfyUI. «Слепая» интерполяция. LoRA для видео Установка и активация готовых LoRA в ComfyUI. Генерация видео с речью. ControlNet в видео Video 2 Video. Редактирование видео с помощью масок и продолжений Inpainting в видео во времени и в пространстве, зацикленные анимации. Дополнительный материал + ComfyUI на своём компьютере Установка и оптимизация для компьютеров с видеокартами NVidia. Материал не вошедший в остальные занятия. Неделя самостоятельной работы и презентация итогового проекта Просмотр и обсуждение финальных проектов, заключительная общая консультация. Результаты обучения Вы научитесь работать с моделями ИИ в ComfyUI и запускать их как в облаке, так и на локальном компьютере. У вас останется аккаунт для работы в облаке и набор разобранных на занятиях файлов выполняющих самые разные генеративные задачи. Вы освоите возможности моделей для генерации и редактирования изображений Flux, Z-Image, SDXL и других. Вы ознакомитесь с принципами видеогенерации, научитесь использовать модели LTXV 2.3 и WAN 2.2 для коротких анимаций и ознакомитесь с применением моделей для сложного контроля движения, продлений и совмещений видео. Вы узнаете основные принципы работы визуальных ИИ моделей. Вы научитесь дообучать модели и натренируете Flux Klein на собственных данных.
