--- title: "VLA-модели для роботов: что происходит в индустрии и как собрать сортировщика на коленке" date: 2026-10-19T12:00 aiAuthorship: 70 tags: [robotics, ai, vla, ml, hardware] description: "Краткий обзор Vision-Language-Action моделей (ABC, Microsoft Rho, π0.5), ключевых компаний и практический план, как собрать робота-сортировщика для небольшого склада." --- После [воркшопа по VLA-моделям](/ru/events/2026-10-16-vision-language-action-workshop/) захотелось разложить по полочкам, что сейчас происходит с «мозгами» для роботов-манипуляторов, и прикинуть, насколько реально собрать что-то полезное своими силами. Например, робота, который сортирует посылки, мусор или продукты на небольшом складе. ![Робот-манипулятор сортирует посылки на складе](/ru/blog/tech/img/vla-robots-cover.jpg) ## Что такое VLA **VLM** (Vision-Language Model) - модель, которая понимает изображение и текст. **VLA** (Vision-Language-Action) - та же VLM, к которой добавлена «голова» действий. На вход модель получает кадры с камер, текущие углы суставов и текстовую команду («положи кубик в коробку»), а на выходе выдаёт не текст, а траекторию: позиции суставов и захвата примерно на секунду вперёд. Такой кусок траектории называется **action chunk**. Робот исполняет его часть, затем модель снова смотрит на сцену и пересчитывает план. Голову действий обычно обучают через diffusion или flow matching - те же техники, что генерируют картинки, только генерируют они движение. Рецепт обучения повторяет LLM: 1. **Предобучение** на тысячах часов записей с разных роботов. 2. **Дообучение под конкретного робота** - его кинематику, камеры, захват. 3. **Дообучение под задачу** - обычно 50-300 демонстраций. 4. **Коррекции после деплоя** (DAgger): человек перехватывает управление, когда робот ошибается, и эти фрагменты идут в дообучение. Демонстрации записывают через **телеоперацию**: человек двигает «ведущую» руку (leader arm), робот повторяет движение, а камеры и датчики пишут всё в датасет. Чем дешевле такая запись, тем дешевле обучение, и именно здесь сейчас главный прогресс. ## Три работы, которые стоит знать ### ABC - открытый стек от Berkeley, MIT, CMU и Amazon FAR [ABC](https://abc.bot/) - попытка сделать для двуруких манипуляторов то же, что ImageNet сделал для компьютерного зрения: - датасет **ABC-130K**: 3 553 часа, ~135 тысяч эпизодов, 195 задач; - две открытые модели: **ABC-DiT** (2B, diffusion transformer) и **ABC-VLA** (4.3B, на базе Gemma 3); - 400 часов данных в симуляции MuJoCo, причём успех в симуляции хорошо коррелирует с реальным (r ≈ 0.85-0.91), так что архитектуры можно сравнивать без железа; - коррекции через DAgger подняли успех в складывании коробки с 24% до 85%. Вместе с этим i2rt выложили [yam-abc-reproduce](https://github.com/i2rt-robotics/yam-abc-reproduce) - полный цикл «запись → чистка → обучение → деплой» на одной станции с одной RTX 5090. Поддерживаются π0/π0.5, MolmoAct2 и ABC-DiT. ### Microsoft Rho - сначала робот, потом задача [Rho](https://microsoft.github.io/rhobotics/) - открытая VLA на 5B параметров: VLM Phi-Phy плюс flow-matching голова действий. Главная идея - отдельный этап **midtraining**: около 300 часов данных на конкретного робота до обучения задачам. После него на новую задачу нужно примерно вдвое меньше демонстраций, а 15 коррекций поднимают успех с 30% до 70%. По качеству Rho на уровне π0.5 или лучше. ### Physical Intelligence π - модель как сервис [Physical Intelligence](https://www.pi.website/) развивает линейку π0 → π0.5 → π0.7. Веса π0 и π0.5 выложены в открытый доступ в репозитории openpi и стали фактическим стандартом для сравнения. В октябре 2026 компания открыла [Pi API beta](https://www.pi.website/blog/api-beta): загружаешь свои демонстрации, они дообучают модель и хостят инференс. По сути это OpenAI fine-tuning, только для роботов. ## Индустрия Деньги в отрасли уже уровня LLM-стартапов, а подходы различаются в основном тем, откуда брать данные: | Компания | Ставка | Что показали | |---|---|---| | **Physical Intelligence** | универсальный «мозг» для любого робота | π0.7, Pi API; оценка $5.6B+ | | **Skild AI** | одна модель для любых тел - от квадропода до гуманоида | Skild Brain; $1.4B Series C | | **Generalist AI** | собственный датасет 270K+ часов, scaling laws | GEN-1.5 осваивает задачу по одной демонстрации in-context | | **Rhoda AI** | обучение на интернет-видео вместо телеоперации | DVA: предсказывает видео будущего и переводит его в действия | | **Genesis AI** | свой физический симулятор + реальные данные | GENE-26.5, собственная антропоморфная кисть | | **Dyna Robotics** | надёжность в реальном производстве | Dyna-2.1, робот Taku для целых рабочих процессов | | **Weave, Ultra** | прикладные продукты на моделях π | домашний робот Isaac 1, упаковка заказов на складах | | **1X** | домашний гуманоид | NEO за $20 000, world model, обучаемая по видео | Основные тренды: - **Данные - главное узкое место.** Их собирают тремя способами - телеоперацией, из интернет-видео и в симуляции - и обычно комбинируют. - **Дешевеет железо.** Исследовательская рука [YAM](https://doc.i2rt.com/products/yam-standard.html) стоит около $3 000, а обучение помещается на одну игровую видеокарту. - **Дешевеет сбор данных.** Вместо лабораторий с операторами - запись того, как люди просто делают свою работу. - **Обучение не заканчивается на деплое.** Робот улучшается за счёт коррекций прямо в процессе работы. ## Ограничения, о которых не пишут в пресс-релизах На воркшопе было хорошо видно, что между демо и стабильной системой большая дистанция: - **Модели узкие.** Они хорошо выполняют то, чему их учили (взять кубик и положить в коробку), но почти не обобщают на новые задачи. - **Чувствительность к окружению.** Если датасет снимали на белом столе, модель будет полагаться на белый фон. Сменился фон, освещение или положение камеры - качество падает. Я наступал на те же грабли лет пять назад, когда пробовал прикрутить [BeeAlarmed](https://github.com/BeeAlarmed/BeeAlarmed) к своим ульям: модель обучали на зелёном фоне, и в моих условиях она работала плохо. - **Не совсем realtime.** Модель смотрит на кадр, строит траекторию, робот проходит её часть, и цикл повторяется. На практике система обрабатывает порядка 10 кадров в секунду. Для сортировки этого достаточно, а для ловли предметов на лету - нет. - **Много видеопотоков.** Типичная станция - три камеры (по одной на каждом запястье и одна сверху), и каждую нужно прогнать через модель. Отсюда требования к GPU и задержки. - **Геометрия станции тоже часть модели.** Расстояние между руками, положение и угол камер должны совпадать с теми, на которых записывали данные. ## Как собрать сортировщика на коленке Допустим, задача - разбирать поток предметов по нескольким ящикам: посылки по размеру, мусор по типу, продукты по категории. Вот реалистичный план. ### 1. Сначала спросите себя, нужна ли VLA Если предметы лежат на столе по одному, а сортируются по внешнему виду, классический подход часто надёжнее: детектор вроде YOLO определяет класс и положение, а простой алгоритм с вакуумной присоской переносит предмет в нужный ящик. Это дешевле, быстрее и предсказуемее. VLA стоит брать, когда хват нетривиальный: мягкие пакеты, предметы в куче, нужно перевернуть или достать из коробки. ### 2. Железо | Компонент | Бюджетный вариант | Вариант «как на воркшопе» | |---|---|---| | Рука | [SO-101](https://huggingface.co/docs/lerobot/so101) от Hugging Face LeRobot, ~$150-250 за пару ведущая + ведомая | i2rt YAM, ~$3 000 за руку, плюс ведущая рука | | Камеры | 2 USB-камеры (сверху и на запястье) | 3 камеры Intel RealSense | | Вычисления | аренда GPU в облаке для обучения | своя RTX 5090 (32 GB) | | Захват | параллельный двухпальцевый | плюс вакуумная присоска для коробок | Начинать лучше с одной руки: двурукая станция удваивает и цену, и объём данных. ### 3. Зафиксируйте сцену, но разнообразьте данные Это главный урок про стабильность. Камеры и руки крепятся жёстко и больше не двигаются. Зато во время записи демонстраций специально меняйте всё остальное: фон (подложите разные коврики), освещение, положение и ориентацию предметов, сами предметы. Иначе модель выучит не «где коробка», а «где белое пятно». ### 4. Запишите 100-300 демонстраций Через ведущую руку покажите роботу каждую операцию. Короткие эпизоды по 10-30 секунд, одна понятная команда на эпизод («положи бутылку в синий ящик»). Неудачные эпизоды лучше удалять: [yam-abc-reproduce](https://github.com/i2rt-robotics/yam-abc-reproduce) и [LeRobot](https://github.com/huggingface/lerobot) дают просмотрщик для такой чистки. ### 5. Дообучите готовую модель Обучать с нуля не нужно. Берите π0.5 через openpi, ABC-DiT или Rho и дообучайте на своих данных. Если своей GPU нет, можно попробовать Pi API. ### 6. Деплой и коррекции Запустите робота на реальном потоке и перехватывайте управление, когда он ошибается. Десятки таких коррекций часто дают больше, чем сотни новых демонстраций. Не забудьте ограничение скорости и кнопку аварийной остановки. ### 7. Что улучшить потом - **Одна стереокамера вместо трёх.** Меньше видеопотоков, меньше нагрузка на GPU, плюс глубина из коробки. - **Датчики силы и касания** в захвате. Модель будет понимать, что предмет взят, а не только видеть это. - **Многопальцевая кисть с тактильной обратной связью.** Тогда можно брать хрупкое, мягкое и мелкое, а это уже совсем другой класс задач. Пока это дорого и данных под такие кисти мало, но Genesis и другие компании активно туда идут. ## Итог VLA-модели сейчас примерно там же, где были LLM до ChatGPT: уже работают, уже открыты, уже дообучаются на одной видеокарте, но пока узкие и капризные. Для своего склада вполне реально собрать прототип за несколько тысяч евро и пару месяцев экспериментов. Главное - сузить задачу, жёстко зафиксировать станцию и не экономить на разнообразии данных. Про железную часть - какие моторы ставят в такие руки - есть отдельная статья: [Введение в робототехнику: типы моторов](/ru/blog/tech/robot-motors/).