VLA-модели для роботов: что происходит в индустрии и как собрать сортировщика на коленке

После воркшопа по VLA-моделям захотелось разложить по полочкам, что сейчас происходит с «мозгами» для роботов-манипуляторов, и прикинуть, насколько реально собрать что-то полезное своими силами. Например, робота, который сортирует посылки, мусор или продукты на небольшом складе.

Что такое VLA

VLM (Vision-Language Model) - модель, которая понимает изображение и текст. VLA (Vision-Language-Action) - та же VLM, к которой добавлена «голова» действий. На вход модель получает кадры с камер, текущие углы суставов и текстовую команду («положи кубик в коробку»), а на выходе выдаёт не текст, а траекторию: позиции суставов и захвата примерно на секунду вперёд. Такой кусок траектории называется action chunk. Робот исполняет его часть, затем модель снова смотрит на сцену и пересчитывает план.

Голову действий обычно обучают через diffusion или flow matching - те же техники, что генерируют картинки, только генерируют они движение.

Рецепт обучения повторяет LLM:

1. Предобучение на тысячах часов записей с разных роботов.
2. Дообучение под конкретного робота - его кинематику, камеры, захват.
3. Дообучение под задачу - обычно 50-300 демонстраций.
4. Коррекции после деплоя (DAgger): человек перехватывает управление, когда робот ошибается, и эти фрагменты идут в дообучение.

Демонстрации записывают через телеоперацию: человек двигает «ведущую» руку (leader arm), робот повторяет движение, а камеры и датчики пишут всё в датасет. Чем дешевле такая запись, тем дешевле обучение, и именно здесь сейчас главный прогресс.

Три работы, которые стоит знать

ABC - открытый стек от Berkeley, MIT, CMU и Amazon FAR

ABC - попытка сделать для двуруких манипуляторов то же, что ImageNet сделал для компьютерного зрения:

• датасет ABC-130K: 3 553 часа, ~135 тысяч эпизодов, 195 задач;
• две открытые модели: ABC-DiT (2B, diffusion transformer) и ABC-VLA (4.3B, на базе Gemma 3);
• 400 часов данных в симуляции MuJoCo, причём успех в симуляции хорошо коррелирует с реальным (r ≈ 0.85-0.91), так что архитектуры можно сравнивать без железа;
• коррекции через DAgger подняли успех в складывании коробки с 24% до 85%.

Вместе с этим i2rt выложили yam-abc-reproduce - полный цикл «запись → чистка → обучение → деплой» на одной станции с одной RTX 5090. Поддерживаются π0/π0.5, MolmoAct2 и ABC-DiT.

Microsoft Rho - сначала робот, потом задача

Rho - открытая VLA на 5B параметров: VLM Phi-Phy плюс flow-matching голова действий. Главная идея - отдельный этап midtraining: около 300 часов данных на конкретного робота до обучения задачам. После него на новую задачу нужно примерно вдвое меньше демонстраций, а 15 коррекций поднимают успех с 30% до 70%. По качеству Rho на уровне π0.5 или лучше.

Physical Intelligence π - модель как сервис

Physical Intelligence развивает линейку π0 → π0.5 → π0.7. Веса π0 и π0.5 выложены в открытый доступ в репозитории openpi и стали фактическим стандартом для сравнения. В октябре 2026 компания открыла Pi API beta: загружаешь свои демонстрации, они дообучают модель и хостят инференс. По сути это OpenAI fine-tuning, только для роботов.

Индустрия

Деньги в отрасли уже уровня LLM-стартапов, а подходы различаются в основном тем, откуда брать данные:

Основные тренды:

• Данные - главное узкое место. Их собирают тремя способами - телеоперацией, из интернет-видео и в симуляции - и обычно комбинируют.
• Дешевеет железо. Исследовательская рука YAM стоит около $3 000, а обучение помещается на одну игровую видеокарту.
• Дешевеет сбор данных. Вместо лабораторий с операторами - запись того, как люди просто делают свою работу.
• Обучение не заканчивается на деплое. Робот улучшается за счёт коррекций прямо в процессе работы.

Ограничения, о которых не пишут в пресс-релизах

На воркшопе было хорошо видно, что между демо и стабильной системой большая дистанция:

• Модели узкие. Они хорошо выполняют то, чему их учили (взять кубик и положить в коробку), но почти не обобщают на новые задачи.
• Чувствительность к окружению. Если датасет снимали на белом столе, модель будет полагаться на белый фон. Сменился фон, освещение или положение камеры - качество падает. Я наступал на те же грабли лет пять назад, когда пробовал прикрутить BeeAlarmed к своим ульям: модель обучали на зелёном фоне, и в моих условиях она работала плохо.
• Не совсем realtime. Модель смотрит на кадр, строит траекторию, робот проходит её часть, и цикл повторяется. На практике система обрабатывает порядка 10 кадров в секунду. Для сортировки этого достаточно, а для ловли предметов на лету - нет.
• Много видеопотоков. Типичная станция - три камеры (по одной на каждом запястье и одна сверху), и каждую нужно прогнать через модель. Отсюда требования к GPU и задержки.
• Геометрия станции тоже часть модели. Расстояние между руками, положение и угол камер должны совпадать с теми, на которых записывали данные.

Как собрать сортировщика на коленке

Допустим, задача - разбирать поток предметов по нескольким ящикам: посылки по размеру, мусор по типу, продукты по категории. Вот реалистичный план.

1. Сначала спросите себя, нужна ли VLA

Если предметы лежат на столе по одному, а сортируются по внешнему виду, классический подход часто надёжнее: детектор вроде YOLO определяет класс и положение, а простой алгоритм с вакуумной присоской переносит предмет в нужный ящик. Это дешевле, быстрее и предсказуемее. VLA стоит брать, когда хват нетривиальный: мягкие пакеты, предметы в куче, нужно перевернуть или достать из коробки.

2. Железо

Начинать лучше с одной руки: двурукая станция удваивает и цену, и объём данных.

3. Зафиксируйте сцену, но разнообразьте данные

Это главный урок про стабильность. Камеры и руки крепятся жёстко и больше не двигаются. Зато во время записи демонстраций специально меняйте всё остальное: фон (подложите разные коврики), освещение, положение и ориентацию предметов, сами предметы. Иначе модель выучит не «где коробка», а «где белое пятно».

4. Запишите 100-300 демонстраций

Через ведущую руку покажите роботу каждую операцию. Короткие эпизоды по 10-30 секунд, одна понятная команда на эпизод («положи бутылку в синий ящик»). Неудачные эпизоды лучше удалять: yam-abc-reproduce и LeRobot дают просмотрщик для такой чистки.

5. Дообучите готовую модель

Обучать с нуля не нужно. Берите π0.5 через openpi, ABC-DiT или Rho и дообучайте на своих данных. Если своей GPU нет, можно попробовать Pi API.

6. Деплой и коррекции

Запустите робота на реальном потоке и перехватывайте управление, когда он ошибается. Десятки таких коррекций часто дают больше, чем сотни новых демонстраций. Не забудьте ограничение скорости и кнопку аварийной остановки.

7. Что улучшить потом

• Одна стереокамера вместо трёх. Меньше видеопотоков, меньше нагрузка на GPU, плюс глубина из коробки.
• Датчики силы и касания в захвате. Модель будет понимать, что предмет взят, а не только видеть это.
• Многопальцевая кисть с тактильной обратной связью. Тогда можно брать хрупкое, мягкое и мелкое, а это уже совсем другой класс задач. Пока это дорого и данных под такие кисти мало, но Genesis и другие компании активно туда идут.

Итог

VLA-модели сейчас примерно там же, где были LLM до ChatGPT: уже работают, уже открыты, уже дообучаются на одной видеокарте, но пока узкие и капризные. Для своего склада вполне реально собрать прототип за несколько тысяч евро и пару месяцев экспериментов. Главное - сузить задачу, жёстко зафиксировать станцию и не экономить на разнообразии данных.

Про железную часть - какие моторы ставят в такие руки - есть отдельная статья: Введение в робототехнику: типы моторов.