GEN-1.5 от Generalist AI учит роботов новой задаче за одну демонстрацию

Робототехнический стартап Generalist AI представил GEN-1.5, модель, которая учит робота новой задаче по одной демонстрации длительностью 3-12 секунд, заявила компания. Клип загружается в контекстное окно модели как то, что компания называет 'физическим промптом', выполняя роль кратковременной памяти, на которую робот опирается, выполняя задачу без дополнительного обучения.

В десяти тестах, включая открывание банки и извлечение денег из кошелька, Generalist сообщает о средней успешности в 59% без всякого обучения. Если дать модели десять шагов обучения на пяти минутах дополнительных данных по той же задаче, показатель поднимается до 83%. Модель также может объединять две демонстрации в более длинную последовательность, учиться по демо из симуляции вместо реальных записей и частично имитировать движения человеческой руки, которые она наблюдает.

• Длина демонстрации для запуска новой задачи: 3-12 секунд
• Успешность без обучения по 10 задачам: 59%
• Успешность после 10 шагов обучения на 5 минутах данных: 83%
• Период претрейнинга, которому Generalist приписывает эти способности: более 8 месяцев
• Независимая проверка результатов: пока отсутствует

Generalist утверждает, что робота никогда явно не обучали объединять промпты или имитировать движения руки. Компания связывает обе способности с более чем восемью месяцами претрейнинга на данных о взаимодействии, где эти способности возникли сами по себе, а не были заложены целенаправленно. Другие исследовательские группы уже демонстрировали похожее обучение в контексте для роботов, но Generalist утверждает, что первой заставила подход работать на широком спектре задач, а не на узкой горстке.

Показанные задачи короткие и простые, и все цифры в этом отчёте компания предоставила сама. Ни одна независимая лаборатория пока не воспроизвела и не проверила заявленную успешность, а это существенный пробел для компании, чья ставка строится на роботах с общими навыками, а не узко настроенными вручную. Основанная бывшим старшим исследователем Google DeepMind Питом Флоренсом, который работал над робототехническими моделями PaLM-E и RT-2, Generalist в этом году привлекла $400 млн в раунде под руководством Radical Ventures, что оценило компанию в $2 млрд при участии венчурного подразделения Nvidia и Bezos Expeditions.

GEN-1.5 следует за GEN-1, первой базовой моделью Generalist, которая, по словам компании, справляется с физическими задачами с надёжностью 99% против отраслевого ориентира, который компания оценивает ближе к 64%. Если GEN-1 нацелена на надёжное повторение задач, которым робота уже обучили, GEN-1.5 берётся за более сложную проблему: освоить совершенно новую задачу на месте, тот же трюк обучения в контексте, который позволял большим языковым моделям следовать письменной инструкции без предварительного дообучения на ней. Перенести эту идею на физического робота, которому нужно превратить короткое видео в рабочую последовательность движений суставов, а не строку текста, значительно более сложная инженерная задача, и отчасти поэтому заявка Generalist на обобщение по широкому спектру задач выделяется на фоне предыдущих работ, ограниченных горсткой сценариев. Операторов складов и производителей, тех самых клиентов, которых стартапу вроде Generalist в итоге нужно убедить, интересует не рекламный ролик, а то, как система ведёт себя на задачах, которые никто не прописал заранее, а именно для этого сценария и создана GEN-1.5, и именно это заявление внешние лаборатории пока не проверили сами.

Материал носит информационный характер и не является инвестиционной рекомендацией.