Наука и жизнь

Nvidia стирает грань между симуляцией и реальностью

Nvidia стирает грань между симуляцией и реальностью

Исследователи Nvidia AI представили сегодня SimOpt, систему искусственного интеллекта, обученную переводить симулированную работу в реальные действия для выполнения таких задач, как установка втулки в отверстие, открытие и закрытие ящика. Модель SimOpt, основанная на обучении с подкреплением, была создана с использованием механизма моделирования физики Flex от Nvidia и более 9600 симуляций, каждая из которых занимает до двух часов.

Этот подход использует синтетические данные, собранные во FleX, которые не работают в реальном мире, и корректирует их параметры в симуляторе в надежде, что алгоритм сделает меньше ошибок на следующем этапе.

«Смысл в том, чтобы создать точную копию реального мира в симуляторе. С этими параметрами вы переобучаете робота обучением с подкреплением», — говорит исследователь Анкур Ханда. — «Затем вы возвращаетесь в реальный мир и проверяете, работает ли этот диапазон параметров. Если нет, вернитесь снова, выясните, какие траектории соответствуют реальному миру, и найдите другой диапазон. Затем вы проводите обучение с подкреплением на этом диапазоне, и повторяете этот процесс до тех пор, пока не сможете отличить от реального мира или от симулятора, пока он просто работает».

Итеративный процесс точной настройки параметров и сравнения траекторий из задач симулятора и реальности основан на датчиках глубины, которые отслеживают трехмерную модель в реальном мире и производят оценку производительности.

«Мы говорим: „Не выбрасывайте отрицательные данные“. Это все еще очень полезные данные, потому что они позволяют вам создавать точную копию реального мира в симуляторе и настраивать диапазоны параметров, и вы продолжаете делать это до тех пор, пока это не сработает», — сказал Ханда.

Исследования, представленные сегодня, являются следствием запуска линии робототехники NVIDIA в Исааке в прошлом году и январским запуском лаборатории робототехники Nvidia в Сиэтле. Лаборатория используется для обучения роботов для работы в практических условиях, таких как кухни Ikea, и привлекает таланты из близлежащего Университета Вашингтона.

Дитер Фокс был назначен руководителем робототехнической лаборатории Nvidia в 2017 году. С тех пор исследователи создали системы, которые могут научиться наблюдать за деятельностью человека в лабораторных условиях, а также узнавать, как собирать объекты из синтетических данных.

На этой неделе на Международной конференции по робототехнике и автоматизации в Монреале будет представлена работа под названием «Закрытый цикл от симуляции к реальности: адаптация рандомизации симуляции к опыту реального мира». Работа, представленная на конференции, включает в себя работы исследователей Facebook, использующих подкрепляющее обучение, чтобы научить робота-гексапода ходить.

В ближайшие месяцы SimOpt будет выполнять тесты в более сложных ситуациях, имитирующих реальные условия.

Поделиться с миром: