Наука и жизнь

Новый ИИ для роботов может «почувствовать» объект

Новый ИИ для роботов может «почувствовать» объект

Исследователи из Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института (MIT) разработали совершенно новый ИИ, который может ощущать объекты, просто видя их — и наоборот.

Новый ИИ может предсказать, каким будет ощущение от прикосновения к объекту, просто взглянув на него. Еще он может создавать визуальное представление объекта основываясь только из тактильных данных, которые ИИ генерирует, касаясь его.

Юньчжу Ли, аспирант CSAIL и ведущий автор статьи о системе, сообщил, что модель может помочь роботам лучше обрабатывать объекты реального мира: «Глядя на окружающий мир, наша модель может ощутить прикосновение к плоской поверхности или к острому краю. Такая интерпретация нашей моделью может предсказать потенциальное взаимодействие с окружающим миром исключительно по тактильным ощущениям. Объединение визуальных и тактильных ощущений может расширить возможности робота и сократить объем данных, которые могут нам понадобиться для выполнения задач, связанных с манипулированием и захватом объектов».

Исследовательская группа использовала роботизированную руку KUKA со специальным тактильным датчиком GelSight для обучения модели. Она дотронулась до 200 предметов домашнего обихода 12 000 раз и записала визуальные и тактильные данные. Исходя из этого, она создала набор данных из 3 миллионов визуально-тактильных изображений под названием VisGel.

Эндрю Оуэнс, научный сотрудник Калифорнийского университета в Беркли, полагает, что это исследование может помочь роботам узнать в том числе, насколько сильно он должен захватывать объект: «Это первый убедительный метод, который может транслировать визуальные и тактильные сигналы. Подобные методы потенциально могут быть очень полезны для робототехники, когда вам нужно ответить на вопросы вроде „Этот объект твердый или мягкий?“ Или „Если я подниму эту кружку за ручку, насколько сильна должна быть моя хватка?“. Это очень сложная проблема, так как сигналы очень разные, и эта модель продемонстрировала большие возможности».

Информация представлена на сайте конференции по компьютерному зрению и распознаванию образов в США.

Поделиться с миром: