Наука и жизнь

Исследователи MIT нашли нейронные мини-сети

Искусственный интеллект полностью поглотил умы ученых со всего мира, поскольку с его помощью можно создавать невиданные ранее, революционные вещи. Однако, любой ИИ основан на нейронных сетях, которые довольно объемны и их обучение (загрузка данных в них) занимает долгие дни и огромные процессорные мощности. В связи с этим, нейронными сетями могут заниматься лишь крупные компании с большой финансовой поддержкой.

Но теперь исследователи из MIT (Массачусетского технологического института) надеются изменить это. Ученые выяснили, что нейронные сети содержат «подсети», которые в 10 раз меньше и могут быть обучены дешевле и быстрее. Исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) обнаружили, что в крупных и уже обученных сетях есть меньшие подсети, которые могут делать одинаково точные прогнозы. Так называемая «гипотеза о лотерейных билетах» CSAIL основана на идее, что обучение больших нейронных сетей похоже на покупку всех билетов в лотерее, чтобы гарантировать выигрыш. Но обучение малых подсетей было бы похоже на покупку только выигрышных билетов.

Загвоздка в том, что исследователи не выяснили, как найти эти подсети, не построив полную нейронную сеть и не удалив ненужные биты. Если им удастся найти способ пропустить этот шаг и перейти прямо к подсетям, то этот процесс может сэкономить часы работы и сделать обучение нейронных сетей доступным для отдельных программистов, а не только для крупных компаний. Но определение того, как эффективно находить подсети, и понимание того, почему некоторые из них лучше чем другие в обучении, вероятно, займет еще годы.

Поделиться с миром: