Ученые проверили искусственный интеллект на адекватность

Исследователи разработали специальный тест, в который входили вопросы уровня начальной школы.

Исследователи из Института Пола Аллена разработали тест под названием AI2 Reasoning Challenge (ARC). С его помощью можно проверить искусственный интеллект на понимание явлений окружающего мира.

В тест вошли вопросы уровня начальной школы, относящиеся к категории общих знаний. Например, ИИ предлагалось определить, какой предмет сделан из искусственного материала, — хлопковая рубашка, деревянный стул, пластиковая ложка или плетёная корзинка.

Прохождение этого теста означает, что проверяемая система обладает здравомыслием. Однако на момент написания статьи не было найдено искусственного интеллекта, который бы завершил тестирование успешно.

К примеру, виртуальные помощники и чат-боты основывают свои ответы на конкретных ситуациях, с которыми они сталкивались в процессе обучения, а не на общих знаниях предметной области. Питер Кларк, ведущий исследователь ARC, полагает, что людям приходится использовать здравый смысл, чтобы сформировать картину окружающего нас мира. Человек видит неочевидный смысл фраз и поэтому имеет полное понимание текста. "Машины не обладают здравомыслием и, следовательно, видят только то, что явно написано, из-за чего пропускают множество выводов и предположений, лежащих в основе текста", — рассказал исследователь ARC.

Ученые надеются, что созданный ими тест подтолкнет разработчиков к улучшению алгоритмов вопросно-ответной системы и распространению ИИ во все сферы человеческой деятельности.

Крупные компании уделяют все больше внимания "очеловечиванию" искусственного интеллекта. В январе 2018 года Microsoft представила ИИ, умеющий осознанно читать и отвечать на вопросы.

Отметим, нейронная сеть, разработанная китайским интернет-гигантом Alibaba, блестяще сдала тесты от Стэнфордского университета, впервые превзойдя результаты человека. ИИ успешно прошел тесты на навыки чтения и понимания текста и речи на 82,44 балла, превзойдя средний результат людей, принявших участие в том же испытании — 82,34. Сравнительные тесты были пройдены 11 января, а днем позже другая нейронная сеть, от Microsoft, также успешно сдала тесты Стэнфорда, набрав 82,65 балла.

Инф. delo.ua