Искусственный интеллект от Google научился распознавать отдельные голоса в толпе

Искусственный интеллект научили читать по губам.

Новая разработка американского IT-гиганта Google выглядит как технология двойного назначения. С одной стороны, это находка для шпиона, который сможет выявить и подслушать говорящего на расстоянии, даже если тот прячется в толпе людей. С другой — прорыв в анализе голосовых данных поможет многочисленным инвалидам по слуху и повысит эффективность сервисов самой Google. Об этом пишет Engadget.

Так как это работает? Распознать голос человека, даже при наличии помех, несложно — проблема в том, чтобы идентифицировать его обладателя. Разработчики Google просто приставили к микрофону видеокамеру с алгоритмом, который реагирует на мимику человека. Система сопоставляет движения на лице говорящего, "читает по губам" и параллельно анализирует звук. Если результаты совпадают — отлично, ИИ вычленяет этого персонажа и может следить только за его речью на фоне общей какофонии звуков.

Нейронную сеть сначала обучили самой технике чтения по губам, затем научили отличать людей говорящих от просто смеющихся, распознавать мимику при разговоре, даже если лицо частично скрыто бородой или микрофоном. Затем в систему добавили механизм сортировки — когда оратор вычислен, его данные поступают в отдельный акустический профиль. Благодаря этому ИИ может различать слова разных людей, даже если те специально стараются его запутать и говорят или поют в унисон.

Понимать разговор конкретной персоны — благое дело не только для соглядатая. Например, можно с большой точностью передавать на слуховой аппарат слова именно собеседника инвалида, отсеивая прочие голоса, как шум. Или расширить функционал видеочатов, вроде Hangouts и Duo. Плюс, это новые возможности для систем голосового управления, да и взломать защиту по голосу только при помощи фальшивой акустической записи теперь будет невозможно.

Инженеры компании пока не понимают, как можно использовать разработанную технологию. Издание отмечает, что область применения такой системы очень широка — начиная с групповых видеочатов, записи голоса, а также взаимодействия со слуховым аппаратом.

Отметим, нейронная сеть, разработанная китайским интернет-гигантом Alibaba, блестяще сдала тесты от Стэнфордского университета, впервые превзойдя результаты человека. ИИ успешно прошел тесты на навыки чтения и понимания текста и речи на 82,44 балла, превзойдя средний результат людей, принявших участие в том же испытании — 82,34. Сравнительные тесты были пройдены 11 января, а днем позже другая нейронная сеть, от Microsoft, также успешно сдала тесты Стэнфорда, набрав 82,65 балла.

Инф. delo.ua