В Санкт-Петербурге создают робота, читающего по губам — Quality of Life — TSU

В Санкт-Петербурге создают робота, читающего по губам

Учёные из Санкт-Петербургского института информатики и автоматизации Российской академии наук (СПИИРАН) работают над созданием робота, который способен читать речь по губам и понимать язык жестов. Он будет помогать обслуживать клиентов с ограниченными возможностями в супермаркетах.

Заведующий лабораторией речевых и многомодальных интерфейсов Алексей Карпов рассказывает следующее о новом проекте: «Мы выполняем при поддержке Министерства науки и высшего образования России двусторонний проект с чешскими коллегами по разработке мобильного информационного робота с многомодальными интерфейсами пользователя. Так, там будет применён русскоязычный речевой интерфейс, а также будет жестовый интерфейс, чтобы робот мог взаимодействовать с глухонемыми людьми».

По словам Алексея Карпова, прототип робота, который построят на основе этих разработок, будет представлять собой помощника для покупателей в супермаркетах. Машина сможет понимать речевые запросы покупателя и элементы языка жестов, проводит человека к нужным товарам и транспортирует покупки на тележке. Помимо этого, разрабатываемую систему можно будет использовать в банках, МФЦ и других организациях для работы с клиентами.

Второй смежный проект должен позволить с высокой точностью и устойчивостью распознавать речь по движению губ, что будет полезно не только для общения с глухонемыми людьми, но и для распознавания речи в шумных местах.

«Это объединение распознавания звучащей речи и чтения речи по губам, для этого исследования мы используем высокоскоростную видеокамеру, которая выдаёт 200 кадров в секунду, что в несколько раз больше, чем у обычных камер. Мы получаем видеоизображения, обрабатываем звук и затем объединяем данные. Это позволяет улучшить точность распознавания речи в шумных помещениях, на улице и так далее. В настоящее время система уже может распознавать данным способом сотни слов на русском языке», — сообщает Алексей Карпов.

 

Источник: tass.ru