Голосовой помощник понимающий без голоса

Опубликовал Администратор
22-08-2020, 08:52
391
0

Практически все современные смартфоны оборудованы голосовыми помощниками, распознающими и выполняющими команды пользователя. За последние годы разработчикам удалось довести уровень точности распознавания речи алгоритмами до уровня специалистов по набору текста, а также научить помощники поддерживать диалог, запоминая контекст предыдущих команд. Тем не менее, исследования показывают, что большинство людей не используют голосовые помощники в общественных местах, поскольку при этом они чувствуют себя некомфортно.

  

Юаньчунь Ши (Yuanchun Shi) и его коллеги из Университета Цинхуа разработали голосовой помощник для смартфонов, умеющий распознавать речь по движениям губ, даже если пользователь не издает звуков.

 

Во время работы приложение определяет лицо в кадре с камеры смартфона и после этого начинает отслеживать положение 20 контрольных точек, которые достаточно точно описывают форму губ. Кроме того, он определяет степень открытости рта, что позволяет отслеживать моменты начала и конца команды. После этого данные передаются на другой алгоритм на основе сверхточной нейросети, который занимается непосредственно распознаванием речи по движениям губ. Стоит отметить, что пока разработчики реализовали распознавание не на самом смартфоне, а на дополнительном и достаточно мощном компьютере.

 

Комментарии к новости
Добавить комментарий
Добавить свой комментарий:
Ваше Имя:
Ваш E-Mail:
Это код:
Кликните на изображение чтобы обновить код, если он неразборчив
Введите сюда:

Опрос
Часто вы здесь бываете?

Статистика
ТОП Комментарии
Света пишет:
Никогда не задумалась, благодаря чему светятся дорожные знаки ночью. Теперь буду знать!
Татьяна Ангиш
Интересная статья. Я бы тоже хотела попробовать, поможет ли кофе с углями при боли желудка.
Мия пишет:
В принципе меня удивили все факты, очень много интересного и необычного. Но больше всего меня поразил тот факт, что
Мия пишет:
Так жалко птиц. Ядаже не могу представить себе такого что птицы могут разучиться петь. Это как вообще?!