Голосовой помощник читающий по губам
Главная » Интересная Техника » Голосовой помощник понимающий без голоса


Голосовой помощник понимающий без голоса

Опубликовал Администратор
22-08-2020, 08:52
633
0

Практически все современные смартфоны оборудованы голосовыми помощниками, распознающими и выполняющими команды пользователя. За последние годы разработчикам удалось довести уровень точности распознавания речи алгоритмами до уровня специалистов по набору текста, а также научить помощники поддерживать диалог, запоминая контекст предыдущих команд. Тем не менее, исследования показывают, что большинство людей не используют голосовые помощники в общественных местах, поскольку при этом они чувствуют себя некомфортно.

  

Юаньчунь Ши (Yuanchun Shi) и его коллеги из Университета Цинхуа разработали голосовой помощник для смартфонов, умеющий распознавать речь по движениям губ, даже если пользователь не издает звуков.

 

Во время работы приложение определяет лицо в кадре с камеры смартфона и после этого начинает отслеживать положение 20 контрольных точек, которые достаточно точно описывают форму губ. Кроме того, он определяет степень открытости рта, что позволяет отслеживать моменты начала и конца команды. После этого данные передаются на другой алгоритм на основе сверхточной нейросети, который занимается непосредственно распознаванием речи по движениям губ. Стоит отметить, что пока разработчики реализовали распознавание не на самом смартфоне, а на дополнительном и достаточно мощном компьютере.

 

Комментарии к новости
Добавить комментарий
Добавить свой комментарий:
Ваше Имя:
Ваш E-Mail:
Это код:
Кликните на изображение чтобы обновить код, если он неразборчив
Введите сюда:

Опрос
Часто вы здесь бываете?

Статистика
ТОП Комментарии
Fluneurin пишет:
Hello, the whole thing is going fine here and ofcourse every one is sharing data, that's really excellent, keep up
Добрый день. Напишите свои контакты, почту или другие способы для связи.
Олег пишет:
Добрый день, меня зовут Олег. Нас заинтересовал Ваш сайт. Мы хотели бы с вами поработать на взаимовыгодных условиях. К
Кринж это стыд. Тут только правда. А стыдится стоит тем, кто такие законы применял и не отменил. Судя по написанному,