Голосовой помощник читающий по губам
Главная » Интересная Техника » Голосовой помощник понимающий без голоса


Голосовой помощник понимающий без голоса

Опубликовал Администратор
22-08-2020, 08:52
724
0

Практически все современные смартфоны оборудованы голосовыми помощниками, распознающими и выполняющими команды пользователя. За последние годы разработчикам удалось довести уровень точности распознавания речи алгоритмами до уровня специалистов по набору текста, а также научить помощники поддерживать диалог, запоминая контекст предыдущих команд. Тем не менее, исследования показывают, что большинство людей не используют голосовые помощники в общественных местах, поскольку при этом они чувствуют себя некомфортно.

  

Юаньчунь Ши (Yuanchun Shi) и его коллеги из Университета Цинхуа разработали голосовой помощник для смартфонов, умеющий распознавать речь по движениям губ, даже если пользователь не издает звуков.

 

Во время работы приложение определяет лицо в кадре с камеры смартфона и после этого начинает отслеживать положение 20 контрольных точек, которые достаточно точно описывают форму губ. Кроме того, он определяет степень открытости рта, что позволяет отслеживать моменты начала и конца команды. После этого данные передаются на другой алгоритм на основе сверхточной нейросети, который занимается непосредственно распознаванием речи по движениям губ. Стоит отметить, что пока разработчики реализовали распознавание не на самом смартфоне, а на дополнительном и достаточно мощном компьютере.

 

Комментарии к новости
Добавить комментарий
Добавить свой комментарий:
Ваше Имя:
Ваш E-Mail:
Это код:
Кликните на изображение чтобы обновить код, если он неразборчив
Введите сюда:

Опрос
Часто вы здесь бываете?

Статистика
ТОП Комментарии
Brenna Helbig пишет:
Hello Team, I'm not your typical Business Development Manager here at Estura Software Company, and I've got something
Nicholetuh пишет:
I absolutely love your site.. Very nice colors & theme. Did you create this amazing site yourself? Please reply
Анастасия пишет:
Я убеждённая сладкоежка, поэтому для меня статья весьма актуальна. Худею по системе венеры шариповой и хотелось бы
Fluneurin пишет:
Hello, the whole thing is going fine here and ofcourse every one is sharing data, that's really excellent, keep up