В сложных условиях люди могут понимать значение речи лучше, чем ИИ, потому что мы используем не только наши уши, но и наши глаза.
Например, мы видим, как чьим -то рот движется и может интуитивно знать, что звук, который мы слышим, должен исходить от этого человека.
Meta AI работает над новой системой диалога ИИ, которая состоит в том, чтобы научить ИИ также научиться распознавать тонкие корреляции между тем, что он видит и слышит в разговоре.
VisualVoice учится аналогично тому, как люди учатся освоить новые навыки, позволяя разлучить аудиовизуальные речи, изучая визуальные и слуховые сигналы от немеченых видео.
Для машин это создает лучшее восприятие, в то время как человеческое восприятие улучшается.
Представьте себе, что вы можете участвовать в групповых собраниях в метаверсе с коллегами со всего мира, присоединяясь к более мелким групповым собраниям, когда они проходят через виртуальное пространство, в течение которых звуковые реверберации и тембры на сцене делают соответствующую корректировку окружающей среды.
То есть он может одновременно получить аудио, видео и текстовую информацию, и имеет более богатую модель экологического понимания, позволяя пользователям иметь звуковой опыт «очень вау».
Время публикации: 20-2022 июля
