Connect with us

Что вы хотите найти?

Hi-Tech

ּּּИИ поможет Meta добиться реалистичного звука в виртуальных мирах


Компания Meta* рассказала о работе над технологиями реалистичного звука для виртуальных миров — проект реализуется при содействии учёных Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.


Источник изображения: Rodger Shija / pixabay.com

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta* AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей — важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещённые в нём объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR — это «модель визуально-акустического согласования», которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребёнка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нём предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Advertisement. Scroll to continue reading.
Перейти

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации — множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice — она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные. Как пояснили в Meta*, для этого искусственному интеллекту необходимы визуальные подсказки — он должен «видеть», кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.



Оригинал

Click to comment

Leave a Reply

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Advertisement Перейти

Популярное

Рекомендуемое:

Hi-Tech

На этой неделе законодательная инициатива, позволяющая производителям полупроводниковой продукции на территории США рассчитывать на государственную поддержку при строительстве новых предприятий (CHIPS Act), прошла важную...

Видеоигры

Грандиозная экранизация «Мастера и Маргариты» может не выйти. О тяжелой судьбе своего фильма «Воланд» рассказал режиссер Михаил Локшин, который дал интервью западному изданию The...

Hi-Tech

Корпорация Microsoft выпустила обновление для Xbox Series S, которое освободило сотни дополнительных мегабайт памяти для разработчиков игр. Потенциально это может повысить качество графики или...

Hi-Tech

Как и было обещано, в ходе текущей недели издательство 2K и разработчики из студии Visual Concepts поделились подробностями и новыми кадрами игрового процесса своего...

Copyright © 2022 Все права защищены. Все вопросы и предложения писать на support@informed.top

https://www.vudols.com/
-

eskisehir escort

- mersin escort -

personel sağlık

- adana escort - Roblox Vega X