Нейросеть научилась распознать музыкальные инструменты

Программа может распознавать, какая часть звуковой дорожки относится к каждому из них.
Искусственный интеллект научился распознавать на видео отдельные музыкальные инструменты и изменять звуковую дорожку так, чтобы звучал только один из них. Пользователь может кликнуть на нужный инструмент и из всего ансамбля услышать только его. Препринт статьи с описанием разработки доступен на сайте arXiv.org.
Об этом пишет samarauber.ru со ссылкой на ИНДИКАТОР.
Ученые из Массачусетского технологического института научили искусственную нейросеть находить звучание отдельных музыкальных инструментов в видеозаписях, на которых звучит несколько инструментов. Кроме того, программа может распознавать, какая часть звуковой дорожки относится к каждому из них. Разработка получила название «PixelPlayer» — подразумевается, что алгоритм распознает как «звучит» каждый пиксель видео.
Для того, чтобы обучить искусственный интеллект, ученые «показали» программе более 60 часов видео, на которых несколько людей играли на различных музыкальных инструментах. Сначала ученые вручную помечали, какие пиксели и какая часть звуковой дорожки относятся к каждому инструменту, а затем алгоритм научился делать это сам. В результате программа может распознавать около 20 самых популярных инструментов.
Для пользователя интерфейс алгоритма выглядит следующим образом: во время просмотра видео с музыкальным ансамблем можно нажать на любую точку изображения и звуковая дорожка изменится соответствующим образом. Например, если на видео два человека играют на скрипке и гитаре, и пользователь нажимает на скрипку, все остальные звуки станут тише, а мелодия скрипки — громче. Можно нажимать не только на инструменты, а вообще на любой пиксель видео. Если нажать, например, на стену, то никакого звука не будет.
Читайте также: Нейросеть научили проходить психологические тесты
Описание проекта можно почитать на сайте авторов. Там же выложены демонстрационные видео, на которых можно опробовать действие программы. По словам разработчиков, исходный код алгоритма тоже вскоре появится на странице.

Источник

Читайте также

• Geforce Rtx 5090 не снята с производства, но видеокарту трудно найти в продаже
• Зеленский оценил запас боеприпасов для F-16 и сообщил о новых контрактах
• Oneplus nord 6: мощное железо и высокая автономность для активного использования
• Пелагея рассказала об аресте имущества Ивана Телегина на 71 млн рублей
• Марта Адамчук прокомментировала уход коллег из «Квартала 95»: «Это был вопрос времени»