Искусственный интеллект научился распознавать музыкальные инструменты на видео

Американские ученые разработали музыкальную программу на основе искусственного интеллекта. Новинка под названием PixelPlayer без труда находит музыкальный инструмент на видео и позволяет редактировать его звучание. Презентация проекта прошла на конференции по компьютерному зрению European Conference on Computer Vision. Об этом сообщает «Экономика сегодня».

Архитекторы нейросети уверены, что их детище станет удобным инструментом для редактирования аудио, а также в случаях, когда необходимо улучшить или восстановить старые записи концертов. Кроме того, новинкой заинтересовались IT-гиганты, которые хотят использовать наработки для создания роботов, способных различать источники звуков.  

Авторам проекта удалось совместить три важнейших компонента — графический, акустический и синтезирующий. Каждый из них требует от музыкального редактора уйму времени, однако программа сама научилась анализировать изображение и аудиодорожки, а затем сопоставлять определенные области на кадрах со звуками, которые «выдает» тот или иной инструмент. Чтобы создать такой алгоритм, пришлось задействовать больше 700 записей общей длительностью около 60 часов. 

Ранее Пятый канал рассказывал, зачем Google научил нейросеть предсказывать дату смерти.