Искусственный интеллект научился распознавать музыку на видео
Нейросеть может узнавать на кадрах музыкальный инструмент и определять его звучание.

13:42, 09 июля 2018
230

Разработчики Массачусетского технологического института обучили нейросеть находить на видео музыкальные инструменты и изменять звуковую дорожку, чтобы один из них звучал громче. Пользователь может кликнуть на изображение инструмента на видео, и искусственный интеллект (ИИ) повысит громкость его звучания.

Для обучения ИИ использовалось 714 видео с соло или дуэтами музыкантов — всего 60 часов записей. Нейросеть училась на 11 категориях инструментов — это аккордеон, акустическая гитара, виолончель, кларнет, эрху (китайская скрипка), флейта, саксофон, труба, туба, скрипка и ксилофон.

Исследователи считают, что данное достижение дает большой простор для редактирования видео не вручную, а с помощью ИИ.

Загрузка...