Нейросеть MTI определяет музыку по движению тела музыканта (видео)

Человек способен слушать музыку не только ушами, но и глазами, наблюдая за стремительными перемещениями пальцев пианистов или плавным скольжением смычка скрипки. Иногда мы интуитивно следим за движениями музыкантов, чтобы различить звуки издаваемые музыкальными инструментами.

Система искусственного интеллекта, созданная в лаборатории Массачусетского технологического института, позволяет вычленить музыку издаваемую инструментом, основываясь на телодвижениях исполнителя. Обученный на сопоставлении движений человека и музыкальным темпом отдельных партий, искусственный интеллект помогает слушателю выделить одну флейту или скрипку из нескольких аналогичных инструментов, играющих в оркестре.

По мнению разработчиков, специально обученная нейросеть может быть использована при микшировании звука, для повышения громкости конкретного музыкального инструмента. Использование данной технологии в будущем станет доступно при приведении видеоконференции. Пользователь сможет выделить разговор с конкретным собеседником и снизить посторонние шумы.


Базой для новой системы стала технология, используемая в уже существующей функции, когда при прослушивании концерта можно было увеличивать громкость конкретных инструментов. В новой системе предусмотрено проведение анализа движений музыканта, изучение положения его тела. Обучение искусственного интеллекта проходило с использованием синхронизированных аудио- и видеозаписей.

Источник: habr