Нейросеть подобрала звуки для беззвучного видео
В большинстве случаев камеры снимают видео сразу со звуком из внутреннего или внешнего микрофона. Но есть случаи или даже отдельные виды съемок, в которых видео лишено звука. Например, это касается дронов: они, как правило, вообще лишены микрофона, а в случае, если он все же есть, звук с него в основном будет содержать шум моторов и винтов.
Из-за этого монтажерам, которые хотят не просто наложить музыку, а передать реальные звуки сцены, приходится тщательно подбирать похожие звуки из библиотеки.
Разработчики создали алгоритм, который делает эту работу за человека.
Сначала алгоритм обнаруживает в кадре источники звука. Затем нейросеть CLIP классифицирует объекты в ней, используя в качестве классов базу эффектов Epidemic Sound. В итоге для каждой сцены приводится по пять самых вероятных эффектов для объектов и окружения. По умолчанию система выбирает по одному из них, но пользователь может включить дополнительные.
#результаты_работы #интересное
В большинстве случаев камеры снимают видео сразу со звуком из внутреннего или внешнего микрофона. Но есть случаи или даже отдельные виды съемок, в которых видео лишено звука. Например, это касается дронов: они, как правило, вообще лишены микрофона, а в случае, если он все же есть, звук с него в основном будет содержать шум моторов и винтов.
Из-за этого монтажерам, которые хотят не просто наложить музыку, а передать реальные звуки сцены, приходится тщательно подбирать похожие звуки из библиотеки.
Разработчики создали алгоритм, который делает эту работу за человека.
Сначала алгоритм обнаруживает в кадре источники звука. Затем нейросеть CLIP классифицирует объекты в ней, используя в качестве классов базу эффектов Epidemic Sound. В итоге для каждой сцены приводится по пять самых вероятных эффектов для объектов и окружения. По умолчанию система выбирает по одному из них, но пользователь может включить дополнительные.
#результаты_работы #интересное