Алгоритм визуально считывает звук с колебаний предметов
В одном из экспериментов ученые смогли детально восстановить речь с помощью колебаний пакета картофельных чипсов, снятого на расстоянии в 4,5 метра через звуконепроницаемое стекло. В других опытах звуковые сигналы были распознаны на видеозаписях с алюминиевой фольгой, поверхностью стакана воды и даже с листьями комнатного растения!
«Когда звук попадает на объект, он заставляет объект вибрировать», — говорит Эйб Дэвис, аспирант MIT. — Эта вибрация создает очень тонкий визуальный сигнал, который обычно незаметен невооруженным глазом. Люди просто не понимают, что там вообще есть какая-то информация».
Алгоритм пропускает последовательные кадры видео через батарею графических фильтров, которые используются для измерения колебаний в нескольких различных направлениях — горизонтальных, вертикальных, и диагональных — и через несколько разных шкал.
Восстановление аудио из видео требует, чтобы частота кадров в секунду на видео была выше, чем частота звукового сигнала. В некоторых своих экспериментах ученые использовали высокоскоростную камеру, которая снимает от 2000 до 6000 кадров в секунду. Это гораздо быстрее 60 кадров в секунду, на которые способны камеры некоторых смартфонов, но значительно ниже частоты кадров лучших профессиональных высокоскоростных камер, которые могут похвастаться частотой в 100 000 кадров в секунду.
В других экспериментах использовалась обычная цифровая камера, и ученым удалось вывести информацию о высокочастотных колебаниях даже из видео, записанного в стандартной частоте 60 кадров в секунду. Конечно, такая реконструкция звука не была столь же верной, как это было с высокоскоростной камерой, но она, тем не менее, достаточно хороша, чтобы определить, например, пол оратора.
Исследователи надеются, что их технология будет иметь широкое применение в судебной экспертизе.