Дрон-охранник с искусственным интеллектом: как разработчики научили беспилотник следить за порядком в городе
Что такое «Контур»
Беспилотная авиационная система «Контур», разработанная в рамках программы «Приоритет-2030», – это комбинация дронов-охранников и стационарных камер наблюдения. В первую очередь она должна уметь фиксировать и правильно оценивать происходящее на подконтрольной территории. Для этого разработчики предусмотрели в текущей конфигурации возможность работы с видеопотоком 30 камер, транслирующих изображение в режиме реального времени.
«Такое количество нейросетей связано с тем, что искусственному интеллекту легче обрабатывать информацию о сложных процессах при помощи своеобразного "разделения труда" между специально обученными под конкретную задачу нейросетями. С некоторыми задачами одна нейросеть не справляется, и тогда она берет информацию от другой, обрабатывает и передает третьей – и так далее. Такой принцип работы называется конвейером нейросетей, или "трубопроводом" (англ. pipeline)», – отмечает разработчик Пётр Ухов.
Как беспилотник учили отличать драки от танцев
На «Контуре» по такому принципу действует детектор драк: дрону-охраннику очень важно уметь отличать такого рода действия. В то время как одна нейросеть фиксирует, как двигаются фигуры людей, вторая выполняет задачу классификации, то есть определяет тип движения и делает вывод, является ли оно дракой или нет.
«Приступив к обучению нейросетей, мы столкнулись с проблемой: существующие в открытом доступе датасеты драк представляют собой в основном боксерские турниры. Поэтому возникла необходимость устраивать постановочные бои. Вид с воздуха мы снимали на аэродроме в Алферьево, а вид со стационарных камер – на территории института. Пришлось даже специально предупреждать охрану на КПП, что мы будем снимать постановочную драку», – вспоминает эксперт.
Интересно, что для того, чтобы искусственный интеллект не путал драку с другими, внешне похожими на нее действиями, команде разработчиков пришлось отдельно снимать и более миролюбивые занятия, например объятия и танцы.
Беспилотный охранник на службе
Помимо определения драк, искусственный интеллект приходилось учить и многим другим необходимым для охранника навыкам. Так, например, «Контур» научился определять оставленные вещи, вроде сумок или коробок. Если система обнаруживала в кадре вещь, но не видела рядом с ней человека, она автоматически классифицировала ее как оставленную.
«Очень интересное решение у нас получилось по детекции задымления от пожара. В открытом доступе есть датасеты с огнем и дымом, но они касаются либо лесной местности, либо сельской застройки. Здесь мы использовали синтетические данные. Мы сняли с высокого этажа здания территорию МАИ, а дальше наложили на этот видеоряд изображение огня и дыма. Диффузионные нейросети позволяют моделировать такие процессы, и полученные данные внешне неотличимы от реального огня и дыма – как для человека, так и для нейросети», — объясняет эксперт.
Для этого было создано ПО — фактически web-портал, - на котором сотрудники охраны смогли отслеживать трансляцию с камер наблюдения и настраивать видеостены. Обычно на видеостене можно выставить обзор не более чем с десяти камер — и здесь «Контур» помог расставить акценты. Если происходило какое-то подозрительное действие, интеллектуальная система передавала изображение камеры, в обзор которой оно попало, на общий план, тем самым привлекая внимание сотрудника охраны.
Материал подготовлен при поддержке Минобрнауки России.