Умные самолеты: человеко-машинный интерфейс для гражданской авиации
Рождение идеи
В основе работы лежит идея о применении популярных и широко используемых технологий из IT-сферы – методов распознавания изображений и звука. Идея проекта появилась из производственных нужд. Сергей является специалистом отдела систем индикации и сигнализации в филиале ПАО «Корпорация "Иркут" "Центр комплексирования", где занимаются разработкой авионики для отечественного гражданского самолёта МС-21. В ходе разработки очередной версии программного обеспечения указанных систем возникла необходимость протестировать выдачу текстовых сообщений, формируемых системой предупреждения экипажа и выводимых на индикаторах в кабине, на различных фазах полёта самолёта. Учитывая большое количество сообщений (более 600), по оценкам специалистов отдела, ручное тестирование заняло бы для команды тестировщиков из двух человек около месяца.
Кроме того, контур тестирования не ограничивался только этой задачей, а поставленные сроки для выполнения испытаний были сжатыми. Тогда коллектив задумался о разработке средства, которое позволило бы автоматизировать данный процесс.
Вместе с Сергеем в качестве программистов и тестировщиков над проектом работают выпускники и студенты кафедры 703 МАИ: Дмитрий Ильяшенко, Егор Мамкин, Артём Крыцин, Владислав Зуб и Иван Кордонский. В роли научного руководителя проекта выступает заведующий кафедрой Евгений Неретин.
Процесс реализации
По задумке проекта, тестировщик должен задавать значения параметров для формирования текстовых сообщений, после чего они появляются на дисплее в кабине экипажа. Далее установленная напротив дисплея камера фиксирует их появление, делает снимок экрана и передаёт его на вход ПО распознавания текстовой информации. В результате распознавания формируется файл с перечнем распознанных сообщений, который в дальнейшем сравнивается с ожидаемыми результатами. По итогам сравнения делается вывод о прохождении теста.
«Мы провели анализ и выяснили, что достаточно оперативно данную задачу можно решить с помощью нейросетевых технологий. Взяли нейросеть Tesseract OCR от Google, нацеленную именно на задачу распознавания текста, обучили её на те шрифты, которые используются в кабине экипажа МС-21, и протестировали на статических картинках с текстовыми сообщениями. Результат был весьма хорош – точность распознавания текста составила около 97%. Далее мы испытали нашу систему в боевых условиях на стенде, и здесь наша система также подтвердила свою работоспособность. В результате нам удалось сократить время для решения задачи до одной недели, а количество тестировщиков – до одного человека. После успешной реализации распознавания текста мы задумались об автоматизации тестирования произвольной графической информации и звуковых сообщений. Так цели нашего проекта расширились»,– рассказал Сергей.
Отсутствие конкурентов
Большинство бортовых систем не подразумевают человеко-машинного взаимодействия в ходе эксплуатации самолёта. То есть системы выполнены в виде блоков, которым поступает информация на вход, на основе неё они рассчитывают необходимые данные и выдают результаты на выход. На текущий момент тестирование таких систем практически полностью автоматизировано: существует множество решений, позволяющих задавать и считывать параметры, передаваемые по кодовым линиям связи.
Однако не всё так просто с системами человеко-машинного взаимодействия, которые формируют органолептическую информацию для восприятия со стороны пользователя (например, изображение, звук, тактильные сигналы). В силу сложности реализации комплексов для автоматизации тестирования данной информации на рынке подобные решения практически отсутствуют. При этом ручное тестирование изображений и звука занимает больше времени, а также может являться причиной ошибок, вызванных человеческим фактором.
Завершающий этап
Со слов разработчика, основной функционал комплекса успешно реализован и внедрён в деятельность филиала ПАО «Корпорация "Иркут" "Центр комплексирования". Однако работы по его усовершенствованию и расширению функционала будут продолжены. Например, сейчас ведутся работы по увеличению точности распознавания произвольной графической информации.
В дальнейшем Сергей и его команда планируют доработать проект для реализации всех запланированных функций в надлежащем качестве и инициировать процесс квалификации программного средства. Это важный этап для возможности выхода на рынок и массового применения комплекса в промышленности.
«Принципы, лежащие в основе проекта, универсальны, поэтому разработанный комплекс может применяться для тестирования любых технических систем человеко-машинного взаимодействия, – объяснил Сергей. – Адаптация под различные объекты зависит от конкретных проектных решений по выдаче визуальной и звуковой информации, а также от необходимости учёта требований соответствующей нормативной документации».
Помимо основных функций, данное средство может быть использовано для тестирования любых технических объектов, имеющих в составе системы человеко-машинного взаимодействия: самолёты военного и военно-транспортного назначения, вертолёты, космические корабли, автомобили, морские суда и другие.