Uber-сюрприз: «человеческий фактор» и аварии беспилотных автомобилей

Один из стандартных способов думать о технологиях – объяснять технологические аварии или поломки через отсылку к «человеческому фактору». Ниже мы покажем, что этот механизм интерпретации аварий проблематичен и даже вреден. Чтобы сделать наши технологии лучше, мы должны от него отказаться.

Начнем с примера, показывающего, как выглядит объяснение аварий через «человеческий фактор» на практике.

Совсем недавно, 16 июня 2021, во время тестирования в Сан-Франциско беспилотный автомобиль Waymo сбил человека, пересекавшего пешеходный переход на электросамокате. Человек получил неизвестные повреждения мягких тканей тела и покинул место происшествия самостоятельно, у беспилотника слегка пострадала табличка с номером. Власти Калифорнии обязывают составлять протоколы всех происшествий с беспилотными автомобилями и делать их публичными.

Из протокола этого столкновения узнаем подробности. Автомобиль Waymo подъехал к перекрестку в беспилотном режиме, чтобы совершить поворот налево, и остановился на красный свет. Когда загорелся зеленый, автомобиль в беспилотном режиме чуть продвинулся на пешеходный переход, подготавливаясь поворачивать налево, но начал пропускать встречный транспорт и других участников движения. Тем временем загорелся желтый свет, а автомобиль Waymo все еще стоял, частично перекрывая перекресток и отказываясь поворачивать налево. В этот момент водитель-испытатель взял управление на себя и начал совершать поворот налево. Через 4 секунды, автомобиль Waymo, находясь в ручном режиме, на скорости 6 миль в час сбил человека на электросамокате, пересекавшего на скорости 7 миль в час пешеходный переход на красный свет как для транспорта, так и для пешеходов.

Это событие идеально для наших целей. С одной стороны, инцидент вряд ли бы освещался публично, если бы в нем не был замешан беспилотный автомобиль на стадии тестирования. С другой – обошлось без серьезных последствий, и в последующем обсуждении превалируют не ажиотаж и эмоции, а трезвые попытки понять, что же произошло. Вряд ли за данной мелкой аварией последует публичное расследование. Но в одном из сообществ на Reddit, посвященном беспилотным автомобилям, возникла небольшая, но интересная дискуссия. Трудно сказать, кем являются пользователи, участвующие в этой дискуссии. Только один из них заявляет о себе, как о бывшем водителе-испытателе. Но это не так важно как то, что дискуссия носит предметный и рациональный характер, никаких перепалок и холиваров. Люди действительно пытаются интерпретировать протокол-описание инцидента.

Был ли водитель нетерпелив в этой ситуации? Нет, утверждает экс-водитель-испытатель Waymo, их обучают выводить автомобиль из беспилотного режима, когда того требует ситуация, как здесь. Был риск застрять на перекрестке и заблокировать его. Но из отчета ясно, что автомобиль не стоял посреди перекрестка, а лишь блокировал часть одного из переходов. Так что водитель мог подождать следующего зеленого сигнала светофора. Но экс-водитель-испытатель не сдается и предлагает не винить водителя в этом инциденте. Да, он принял неверное решение, но их работа связана с очень большим стрессом. Для одного из пользователей информация о том, чему обучают водителей-испытателей Waymo звучит как инсайт. Она позволяет понять, почему во всех отчетах об инцидентах с Waymo, их автомобили находятся в ручном, а не беспилотном режиме.

Пользователи дают несколько объяснений аварии через «человеческий фактор», в которых именно человек, а не технологии виноваты в инциденте. Согласно одной версии, водитель неправильно оценил ситуацию. Он мог остаться на перекрестке на еще один цикл светофора, и ничего страшного не случилось бы. В другой версии выдвигается гипотеза, что сенсоры Waymo заметили электросамокат на тротуаре заранее, а алгоритмы предсказали его возможное поведение (проезд через переход на красный) и, вероятно, поэтому автомобиль не собирался поворачивать, даже когда у него появилась такая возможность. Водитель не понял этой «прозорливости» беспилотника, принял неверное решение и взял управление на себя. В еще одной версии ссылаются на неназванную книгу, написанную физиком, который разрабатывал системы безопасности для атомных реакторов. Основная мысль этой книги в том, что все аварии на атомных станциях случались в результате того, что люди нарушали протоколы безопасности, потому что ошибочно думали, что знают систему лучше.

Один из самых заплюсованных комментариев утверждает: «Это интересно, поскольку это тот случай, когда присутствие страховочного водителя делает его [беспилотный автомобиль] менее безопасным. Это может быть одним из ожидаемых знаков зрелости беспилотных автомобилей – страховочный водитель становится самым большим источником рисков в беспилотном автомобиле».

На периферии дискуссии оказываются замечания о том, что если у Waymo действительно есть видео, доказывающее, что их технологии все делали правильно, а проблема именно в водителе, то почему они их не выложат?

Чтобы настроиться на новый лад в понимании технологических аварий, нам сначала нужно ответить на простой вопрос.

На этот животрепещущий вопрос, конечно, нельзя дать однозначного ответа на все случаи жизни и исследования. Ответы на такой вопрос всегда будут частичны, т.е. пригодны для одних целей, но бесполезны для других. Нас здесь интересует один конкретный ответ, который позволяет хорошо понять, что сегодня происходит вокруг беспилотных автомобилей.

Технология — это социальный эксперимент. Сегодня мы то и дело слышим, что очередная компания выпустила на дороги какого-то города свои так называемые «беспилотные автомобили». Может возникнуть вопрос: если эти достаточно умные машины выпускают на общественные дороги, то почему их нельзя купить? Дело в том, что это еще не готовая технология. А раз это так, то почему эти недостаточно умные машины выпускают на дороги? Дело в том, что такие заезды по городским дорогам общего пользования — это эксперименты. В медиа используют слово «испытания».

Разработчики «беспилотников» ожидаемо описывают эти заезды как технические эксперименты в общественном пространстве. По их словам, тестируются те или иные способности машин к автоматическому вождению в среде более непредсказуемой, чем закрытый полигон или симулятор. Но испытывается не только «техника», но и цифровые и материальные инфраструктуры, взаимодействия с другими участниками дорожного движения, законы, нормативы, регуляторные режимы, общественное мнение и нравы. В конце концов, локально испытывается все общество. Поэтому следует говорить именно о социальных экспериментах, а не о технических испытаниях в социальном контексте.

В свое время историк науки из Лихтенштейна Ханс-Йорг Райнбергер предложил понимать эксперименты как системы организованного производства сюрпризов. В случае технологий такими сюрпризами могут быть как непредвиденные способы использования, так и аварии или нештатные ситуации. Здесь мы подходим к неожиданному следствию из нашего определения технологии.

Определение технологии как социально организованной системы производства аварий, конечно, очень ограниченно и осмысленно только под определенным углом. Но оно охватывает очень тривиальное и вместе с тем редко осознаваемое положение дел. Всякий раз, когда мы говорим о технологиях, мы неявно подразумеваем аварии, поломки, ошибки, сбои. То, что нет непогрешимых технических систем сколь неоспоримо, столь и тривиально.

Но формула «говорим технологии — подразумеваем аварии» указывает также на нормативную сторону техно-сюрпризов. Аварии есть только потому, что технологии — это нечто построенное, то есть форма порядка, набор правил, предписывающих, дозволяющих, запрещающих. Только потому, что есть набор ожиданий того, что должно произойти, есть и сюрпризы. Только потому, что есть набор правил, можно определить некоторые события или действия как ошибки. Только потому, что есть представление о штатной работе, можно определить, что является аварией. Тогда наше определение технологии может стать менее вызывающим.

Получается, ни у разработчиков, ни у пользователей нет опции, при которой у них могут быть технологии, но не будет аварий. Но у них есть и другие варианты для выбора. Какие техно-сюрпризы для них желательны? И какие выводы следует делать из них?

Отношение создателей технологий к авариям двойственно. С одной стороны, сама идея испытания разработки подразумевает, что она подвергается риску. Зачем это делать? Затем, чтобы в малом и контролируемом масштабе сгенерировать ошибки, которые можно затем исправить и сделать технологию более устойчивой и надежной. В этом отношении аварии — ресурс разработки. Технологии учатся на авариях.

С другой стороны, когда техно-сюрпризы оказываются достоянием общественности, они нередко становятся проблемой. Громкие аварии могут не только нанести ущерб репутации и навлечь санкции со стороны регуляторов, но и вообще поставить крест на разработке. Но почему? Не странно ли это, учитывая тривиальность формулы «говорим технологии — подразумеваем аварии»? Тут на первый план выступает то, что необходимая связь между технологиями и авариями редко осознается в публичном пространстве.

Английский исследователь наук и технологий Брайн Уинн объясняет, почему техно-сюрпризы так шокируют непрофессионалов. Он обратил внимание на резкую разницу между профессиональной практикой разработки и эксплуатацией технологий, с одной стороны, и манерой говорить о них в публичном пространстве – с другой. Между собой специалисты, разумеется, знают, что аварии и поломки — это неизбежная и нормальная часть функционирования технологий. В этой связи даже говорят о «нормальных авариях».

Но стандарты общественного восприятия технологий таковы, что на публике они вынуждены лицемерно говорить о полной безопасности сложных систем и о полном контроле над ними. Резонансные аварии не только опровергают эти заведомо невероятные утверждения, но и влекут за собой расследования. Эти расследования обнаруживают, что действительная практика разработки и эксплуатации сложных технических систем сильно расходится с их публичным образом. Это шокирует публику. Наивный техно-оптимизм и хайп вокруг инноваций сменяется разочарованием и негодованием.

Для исследователей наук и технологий аварии также являются и ресурсом, и проблемой. Аварии — важный ресурс социальных исследований технологий по двум причинам. Во-первых, аварии и поломки, ставшие достоянием широкой публики выводят социальные эксперименты технологий из приватной сферы инженеров и технологов на арену публичных дебатов. Во-вторых, аварии дают много ценной информации. Они показывают какие правила и допущения формируют «черные ящики» технологий. Они также выявляют неопределенности, которые можно упустить из виду или просто проигнорировать, когда все работает хорошо. Поэтому они и следующие за ними официальные расследования и публичные разногласия — незаменимый источник информации и методологическая точка входа для исследователей.

С другой стороны, для исследователей, нацеленных на формирование рамок управления (нарождающимися) технологиями, общественное восприятие аварий является проблемой. Глубокий разрыв между практикой технологий и публичным дискурсом ведет к публичной ажитации и негодованию, а не рефлексии по поводу сложных причин поломок и катастроф. Это препятствует формированию социальной политики технологий, в основе которой лежит «социальное обучение» как способ институтов продуктивно осмыслять техно-сюрпризы.

Разрыв между приватным и публичным заставляет людей, ответственных за технологические разработки, скрывать от публики практические любые неполадки, вместо того, чтобы вовлекать ее в обсуждение ошибок. Это не только усугубляет переход от «wow» к «yoke», но и сокращает возможности для социального обучения.

Что следует за громкой аварией? Обычно – расследование, которое стремится объяснить событие и распределить ответственность за него между участниками. В технологических авариях подобие научного объяснения и судебной тяжбы становится очевидным. Они всегда порождают двойной вопрос: в чем причина и кто виноват?

Выше мы видели, что клише «человеческий фактор» — одно из самых частых объяснений в публичном пространстве того, почему произошла авария. В этих с виду простых заключениях человек определяется как «слабое звено» социо-технической системы, как «зона моральной деформации", ведущая к сбою системы. За апелляциями к "человеческому фактору" скрывается либо наивный посыл — "как было бы хорошо, если бы технологии полностью состояли из машин и исключали людей", — либо подспудное избавление от ответственности создателей технологии — "наши технологии не гарантированы от аварий, поскольку ненадежные люди неизбежно являются их частью".

Оно неявно делает сущностное утверждение о природе человека и машины. Человек по определению склонен ошибаться, а машина — по определению нет. Допустим, и что в этом такого? Дело в том, что такое объяснение техно-сюрпризов блокирует анализ технологии как сложной и внутренне противоречивой социо-технической системы. Это препятствует пониманию того, что сюрпризы, преподнесенные технологиями, вызваны системно, институционально, а не индивидуально. Поэтому нужно менять сами системы, институты, а не сваливать все на нерадивых пользователей, пилотов, операторов – «стрелочников», одним словом. Такое изменение предполагает социальное обучение и изменение рамок политики инноваций.

Популярный нарратив, обосновывающий необходимость разработки «беспилотных автомобилей», опирается на характерное объяснение эпидемии аварий в современной системе автомобильности. Главы лидеров гонки беспилотных автомобилей Waymo и Tesla утверждают, что в более чем 90% случаев причиной аварий являются «человеческие ошибки».

Такие апелляции к «человеческому фактору», как главному источнику проблем, намекают, что все, что нужно сделать, - удалить из новых умных машин кожаную прокладку между рулем и сиденьем. Изолируем нарушителей ПДД, поразим их в правах, и проблемы наших транспортных систем будут решены.

Но объяснения этого типа используются создателями «беспилотников» и для оправдания своих аварий. Например, Яндекс склонен квалифицировать происшествия со своими умными машинами как случаи, когда ими управляли инженеры-испытатели. Это делается не только, чтобы вывести из-под критики саму технологию, но и чтобы минимизировать возможные судебные издержки в ситуации.

В 1980–1990-х социально-конструктивистские исследования технологий пришли к новому пониманию технологических аварий. Поломки и аварии стали объяснять не «человеческим фактором», а рассматривать их как вызванные самой технологической системой. Для этого надо было начать понимать технологии как сложные и противоречивые системы правил. Все тот же Брайан Уинн называет технические системы неправилосообразными (unruly), потому что они не просто следуют социально предустановленным правилам, но и являются «множеством практик, которые генерируют новые правила».

Уинн приводит пример одной аварии. В мае 1984 недалеко от Ланкастера в подземном помещении гидротехнических затворов для перекачки воды произошел взрыв метана. Погибло 16 посетителей. В ходе расследования было установлено, что в туннеле образовалась большая пустота, куда просочился и скопился метан из подземных угольных отложений. Затем при включении насосов газ заполнил помещение гидротехнических затворов под давлением воды и по неустановленной причине воспламенился.

Почему это произошло? Отчасти потому, что операторы станции применяли неформальную практику, при которой промывные клапаны все время оставались открытыми. Эта практика противоречит официально установленной процедуре, которая требует держать клапан все время закрытым, а раз в несколько недель проводить полную промывку, чтобы удалить скопившийся ил.

Почему операторы проявили такую «самодеятельность»? В действительности это было реакцией на протесты рыболовов, жаловавшихся на то, что после полной промывки их обычно чистая река мутилась в течении нескольких дней. Поэтому в качестве альтернативы официальной инструкции операторы начали медленно, но непрерывно смывать ил, оставляя клапан открытым.

Почему никто не предупредил их о возможных последствиях такой эксплуатации системы? А потому что они создали для себя новое и неофициальное правило использования системы, о котором не знал никто, кроме них.

Уинн называет это локальной «контекстуализацией» технической системы. В процессе эксплуатации даже изначально непротиворечивая система правил подвергается модификации и фрагментации из-за необходимости реагировать на новые ситуации, обстоятельства, локальные требования. Инженеры, операторы, пользователи не только следуют предустановленным правилам, но и генерируют новые. Как следствие, техническая система становится внутренне противоречивой, что может приводить (хотя и необязательно) к авариям.

Теперь вернемся к беспилотным автомобилям и посмотрим теперь на очень резонансную аварию с участием машины Uber. Вы, возможно, о ней слышали. 18 марта 2018 года Volvo XC90, управляемая программным обеспечением Uber, сбила Элейн Херцберг, переходившую дорогу в неположенном месте. Машина не превышала ограничение скорости в этой зоне. Но инженер-испытатель Рафаэла Васкес, которая могла и обязана была следить за дорогой и вовремя вмешаться, к сожалению, вплоть до последней секунды перед столкновением смотрела телевизионное шоу на своем смартфоне. Все это делает Васкес удобной мишенью для научно-судебного объяснения аварии через «человеческий фактор». Что в итоге и произошло.

Но есть и другие приметы, которые позволяют сделать из этой грустной истории другие выводы. Во-первых, алгоритм Uber сначала распознал Херцберг (переходившую дорогу, толкая перед собой велосипед с пакетами покупок) как неопознанный объект, затем как велосипед и, наконец, как машину. Почему интеллектуальная система пилотирования сразу не дала сигнал о снижении скорости, чтобы в принципе избежать столкновения с чем-либо? Потому что она была обучена так, чтобы не давать большого количества ложноположительных распознаваний. В отличие от нервозного и слишком осторожного Lexus от Google, Volvo от Uber чрезмерно уверена в себе, в ее обучение был заложен — как теперь понятно — слишком высокий порог определения опасных объектов.

Во-вторых, алгоритм за 1,3 секунды все-таки дал машине команду экстренного торможения, но эта функция была отключена в этот день инженерами Uber. Зачем? Чтобы избежать конфликтов управления в нечеловеческом коллективе, осуществляющем пилотирование.

Все это говорит о том, что дело не только в смертельной халатности инженера-испытателя Uber, но и в локальных практических противоречиях, раздирающих беспилотную транспортную систему Uber. Именно на этих актуальных и потенциальных противоречиях нужно сосредоточиться не только исследователям, но и полисимейкерам и самим инноваторам, наивно фантазирующим о безопасном будущем, как о простой замене ненадежных людей надежными машинами.

Автор текста: Андрей Кузнецов

Материал подготовлен совместно с Центром Исследований науки и технологий