Следим за взглядом: может ли ай-трекинг быть опасен

А теперь представим, что телефон отслеживает не только трек перемещений в пространстве, но и следит за тем, куда направлен взгляд пользователя в определенный момент. Становится не по себе и вспоминается сериал «Черное зеркало»? В Samsung Galaxy IV еще в 2013 попытались воплотить эту фантазию, а сейчас многие компании уже рекламируют приложения с подобным функционалом.

Это и есть развивающаяся технология ай-трекинга или отслеживания направления взгляда. Она относится к более широкой области цифрового анализа поведения (digital behavioral tracking), наряду с отслеживанием покупательских предпочтений, поисковых запросов, посещенных веб-страниц и локаций в реальной жизни. Безусловно, эта технология во многом может изменить наши привычные способы взаимодействия с гаджетами и техникой. Но не будем нагнетать страхов о тотальной слежке и попробуем разобраться с возможностями ай-трекинга.

Вы когда-нибудь задумывались, как движутся наши глаза? Нам кажется, что мы видим всю визуальную сцену целиком. Но некоторые сейчас вспомнят про центральное и периферическое зрение. На самом деле, глаз, как и все органы чувств, состоит из большого количества чувствительных элементов — рецепторов, которые и создают сигналы, передающиеся в нервную систему. Такими рецепторами в глазу являются палочки и колбочки в сетчатке.

Сетчатку можно сопоставить с матрицей фотоаппарата, сформированной из большого количества светочувствительных элементов. Вот только в сетчатке эти элементы имеют разную плотность расположения в разных частях. Если палочки более-менее равномерно расположены по всей поверхности сетчатки, то колбочки в основном сосредоточены в одной небольшой области в центре сетчатки – центральной ямке. Именно эта область обеспечивает нас детальной информацией об объектах внешнего мира – фовеальным зрением (в противоположность периферическому зрению).

Поэтому для того, чтобы рассмотреть какое-то изображение в деталях, наши глаза находятся в постоянном движении, направляя фовеальную область на различные фрагменты изображения. Наш глаз практически никогда не останавливается надолго на одной части изображения, он постоянно сканирует всю визуальную сцену, хотя мы этого и не замечаем. При просмотре фильма на телефоне или чтении книги наши глаза производят большое количество непроизвольных движений: вергенция (сведение глаз для настройки на одну точку), короткие остановки (фиксация взора) на определенной точке и быстрые скачки между точками фиксации (саккады). Например, при чтении одного абзаца этого текста ваши глаза двигаются не плавно, а совершают до 100 таких скачков и фиксаций.

Эта особенность была открыта еще в XIX веке французским врачом Луи Жавалем, исследования которого и дали начало окулографии — методу изучения движений глаз. С тех пор для отслеживания движений глаз использовалось много разных методов: от контактной оценки электрической активности (электроокулография) до покадрового анализа видеосъемки глаза (видеоокулография). Но для того чтобы узнать, на чем зафиксировался взгляд человека, недостаточно зарегистрировать его движения глаз, нужно вместе с ним «видеть» еще и ту панорамную картину, которая находится перед ним. Так что пока можете не опасаться, что камера наблюдения на улице отследила ваш взгляд. Для этого она должна была бы находится у вас на голове, чтобы сопоставить направление взгляда с изображением перед вами.

Но метод окулографии уже давно и активно используют в лабораторных исследованиях в психологии, лингвистике и медицине. Ведь оказалось, что в едва заметных движениях глаз можно увидеть проявление когнитивных функций человека. С помощью анализа движений глаз можно описать поведение человека, незаметное даже для него самого. Вряд ли вы бы смогли сейчас описать все фиксации взгляда при чтении этой статьи. Но что тогда отражают эти движения глаз?

Казалось бы, ответ очевиден — движения глаз зависят в первую очередь от того, что изображено на картине. Одним из первых исследователей-психологов, обративших внимание на движение глаз человека, был русский ученый Альфред Ярбус. Он проводил исследования в 50-60 годы XX века, когда не было ни слова ай-трекинг, ни камер, которые бы позволяли записать быстрые движения взгляда. В этих экспериментах на глаз испытуемого приходилось с помощью присоски прикреплять небольшой кусочек зеркала, при отражении от которого световой луч вслед за глазом выписывал на фотобумаге траекторию движения, в то время как испытуемый, с зафиксированной неподвижно головой, рассматривал различные изображения.

Ярбус первым показал, что направление взора, точки фиксации и траектория зависят не только от самого изображения, но и от той внутренней задачи, которую решает человек, глядя на это изображение. Глаза оказываются окном если не в человеческую душу, то в человеческое мышление уж точно. Так, Ярбус давал испытуемым простые задания — найти, запомнить что-нибудь на картине или выделить какую-нибудь информацию (например, благосостояние семьи на картине Репина).

При этом, в зависимости от индивидуальных особенностей человека (его личного опыта), мотивации и решаемой задачи движения глаз значительно отличались. Даже в случае свободного просмотра картины у разных испытуемых траектории движений глаз и точки фиксации были индивидуальными. Но были и моменты, общие для всех людей — в первую очередь, человек фиксировался на лицах людей на картине или на каких-либо элементах, которые он не ожидал увидеть в этой сцене. Современные исследования до сих пор ссылаются на эту классическую работу Ярбуса и показывают, что с помощью окулографии можно решить обратную задачу — по направлению движений глаз и фиксациям взора выявить, на что обращает внимание испытуемый в первую очередь.

Для этого вычисляют следующие параметры перемещений взгляда:

В результате можно составить траекторию движения глаз по изображению и «тепловую карту» изображения, в которой более теплыми тонами отмечены те области, на которых взгляд фиксировался дольше всего. Эти области будут отображать зоны интереса испытуемого. Но вот почему эти области привлекли внимание, уже отдельный вопрос. Может быть эти фрагменты изображения показались необычными, интересными, привлекательными, а может быть наоборот — они самые трудные для восприятия.

Часто считается, что человек думает (анализирует) то, на что он в данный момент смотрит на изображении. То есть, наблюдая за процессом сканирования изображения глазами, мы можем предположить, о чем человек думает в первую очередь. Можно представить внимание как своего рода фонарик, который выхватывает из изображения какие-то его элементы и фиксируется на них. Это предположение очень хорошо работает для чтения текста: человек обдумывает то слово или фразу, на котором фиксируется взгляд. Если слово или фраза оказались трудными для понимания или особо заинтересовали, взгляд человека будет возвращаться к этому фрагменту несколько раз. Так происходит в случае «синтаксической неоднозначности», когда с первого раза фраза не до конца понятна. Например, возьмем фразу «эксперт хорошо разбирался в фотографиях находок, хранящихся в местном музее» (так находки или фотографии хранились в музее?).

Но всех гораздо больше интересуют изображения, с которыми дело обстоит сложнее. Майкл Познер, который первым предложил концепцию «фонарика» для внимания, первым же и показал, что этот «луч внимания» часто не совпадает с точкой фиксации взгляда или опережает ее на 50-200 мс. Это было названо им «скрытым вниманием», которое до сих пор ускользает от изучения с помощью методики видеоокулографии. Так что если хотите обмануть ай-трекинг — тренируйте свое периферическое зрение и учитесь «смотреть украдкой».

Итак, исследователи, занимающиеся окулографией уже без малого полтора века, с осторожностью относятся к интерпретации движений глаз, но все же связывают их с проявлениями внимания и даже зрительного поиска и мышления. Но во многом применение этой технологии ограничивается ее сложностью, ведь нужно не только зарегистрировать движения глаз, но и сопоставить их с предъявленным изображением, найти точку пересечения оптических осей и плоскости картинки.

Понятно, что самый простой способ — это неподвижно зафиксировать голову испытуемого и предъявить ему статичное изображение на фиксированном расстоянии. Несмотря на то, что в современных работах на глаз уже ничего не приклеивают, а просто освещают его в инфракрасном диапазоне и снимают камерой с большой частотой кадров (50-1000 кадров в секунду), этот метод еще очень далек от научно-фантастических картин с тотальным контролем взгляда. Впрочем, и такой техники достаточно для того, чтобы решить целый ряд прикладных задач — модное слово «ай-трекинг» уже давно проникло в маркетинговые исследования, рекламу, юзабилити-тестирование, дизайн и гейм-индустрию.

Действительно, если речь идет о картинке — это ведь не обязательно фотография: может быть и рекламный буклет, ролик или веб-сайт. Благодаря ай-трекингу наконец можно не верить маркетологам на слово, но и объективно измерить, обращают ли люди внимание на рекламное изображение или текст. Теперь можно узнать не только то, что пользователь читает в интернете, но и то, как он это делает. Например, с помощью оценки движений глаз появился «объективный» способ оценки качества рекламных текстов и изображений.

Оценка движений глаз порой показывает, что дизайн упаковки продуктов или реклама, апеллирующая к определенной целевой аудитории, не достигает своего результата. Такой подход к оценке рекламы получил громкое название «нейромаркетинг» и, похоже, будет все больше входить в нашу жизнь. Уже появляются целые компании, предоставляющие подобные услуги.

Есть, правда, и плохие новости для рекламной индустрии — это феномен «баннерной слепоты», также показанный с помощью ай-трекинга, но интуитивно понятный и без него. Люди не любят рекламу, особенно навязчивую, поэтому при просмотре, например, веб-сайтов склонны игнорировать все, что похоже на рекламные баннеры. Человек в прямом смысле обходит взглядом все те области веб-страницы, которые могут содержать рекламные баннеры.

Авторы исследования пишут, что рекламные материалы «отравляют» и соседние элементы веб-страницы, заставляя читателей избегать и пролистывать их. Это открытие уже имеет прямое значение для веб-дизайна, и можно ожидать, что мы скоро увидим еще и появление «нейродизайнеров». Уже существуют руководства по веб-дизайну с использованием данных ай-трекинга, и многие крупные новостные сайты вроде Fox News активно ими пользуются.

С помощью ай-трекинга вы уже можете узнать, как человек просматривает соцсети, и Facebook (Социальная сеть признана экстремистской и запрещена на территории Российской Федерации) уж точно не преминет этим воспользоваться. Марк Цукерберг, кстати, является одним из больших энтузиастов интеграции ай-трекинга и шлемов виртуальной реальности. Эта область заслуживает особого внимания, поскольку отрыв ай-трекинга от статичных экранов компьютера — это и есть следующий шаг развития технологии.

Лидирующей в технологиях ай-трекинга является шведская компания Tobii, она активно работает в области перемещения отслеживания глаз в оффлайн. Например, помимо ай-трекинг контроллера для управления компьютером, который крепится под монитором, она уже давно выпустила очки с камерами, регистрирующими как направление взгляда, так и окружающее пользователя пространство. С помощью этих очков уже можно регистрировать, как человек читает газету, на какие товары в магазине он обращает внимание или даже насколько внимательно следит за дорогой.

Но основным фокусом компании в настоящий является не реклама (и не тотальный контроль за вашими глазами), а расширение возможностей взаимодействия человека с компьютером. Что может быть удобнее для ай-трекинга, чем экран, расположенный прямо перед вашими глазами? Шлемы виртуальной реальности HTC Vive Pro Eye, The Pico Neo 2 Eye уже используют технологии Tobii для отслеживания взгляда игрока, при этом миниатюрные камеры расположены внутри самого шлема по периметру экрана, что снимает проблему движений головы. Глава Tobii Хенрик Эскиллсон уже рассчитывает сделать ай-трекинг новым стандартом для шлемов виртуальной реальности к 2023 году. Ну а Facebook (Социальная сеть признана экстремистской и запрещена на территории Российской Федерации) довольствуется существующими технологиями и уже использует данные о движениях глаз пользователей Oculus Quest для таргетированной рекламы. Конечно, это не камеры слежения за глазами на улице, а просто еще один маркетинговый анализ. Да и чего еще ожидать, когда сам надел очки для контроля взгляда и согласился на обработку биометрических персональных данных. Но задуматься заставляет. Так что будьте готовы: все движения ваших глаз могут быть использованы против вас.

Даниил Бережной, преподаватель курса «Основы современной нейробиологии» Открытой лаборатории искусственного интеллекта МФТИ, кандидат биологических наук, научный сотрудник Кафедры высшей нервной деятельности Биофака МГУ, научный сотрудник Лаборатории клинической и экспериментальной нейрохимии (ФГБНУ Научный Центр Неврологии).