Исследователи из Медиа-лаборатории Массачусетского технологического института (MIT’s Media Lab) предложили совершенно иной подход: они превратили дисплей в гигантскую камеру без объектива, которая позволяет манипулировать изображениями на экране простыми движениями рук в воздухе.
Некоторые из интерфейсов восприятия движений рук уже прошли стадию коммерциализации, но по словам кандидата наук Мэтью Хирша (Matthew Hirsch) из Media Lab, обычно они используют несколько дорогостоящих камер или специальные метки для отслеживания их перемещения в пространстве.
В экспериментальных системах наподобие Project Natal от Microsoft применяются камеры, фиксирующие движения пользователя. Их смещение от центра экрана означает некорректную работу на коротком расстоянии, а функциональность несравнима с точностью взаимодействия с сенсорными панелями. Характеристики могут быть повышены размещением камер на некотором отдалении за экраном, как поступили инженеры софтверного гиганта в случае SecondLight, но такая техника увеличивает габариты устройства и требует недешёвого аппаратного обеспечения для поочерёдного изменения состояния дисплея с прозрачного на непроницаемый. Цель же исследователей из Media Lab – технология распознавания движений, встроенная в тонкий жидкокристаллический экран без дополнительных перчаток или чего-то подобного.
Разработанная в лаборатории система использует массивы жидких кристаллов и оптических сенсоров позади них. Кристаллы выступают в некотором смысле как объективы, отображая чёрно-белую маску, пропускающую к сенсорам свет. Она появляется и исчезает настолько быстро вне зависимости от выводимого на экран изображения, что пользователь попросту не замечает этого. Простейший способ понять принцип работы системы по словам Дугласа Ленмена (Douglas Lanman) – это представить, что вместо ЖК-экрана перед сенсорами расположена матрица миниатюрных отверстий. Свет проходит через каждое и попадает на некоторое количество чувствительных элементов, создавая изображение с низким разрешением. Поскольку в массиве изображений их координаты немного отличаются, это позволяет получить детализированную картину находящегося перед экраном объекта. Матрица отверстий симулируется путём изменения цвета отдельных жидких кристаллов. Например, центральный пиксель блока 19 х 19 – белый, тогда как остальные являются чёрными.
Проблема в том, что отверстия пропускают слишком мало света к сенсорам и необходимо длительное время экспозиции, а это, по понятым причинам, абсолютно непрактично для работы с электронными устройствами – компьютерами, мобильными телефонами или подобной техникой. Поэтому вместо симметричной маски каждый блок размером 19 х 19 пикселей делится на чёрно-белые прямоугольники различных размеров. Количество фигур обоих цветов одинаково, а значит через маску проходит больше света. Но все блоки прилегают друг к другу, и создаваемые ими "проекции" на сенсорах частично перекрываются, смешивая их в "кашу". Проблема решается благодаря маске: система вычисляет на её основе верные характеристики изображений, получая ту же картинку, что и с массивом из отверстий, но гораздо быстрее.
По словам директора Лаборатории графики (Graphics Laboratory) в Институте креативных технологий Университета Южной Калифорнии (University of Southern California's Institute for Creative Technologies) Пола Дебевека (Paul Debevec), чья докторская диссертация помогла в создании визуальных эффектов для фильма "Матрица", среди всех разрабатывающихся интерфейсов он выбрал бы именно этот, поскольку он действительно встроен в экран: "Всем нужен дисплей в любом случае. И эта технология намного лучше, чем простое определение места касания пальцами. Это настоящее восприятие трёхмерного изображения руки перед экраном".
Исследователи уже изучили возможность превращения дисплея в камеру с высоким разрешением. Вместо получения нечётких трёхмерных изображений, особая маска чёрно-белых квадратов захватывает двумерное на заданном фокусном расстоянии. Разрешение будет пропорционально количеству встроенных сенсоров, поэтому оно может быть гораздо большим, чем в обычной веб-камере. Некоторые разработчики технологии идут ещё дальше в обозрении её перспектив: история вычислительных устройств переносила обработку данных с мейнфреймов в настольные системы, а затем и в мобильные. Теперь наступает черёд экранов, где каждый пиксель скрывает "компьютер", изменяя представление о взаимодействии человека и электронных устройств.
