iPhone X TrueDepth Камера

Одной из самых интригующих особенностей нового флагманского смартфона iPhone X от компании Apple стала функция Face ID – технология распознавания лица, которая пришла на смену сенсору отпечатка пальца и технологии Touch ID. Это стало возможным благодаря системе фронтальных камер под названием TrueDepth. Эта система также обеспечивает работоспособность  функции Animoji и других эффектов, требующих 3D-модели лица и головы пользователя. Давайте попробуем разобраться, как же работает камера TrueDepth и ее сенсоры.

Компоненты камеры и системы сенсоров TrueDepth

В основе TrueDepth традиционная 7-мегапиксельная фронтальная камера. В эту систему входит также инфракрасный проектор, который проецирует свыше 300 тысяч точек на лицо пользователя по определенной схеме. Эти точки считываются специальной инфракрасной камерой. Также к системе относится датчик приближения, который определяет, достаточно ли близко расположено лицо пользователя для активации функции.

 

Кроме этого,  разработчики использовали инфракрасный излучатель (система подсветки). Прямо не сказано, для каких целей он предназначен, но можно догадаться, что он направляет пучок инфракрасного света для создания глубинной карты лица в условиях плохого освещения. Также это помогает распознавать особенности рельефа лица, что может оказаться полезным для того чтобы убедиться, что систему не пытаются обмануть маской.

Оценка глубин как у Kinect

И хотя оценка глубины с использованием двух и более стандартных камер с каждым днем становится только лучше (и как показывает практика телефонов с двойными камерами, в том числе и последних моделей iPhone Plus, эта функция способна создавать прекрасные эффекты), но по-прежнему она далека от совершенства. В частности, когда эти системы задействованы в распознавании лица, их часто критикуют за то, что они могут быть легко обмануты. К примеру, не так давно  одному пользователю удалось обойти систему распознавания лица нового Samsung Galaxy Note 8, просто показав изображение своего лица на другом устройстве Note 8.

Поскольку разработчики Apple возложили на Face ID ответственность за разблокировку iPhone X  и активацию системы оплаты Apple Pay, система просто обязана быть более надежной. Компания создала более тщательно продуманную систему, которая использует структурированный свет. Оценка глубин работает благодаря инфракрасному проектору, который проецирует на лицо около 300 тысяч точек, расположенных по специальной схеме. Эти точки не видны для пользователя, но не для инфракрасной камеры, которая считывает деформированную схему отраженных поверхностей с разной глубиной.

Это очень напоминает систему, использованную в оригинальной версии Kinect от Microsoft. В свое время эту систему очень хвалили за ее точность. Для реализации своей задумки компании Apple понадобилась бы технология PrimeSense, которая усовершенствовала структурированный свет для Kinect в 2013 году. Этот тип системы отлично функционирует, но для его работы требуются большие мощные проекторы и сенсоры. А это больше подходило для всегда включенных Kinect или ноутбуков, но никак не для iPhone с очень ограниченным пространством для сенсоров.

Face ID vs. RealSense от Intel vs. Windows Hello от Microsoft

По всей видимости, разработчики Apple внедрили в свою новинку технологии, которые Intel  уже давно обещает задействовать в камерах RealSense, способных оценивать глубины. Компания Intel демонстрировала эти камеры, встроенные в прототипы мобильных телефонов, однако на рынке такие системы по-прежнему остаются слишком большими и требуют больших затрат энергии, а поэтому не могут быть внедрены в телефоны. И хотя RealSense также обладает ИК-проектором, но использует его для изображения всей сцены, а затем, в расчетах глубины полагается на пространственные диспропорции, улавливаемые двумя ИК-камерами. В результате мы имеем модуль для ноутбука, достаточно точный для обеспечения распознавания лица и распознавания жестов в функции Windows Hello.

TrueDepth камера от Apple наверняка еще больше подтолкнет Intel к созданию модели камер RealSense, подходящей именно для телефонов. И недавнее приобретение компании Movidius определенно будет широко этому способствовать. Разработки Movidius  уже используются такими компаниями, как Google, для внедрения в мобильные телефоны технологий машинного обучения и искусственного интеллекта. Поэтому такие процессоры со временем определенно могут стать заменой процессорам модулей RealSense.

За пределами камеры: Выражение лица и Другие особенности

Оценка глубины определенных частей пространства — это только малая толика того, что потребовалось для надежного обеспечения распознавания лица и функции Animoji. Например, для обхода системы, основанной только на распознавании формы лица, можно использовать маску. Поэтому разработчики использовали вычислительные возможности для распознавания 50 разных выражений лица, которые подделать уже гораздо сложнее. Это же и послужило основой для создания Animoji фигур, имитирующих мимику лица пользователя.

Насколько надежен Face ID?

На ранней стадии системы распознавания лица заслужили плохую репутацию, поскольку их легко можно было обмануть при помощи обычной фотографии. Даже системы второго поколения, в которых было внедрено обнаружение движений, можно было обойти, используя видео. Современные версии вроде Windows Hello пошли дальше: они создают и распознают 3D-модель лица пользователя. Также существуют технологии определения оттенка и структуры кожи, чтобы убедиться, что система распознает нечто похожее на кожу. Однако, как продемонстрировал один исследователь, даже 3D-модель Windows Hello можно обмануть путем создания гипсового муляжа, который ведет себя похожим на кожу образом.

Учитывая огромное стремление Apple использовать технологию Face ID для совершения денежных платежей, наверняка разработчики не ограничились только 3D-моделями и 2D-движениями. По всей видимости, система основывается еще и на способности телефона распознавать моментальные движения лица и, используя систему машинного обучения чипа A11 Bionic, и добавляя еще один уровень безопасности. Это станет принципиально важным при распознавании вашего лица, если вы измените прическу, отрастите бороду, наденете очки или головной убор. По утверждениям создателей, Face ID справится и с этим.

Примечание: Те, кто смотрели недавнюю презентацию Apple, конечно же, заметили, что Face ID не сработал с первого раза. Оказалось, что это была не проблема с Face ID, а мера безопасности. Телефон до презентации использовался персоналом, который, по всей видимости, также хотел испытать Face ID. После множества несовпадений телефон просто заблокировался и потребовал ввод пароля.

В целом, как заявляет компания Apple, технология Face ID настолько точная, что только один человек из миллиона будет иметь настолько же похожее лицо, чтоб обмануть систему. Для сравнения, TouchID имел вероятность погрешности 1 к 50000. Так что надежность выросла в 20 раз. Многие беспокоятся, что злоумышленники или правоохранительные органы могут заставить пользователя посмотреть на телефон для разблокировки. Но на самом деле, с такими же проблемами запросто могла бы столкнуться и система, основанная на сканировании отпечатка пальца. Хотелось бы увидеть Face ID на последующих моделях iPhones и других устройствах для бытовой автоматизации, но только при условии, что функция работает на высшем уровне.