Каким способом действует распознавание лицевых образов в мобильных устройствах

Зачем мы выбираем разблокирование по лицевому распознаванию

В последние годы распознавание физиономий является одной из наиболее востребованных функций для деблокировки умных телефонов. Всего несколько годов назад основная часть пользователей довольствовались пин-кодами, паролями или датчиками отпечатков пальцев. Но при появлением таких технологий, как admiral x, нам вполне лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Что превращает эту конкретную функцию настолько популярной? Во-первых, это практично: не нужно помнить замысловатые пароли или находить верный палец в темноте. Кроме того, это мгновенно: современные программы распознают лицо практически за мгновения ока. В-третьих, это ощущение футуризма — словно в кинофильмах про адмирал х шпионов.

Тем не менее за такой на первый взгляд несложностью скрывается целый мир сложных техник и инженерных концепций. Попробуем исследовать, как именно работает распознавание лиц в современных мобильных телефонах, какие существуют методы, насколько они защищены и что нас ждёт впереди.

Краткая история эволюции инноваций

Идентификация лиц как технология существует уже более 50 лет. Изначальные попытки автоматического исследования лица были сделаны еще в 1960-х годах в лабораториях США. Тогда вычислительные машины умели лишь обозначать силуэты головы и определять дистанции между глазами и устами на ахроматических фотографиях.

Первые торговые установки стали доступны в 90-х, но они были неидеальны: функционировали медленно и часто ошибались. Только с прогрессом нейронных сетей и таких платформ, как адмирал х, мощных мобильных процессоров распознавание лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным распознаванием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять собственные решения.

Ключевые этапы действия системы идентификации

Процесс распознавания лица можно примерно поделить на несколько важных этапов:

1. Распознавание лица — устройство распознает наличие людского лица в снимке.
2. Извлечение характеристик — механизм исследует особенности физиономии: конфигурацию глаз, носа, уст, расположение надбровных дуг.
3. Построение структуры — создаётся уникальный электронный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со образцом — сформированный шаблон сравнивается со зафиксированной при регистрации биометрической информацией владельца.
5. Принятие определения — если совпадение достаточно значительное, смартфон открывается.

Любой из этих стадий требует индивидуальных алгоритмов и улучшений для оперативной работы непосредственно на девайсе.

Аппаратные компоненты: что находится внутри

Типичная фронтальная камера.

Простейший легкий вариант идентификации облика использует лишь лицевую камеру смартфона смартфона. Такой способ реализован во различных недорогих моделях Android-девайсов.

Достоинства:

• Не нуждается в дополнительных сенсоров.
• Оперативно действует при качественном освещённости.

Слабые стороны:

• Легко одурачить снимком или видео.
• Неправильно работает при слабом освещённости или непривычных точках зрения.

ИК камера и пунктирный проектор

Более усовершенствованные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология является основой Face ID от Apple.

Каким способом это функционирует:

• Точечный проекционный прибор показывает на облик использующего невидимую структуру из тысяч инфракрасных меток (например, Face ID применяет около 30 000 точек).
• Инфракрасная камера записывает искривление этой решетки по плоскости лица.
• Получается трёхмерная глубинная карта глубинности, что почти что неосуществима для фальсификации стандартной фото или маскировкой.

Плюсы

• Надёжная работа даже в полной неосвещённости.
• Большая защита к имитациям.
• Точность идентификации более 99%.

Дополнительные сенсорные устройства

В некоторых аппаратах задействуются также экстра сенсоры: ToF (Time-of-Flight), которые фиксируют время прохождения луча до объекта и обратно; Трехцветные-датчики глубины; специальные световые измерители расстояния для создания более детализированной 3D-модели лица.

Эти технологии используются чаще всего во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искуственный ум на работе

Нынешние системы распознавания лиц невозможны без эксплуатации ИИ и machine learning. Именно вследствие таким разработкам, как адмирал х, устройство может распознавать пользователя даже при метаморфозах облика: новая причёска, растительность на лице, оптика или косметика не становятся препятствием для открытия.

Обнаружение лица

При стартовом этапе программа необходимо быстро распознать лицо среди целого снимка с камеры. Для данной цели используются последовательные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые натренированы находить лиц человека среди множества других объектов.

Пример: процесс MTCNN способен обнаруживать лицо даже с частичном закрытии (например, шарфом или ладонью).

Определение основных точек

После обнаружения лица система, такая как адмирал х, определяет местоположение ключевых точек: кончики глаз, верхушка носа, границы губ и так далее. Часто применяется от 68 до 128 основных меток на лице.

Это необходимо для выравнивания изображения: если юзер находится с телефон под наклоном, или склонил головку, программа исправляет картинку до стандартного положения для последующего изучения.

Формирование биометрического модели

Далее искусственная сеть строит уплотненное математическое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Данный образец очень затруднительно имитировать: он не хранит само фото юзера, а лишь особенные характеристики его вида, что делает его идеальным для таких систем, как admiral-x.

Сравнительный анализ и вынесение заключения

Когда пользователь намеревается открыть смартфон глазами, механизм повторяет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный порог (обычно превышает 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ блокируется.

Приспособление к метаморфозам облика

Увлекательная черта современных систем — возможность самообучения. Если вы регулярно разблокируете телефон с обновленной стрижкой или очками, система постепенно обновляет эталонный образец вашего внешности для улучшения точности функционирования без снижения уровня безопасности.

Безопасность биометрических данных.

Большинство пользователи боятся сохранять свои биометрические данные на телефоне из-за риска утечки информации или взлома устройства. Определенные организации, например admiral-x, предлагают варианты для улучшения безопасности информации клиентов.

• Локальное сохранение: Большинство девайсов записывает биометричные модели лишь в пределах защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не оставляют аппарат и закрыты даже создателю.

• Шифрование: Все информация сохраняются только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних девелоперов не обладают прямого доступа к биометрическим данным; они могут лишь запрашивать подтверждение верификации идентичности через системный API.

Необходимо отметить важную особенность: в случае, если кто-либо сможет получить физический доступ к вашему телефону (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании внедряют меры безопасности от автоматического разблокирования — в частности, заставляют открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают типы идентификации лиц на изображениях?

В настоящее время можно определить выделить 3 основных подхода к выполнению этой задачи:

Программное 2D идентификация

Используется только фронтальная камера без вспомогательных детекторов дистанции. Этот подход используется наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость реализации; минимальная цена; оперативная деятельность при достаточном освещении.
Минусы: легко обмануть снимком; неустойчивая деятельность ночью; недостаточная охрана.

Техническое объёмное сканирование

Использует инфракрасную камеру + проектор пикселей + датчики глубины (Face ID от Apple; аналогичные технологии у Huawei Mate).
Плюсы: высокая достоверность; не получится исказить фото/видео; стабильная функционирование при любом освещении.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Гибридные методы с ИИ-дополнением

Используют комбинацию софтверных методов + техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например адмирал х и Google Pixel Face Unlock последних версий, сочетают фронталку c инфракрасным датчиком движения Soli Radar для защиты от подделок жестами/масками/видеодисплеями чужих устройств.

Образцы эксплуатации разных техник

• iPhone модели X/11/12/13/14 используют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition впервые представил аналог Face ID среди Android.
• Samsung Galaxy S10/S20 обеспечивают как программное обеспечение плоское определение по фото фронталкой, так и датчик глазного ириса.
• Huawei Mate20 Pro задействует набор из ИК-подсветки + Dot Projector + ToF-датчик

Проблемы безопасности и ошибочные срабатывания

Несмотря на замечательный успехи техники за прошедшие лет, идеальных системы пока не имеется:

1. Возможность обмана: Доступные смартфоны просто “разблокируются” высококачественной снимком хозяина или же видеозаписью с экрана другого устройства.
2. Идентичные близняшки: Даже самые безупречные механизмы могут перепутать между монозиготными близнецами либо родичами с очень схожей внешностью.
3. Изменения внешности: Стремительное снижение веса/увеличение массы тела, хирургические вмешательства или травмы иногда необходимы для обновления данных биометрических данных.
4. Условия записи: Сильная освещённость солнечным светом или плотная тень могут снизить верность распознавания признаков.

Здесь некоторые подсказок по защищённому эксплуатации:

• Для важных операций всегда применяйте двухэтапную аутентификацию;
• Не запускайте возможность “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Систематически обновляйте прошивку прошивку смартфона для обеспечения безопасности от современных угроз;
• Включайте настройку “Требовать распахнутых глаз” там, где она есть.

В каких областях ещё используется технология помимо смартфонов?

Хотя тема данной публикации сосредоточена на в частности мобильным устройствам, следует отметить других сферах применения технологии:

• Управление входа в офисах и жилых домах;
• Платёжные аппараты банков (“Face Pay”);
• Цифровые паспорта последнего поколения;
• Комплексы видеоконтроля муниципальных сервисов;
• Автоматизирование регистрации явки учебных заведений/институтов;
• Аутентификация пользователей ПК/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по лицу (“Face Pay”) — хватит пройти через барьер без пластика или телефона! Похожие инициативы развиваются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом меняется технический процесс в наше время?

Всякий год проявляются свежие идеи для повышения уровня деятельности систем идентификации лиц:

1. Увеличивается детализация сенсоров — чем больше элементов фиксируется камерой/глубинными сенсорами, тем меньше вероятность ошибки;
2. Совершенствуются нейросети — передовые конструкции модели MobileNetV3 позволяют оперативно адаптироваться к свежим чертам вида обладателя непосредственно на девайсе без пересылки информации в облачное хранилище.
3. Улучшаются способы антиспуфинга — теперь смартфоны способны распознавать подлинные анимированные облики от неподвижных снимков/масок по незаметным движениям кожи.
4. Синхронизация со интеллектуальными приборами — смарт-часы могут самостоятельно закрыть доступ к мобильный телефон, если пользователь ушёл далеко.
5. Появляются смешанные системы — к примеру совмещающие речевую опознание + физиономию + пальцевой отпечаток.

Здесь, какие тенденции очень популярны в данный момент:

1) Уменьшение деталей

Производители стараются сократить габариты выреза (“чёлки”) для сенсоры на дисплее за счёт внедрения компактных ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на аппарате

Для улучшения личной безопасности всё больше обработки данных происходит на месте без передачи данных во сторонний облачный услугу.

3) Упорядочивание норм

Гугл интенсивно продвигает стандарт BiometricPrompt API, с целью чтобы аналогичные платформы, например как admiral x, и любые Android-приложения могли работать с различными типами биометрии унифицированно.

Что подобрать на сегодня?

Если вам всем необходима наивысшая безопасность информации, выбирайте флагманские модели со встроенным ИК-излучателем или же ToF-датчиком глубины.

• iPhone каждого новейших поколений
• Huawei Companion/P серии
• Xiaomi Pro
• Vivo X модели
• Oppo Обнаружить X линейки.

Если финансы скромен – лучше отдавать предпочтение традиционным методам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в admiral x, использовать только как опциональную опцию удобства.

Как увеличить удобство использования возможности?

Есть некоторые советов для тех, кто уже пользуется функцию распознавания лица:

1. Регулярно обновляйте свою фото-шаблон, если сильно изменяется внешность.
2. Не пренебрегайте чистить линзу фронтальной камеры – загрязнения могут снизить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам активирует камеру когда вы берёте его в руки.
4. В процессе регистрационного процесса старайтесь сохранять голову неподвижно впереди камеры без значительного наклона головы.
5. Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отвели взгляд от дисплея.

Будущее развития инноваций

В предстоящие годы можно предполагать возникновения полностью безконтактных способов распознавания человека сразу по нескольким биометрическим параметрам одновременно: лицо + звучание + манера ходьбы + манипуляции руками!

Также возможно развитие свежих методов обеспечения приватности – к примеру, переменное корректировка электронного образца после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из очень захватывающих инноваций нашего периода! Она делает интеракцию со смартфоном комфортнее чем когда-либо прежде, и такие аппы, как admiral-x, могут значительно оптимизировать ваш опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы осведомлены, как функционирует эта технология в деталях, – будете в состоянии более осмысленно выбирать свой будущий гаджет!