Каким способом функционирует идентификация лицевых образов в мобильных устройствах

Почему мы предпочитаем разблокирование по фейсу

В последние времена определение лиц является одной из наиболее востребованных возможностей для деблокировки мобильных телефонов. Всего несколько годов тому назад большинство пользователей довольствовались PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением подобных технологий, например admiral x, нам вполне просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь превращает эту функцию очень нужной? Для начала, это удобно: не нужно помнить замысловатые пароли или отыскивать верный палец в темноте. Кроме того, это мгновенно: современные системы распознают лицо фактически за доли секунды. В-третьих, это чувство футуризма — будто в кинофильмах про адмирал x разведчиков.

Тем не менее за этой на первый взгляд несложностью скрывается полный мир комплексных техник и инженерных концепций. Попробуем понять, как именно действует идентификация по лицу в актуальных гаджетах, какие существуют методы, насколько они надёжны и что нас ожидает в будущем.

Короткая история развития техники

Распознавание лиц как технология существует уже более пятидесяти годов. Первые эксперименты машинного анализа лица были сделаны еще в 1960-х годах в лабораториях США. Тогда компьютеры умели лишь выделять силуэты черепа и вычислять промежутки между очами и устами на черно-белых изображениях.

Изначальные торговые системы стали доступны в 1990-х годах, но они были неидеальны: функционировали медленно и часто ошибались. Только с эволюцией искусственных сетей и таких систем, как адмирал х, сильных мобильных микросхем определение лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным сканированием лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали внедрять личные разработки.

Основные стадии функционирования системы определения

Процесс идентификации лица можно условно разделить на несколько основных этапов:

1. Распознавание лица — аппарат определяет наличие гуманного образа в снимке.
2. Определение особенностей — система изучает черты лица: очертания зрительных органов, носа, уст, расположение надбровных дуг.
3. Построение шаблона — создаётся особенный электронный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со стандартом — полученный образец сопоставляется со зафиксированной при внесении биометрической данными владельца.
5. Принятие определения — если совпадение достаточно значительное, смартфон открывается.

Каждый из указанных этапов запрашивает индивидуальных алгоритмов и оптимизаций для скорой работы непосредственно на девайсе.

Железные компоненты: что находится в их недрах

Обычная фронтальная камера.

Наиболее несложный способ идентификации физиономии задействует лишь фронтальную камеру смартфона. Данный подход реализован во многочисленных бюджетных моделях Android-устройств.

Преимущества:

• Не нуждается в внешних датчиков.
• Шустро работает при качественном свете.

Минусы:

• Просто ввести в заблуждение снимком или видео.
• Плохо работает при плохом освещённости или нестандартных точках зрения.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более продвинутые системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология является основой Face ID от Apple.

Каким образом это действует:

• Точечный проекционный прибор проецирует на физиономию юзера невидимую сетку из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 меток).
• Инфракрасная устройство фиксирует деформацию данной решетки по поверхности физиономии.
• Формируется трёхмерная карта глубины глубинности, которая практически невозможна для подделки обычной снимком или маской.

Преимущества

• Надёжная работа даже в полной темноте.
• Сильная устойчивость к фальсификациям.
• Точность распознавания выше 99%.

Дополнительные сенсорные устройства

В определённых девайсах применяются также дополнительные датчики: ToF (Time-of-Flight), которые фиксируют период распространения света до объекта и обратно; RGB-датчики дальности; специальные оптические лидары для построения более точной 3D-модели лица.

Эти инновации встречаются в основном во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: искуственный интеллект в работе

Современные системы опознания лиц невозможны при отсутствии применения ИИ и машинного обучения. Именно из-за таким технологиям, как адмирал х, устройство может узнавать юзера даже при трансформациях внешности: новая стрижка, растительность на лице, очки или грим не становятся барьером для открытия.

Распознавание физиономии

На стартовом этапе алгоритм обязана быстро распознать образ лица среди целого изображения камеры. Для этой задачи используются последовательные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые “обучены” идентифицировать лица людей среди множества других объектов.

Пример: процесс MTCNN способен обнаруживать лицо даже в случае частичном закрытии (например, шалью или ладонью).

Идентификация важных моментов

После распознавания лица механизм, такая как адмирал х, устанавливает положение главных точек: края глаз, верхушка носа, края губ и так далее. Обычно используется от 68 до 128 ключевых маркеров на лицевой области.

Данное необходимо для нормализации изображения: если человек удерживает смартфон под углом, или повернул голову, программа исправляет изображение до стандартного положения для дальнейшего анализа.

Построение биометрии модели

Далее искусственная сеть строит сжатое числовое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Такой формат очень затруднительно имитировать: он не сохраняет непосредственно изображение пользователя, а лишь исключительные особенности его облика, что делает его идеальным для таких платформ, как admiral-x.

Сравнение и принятие выбора

В случае, когда пользователь хочет открыть мобильник взглядом, механизм осуществляет все указанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный границу (обычно выше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ блокируется.

Адаптация к изменениям внешнего вида

Интересная характеристика современных системы — способность самообучения. Если ты часто открываете мобильное устройство с обновленной укладкой или очками, алгоритм постепенно модернизирует эталонный шаблон вашего внешности для повышения точности работы без снижения уровня безопасности.

Охрана биометрии данных.

Многие клиенты опасаются держать свои биометрические идентификационные данные на мобильном устройстве из-за риска утечки данных или взлома устройства. Определенные организации, например admiral-x, предлагают решения для улучшения безопасности сведений юзеров.

• Локальное сохранение: Основная часть девайсов хранит био-идентификационные шаблоны только внутри защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные никогда не оставляют устройство и недоступны включая изготовителю.

• Шифрование: Все сведения хранятся только в кодированном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Программы сторонних разработчиков не имеют непосредственного доступа к биометрическим; они могут лишь требовать факт верификации личности через системный API.

Следует отметить важную деталь: в случае, если какой-то человек сможет получить физический доступ к вашему телефону (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие производители внедряют меры безопасности от автоматического разблокирования — к примеру, заставляют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют категории определения лиц на изображениях?

В настоящее время можно выделить различить три основных метода к реализации этой функции:

Софтверное двухмерное идентификация

Эксплуатируется только фронтальная видеокамера без дополнительных детекторов глубины. Этот способ используется чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность воплощения; низкая стоимость; быстрая работа при хорошем освещении.
Минусы: несложно обмануть фотографией; неустойчивая функционирование ночью; недостаточная безопасность.

Техническое объёмное сканирование

Применяет ИК камеру + проекционный модуль точек + сенсоры дистанции (Face ID у Apple; подобные технологии у Huawei Mate).
Плюсы: значительная надежность; нельзя подделать фото/видео; стабильная функционирование при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Комбинированные методы с дополнением ИИ

Задействуют комбинацию программируемых методов + аппаратную обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие товары, как адмирал х и Google Pixel Face Unlock новейших поколений, сочетают фронталку c инфракрасным сенсором мобильности Soli Radar для предотвращения от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Примеры применения разных методов

• iPhone серии X/11/12/13/14 задействуют только физическое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition в первый раз предложил эквивалент Face ID среди Android.
• Samsung Galaxy S10 версия/S20 поддерживают как программное обеспечение плоское определение по снимку селфи-камерой, так и датчик ириса глаза.
• Huawei Mate20 Pro применяет систему из ИК-освещения + Dot Projector + ToF-сенсор

Вопросы охраны и ложные сигналы

Несмотря на впечатляющий развитие инноваций за прошедшие лет, совершенных систем пока не наблюдается:

1. Шанс подвоха: Недорогие мобильники легко “разблокируются” четкой фотографией хозяина либо роликом с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые идеальные механизмы могут спутать между монозиготными близнецами либо родственниками с очень похожей внешностью.
3. Изменения облика: Внезапное снижение веса/увеличение массы тела, пластические операции или травмы иногда необходимы для перерегистрации биометрии.
4. Условия фотографирования: Интенсивная подсветка солнцем или же глубокая темнота могут понизить точность идентификации признаков.

Здесь некоторые рекомендаций по надёжному использованию:

• Для значимых операций всегда применяйте двухфакторную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
• Систематически обновляйте прошивку ПО телефона для предотвращения угроз от современных угроз;
• Включайте настройку “Требовать раскрытых глаз” в тех местах, где она есть.

Где также используется технологии кроме мобильных телефонов?

Хотя основная мысль этой работы посвящена в частности смартфонам и планшетам, стоит упомянуть о других сферах применения технологии:

• Мониторинг прохода в рабочих помещениях и резиденциях;
• Платёжные аппараты банков (“Face Pay”);
• Электронные идентификационные документы современного поколения;
• Системы видеонаблюдения городских служб;
• Автоматизация учёта присутствия школ/институтов;
• Вход юзеров компьютеров/ноутбуков.

Например: В столичном метро уже испытывается система платежа проезда по лицу (“Face Pay”) — хватит пройти через турникет без карты или телефона! Похожие проекты реализуются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким способом изменяется техпроцесс в нынешнее время?

Каждый годик проявляются новые концепции для улучшения качества деятельности систем идентификации лиц:

1. Увеличивается разрешение сенсорных устройств — чем больше информации фиксируется видеокамерой/датчиками глубины, тем меньше шанс погрешности;
2. Улучшаются нейронные сети — передовые архитектуры вида MobileNetV3 позволяют быстро адаптироваться к новым чертам облика пользователя напрямую на гаджете без отправки данных в облако.
3. Совершенствуются способы антиспуфинга — теперь телефоны способны отличать подлинные анимированные облики от фиксированных фотографий/маскировок по микроскопическим движениям кожи.
4. Синхронизация со смарт-гаджетами — смарт-часы могут самостоятельно закрыть доступ к телефон, если обладатель удалился на значительное расстояние.
5. Появляются смешанные механизмы — например совмещающие голосовую идентификацию + облик + пальцевой отпечаток.

Здесь, которые тренды в особенности востребованы в данный момент:

1) Миниатюризация деталей

Компании намереваются минимизировать величину отверстия (“чёлки”) для датчики на экране за счёт встраивания миниатюрных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на аппарате

Для улучшения конфиденциальности всё больше обработки данных происходит на месте без передачи данных во внешний облачный услугу.

3) Унификация норм

Гугл энергично продвигает норму BiometricPrompt API, для того чтобы аналогичные площадки, например как admiral x, и все Android-программы могли работать с всеми формами биометрии унифицированно.

Что выбрать сегодня?

Когда тебе необходима наивысшая сохранность данных, выбирайте передовые модели с интегрированным ИК-излучателем или ToF-датчиком глубины.

• iPhone всех актуальных моделей
• Huawei Mate/P Series ряда
• Mix Professional
• Vivo X модели
• Оппо Найти Икс серии.

Если средства ограничен – лучше отдавать предпочтение традиционным методам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, задействовать только как второстепенную возможность удобства.

Каким способом повысить удобство использования опции?

Есть несколько лайфхаков для пользователей, кто уже использует разблокировку по лицу:

1. Периодически меняйте свою изображение-шаблон, если кардинально изменяется облик.
2. Не пренебрегайте протирать линзу фронтальной камеры – пятна могут снизить четкость!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам включает камеру когда вы берёте его в руки.
4. В процессе регистрационного процесса пытайтесь держать лицо неподвижно перед камеры не допуская значительного наклона головы.
5. Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвернулись от экрана.

Перспективы эволюции технологии

В скоро наступающие годы можно предполагать возникновения полностью безконтактных способов распознавания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + речь + походка + движения рук!

Также возможно появление современных методов обеспечения конфиденциальности – скажем, динамическое модификация цифрового образца после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Идентификация лиц – единственная из очень интересных техник нашего эпохи! Она предоставляет общение со мобильным устройством проще чем когда-либо прежде, и такие программы, как admiral-x, могут значительно повысить ваш опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как функционирует эта система в деталях, – сумеете более осмысленно выбирать свой очередной устройство!