Каким образом действует распознавание лицевых образов в смартфонах

Почему мы останавливаемся на разлочивание по лицу

В прошлые времена распознавание физиономий превратилось в одной из наиболее востребованных опций для разблокировки мобильных телефонов. Еще несколько годов назад большинство юзеров обходились PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением таких технологий, как вулкан россия, нам вполне просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь делает эту особенность такой востребованной? Прежде всего, это практично: не нужно запоминать трудные пароли или искать правильный палец в тьме. Во-вторых, это быстро: современные алгоритмы узнают лицо фактически за мгновение. В-третьем пункте, это впечатление будущего — словно в кинофильмах про вулкан россия шпионов.

Тем не менее за данной видимой простотой скрывается полный вселенная комплексных методов и инженерных разработок. Попробуем понять, как точно функционирует распознавание лиц в современных смартфонах, какие бывают технологии, насколько они защищены и что нас предстоит.

Краткая повествование прогресса техники

Распознавание лиц как методика присутствует уже более пятидесяти лет. Изначальные пробы автоматизированного исследования лица были сделаны еще в 1960-х годах в научных учреждениях США. Тогда компьютеры способны были лишь обозначать силуэты лица и определять промежутки между очами и устами на черно-белых фотографиях.

Изначальные коммерческие системы возникли в девяностых годах, но они были далеки от совершенства: действовали неспешно и часто ошибались. Только с прогрессом нейронных сетей и таких систем, как вулкан россии, сильных мобильных чипов определение лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным сканированием лица. За этим последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать собственные разработки.

Основные стадии работы устройства распознавания

Процесс идентификации лица можно условно поделить на несколько основных этапов:

1. Распознавание лиц — камера определяет присутствие человеческого лица в изображении.
2. Извлечение признаков — система исследует черты облика: очертания глаз, обонятельного органа, губ, расположение надбровных дуг.
3. Построение модели — создаётся уникальный виртуальный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со эталоном — созданный модель сверяется с зафиксированной при учёте биометрической информацией владельца.
5. Принятие определения — если совпадение достаточно существенное, смартфон деблокируется.

Любой из данных этапов запрашивает специальных процедур и оптимизаций для быстрой работы непосредственно на девайсе.

Аппаратные компоненты: что находится в их недрах

Типичная селфи камера.

Самый несложный вариант распознавания лица применяет исключительно лицевую видеокамеру мобильного устройства. Подобный способ осуществлён во многих доступных вариантах Android-девайсов.

Достоинства:

• Не нуждается в потребляет дополнительных датчиков.
• Быстро действует при качественном освещении.

Отрицательные стороны:

• Несложно ввести в заблуждение снимком или роликом.
• Неудачно функционирует при низком освещённости или непривычных ракурсах.

Инфракрасная фотокамера и точечный проектор

Более продвинутые системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика является основой Face ID от Apple.

Как это работает:

• Точечный проекционный прибор проецирует на облик использующего невидимую решетку из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 точек).
• Инфракрасная устройство записывает искривление данной сетки по поверхности лица.
• Создаётся трехмерная карта глубинности, что практически неподвластна для подделки стандартной фотографией или маскировкой.

Плюсы

• Надёжная деятельность даже в полной темноте.
• Большая сопротивляемость к фальсификациям.
• Точность идентификации свыше 99%.

Дополнительные датчики

В отдельных устройствах используются также экстра сенсоры: ToF (Time-of-Flight), которые фиксируют время распространения луча до предмета и обратно; RGB-датчики дальности; специальные лазерные лидары для создания более точной 3D-модели физиономии.

Эти разработки встречаются наиболее часто во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные алгоритмы: искусственный разум на исполнении

Современные механизмы идентификации лиц невозможны в отсутствие применения artificial intelligence и machine learning. Именно из-за таким разработкам, как вулкан россии, устройство способно узнавать пользователя даже при изменениях внешности: новая укладка, щетина, оптика или косметика не становятся препятствием для разблокировки.

Детектирование лица

В стартовом стадии программа обязана быстро обнаружить ликовое изображение внутри полного кадра камеры. Для этого применяются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые “обучены” находить человеческие лица среди множества других объектов.

Пример: процесс MTCNN в состоянии распознавать облик даже с неполном перекрытии (например, платком или ладонью).

Выделение основных моментов

После распознавания лица система, такая как вулкан россии, устанавливает расположение основных точек: кончики глаз, верхушка носа, контуры губ и так далее. Часто используется от 68 до 128 основных маркеров на лице.

Это требуется для нормализации изображения: если человек находится с мобильник под углом, или склонил головку, программа корректирует картинку до нормального состояния для последующего изучения.

Создание биометрического идентификатора шаблона

Далее искусственная сеть строит сжатое цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 флоатов.

Этот шаблон крайне трудно имитировать: он не хранит непосредственно фото юзера, а лишь исключительные особенности его вида, что делает его оптимальным для таких площадок, как vulkan russia.

Сравнение и принятие выбора

Если юзер намеревается открыть мобильник глазами, механизм осуществляет все описанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный порог (обычно превышает 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ блокируется.

Приспособление к трансформациям внешности

Увлекательная характеристика современных системы — возможность самообучения. Если вы часто открываете мобильное устройство с обновленной прической или оптикой, система постепенно освежает основной образец вашего лица для повышения точности работы без ухудшения безопасности.

Безопасность биометрических данных информации.

Большинство клиенты беспокоятся держать свои биометрические идентификационные данные на телефоне из-за угрозы потери данных или хакерской атаки. Некоторые организации, вроде vulkan russia, предоставляют варианты для повышения защиты информации пользователей.

• Локальное сохранение: Большинство девайсов записывает биометричные шаблоны исключительно внутрь безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают аппарат и не доступны в том числе производителю.

• Шифрование: Все сведения сохраняются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих разработчиков не обладают непосредственного возможности доступа к биометрическим данным; они могут лишь требовать факт верификации идентичности через системный API.

Следует подчеркнуть важную подробность: если какой-то человек сможет получить физический доступ к вашему телефону (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество изготовители внедряют систему защиты от неосознанного разблокирования — в частности, просят разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают виды распознавания лиц?

В настоящее время можно определить 3 ключевых способа к реализации этой операции:

Софтверное 2D распознавание

Эксплуатируется только фронтальная камера без экстра детекторов глубины. Такой способ используется наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: легкость реализации; умеренная стоимость; скоростная деятельность при хорошем освещении.
Минусы: легко ввести в заблуждение фотографией; ненадежная деятельность ночью; недостаточная защищенность.

Аппаратное трёхмерное сканирование

Использует ИК камеру + проекционный модуль пикселей + датчики глубины (Face ID у Apple; аналогичные технологии у Huawei Mate).
Преимущества: значительная надёжность; невозможно обмануть фото/видео; стабильная деятельность при любом освещении.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные способы с ИИ-дополнением

Применяют комбинацию программируемых методов + аппаратную обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например вулкан россии и Google Pixel Face Unlock современных версий, комбинируют фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для защиты от подделок жестами/масками/видеодисплеями посторонних устройств.

Иллюстрации использования различных способов

• iPhone серии X/11/12/13/14 используют только аппаратное трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition первый раз предложил подобие Face ID в ряду Android.
• Samsung Galaxy S10/S20 обеспечивают как софтверное 2D распознавание по фото фронталкой, так и сканер радужки глаза.
• Huawei Mate20 Pro использует комплекс из ИК-подсветки + Dot Projector + ToF-датчик

Трудности защиты и неверные тревоги

Несмотря на впечатляющий успехи техники за прошедшие лет, идеальных систем пока не существует:

1. Вероятность подвоха: Бюджетные телефоны легко доступны высококачественной снимком владельца или же видео с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые идеальные механизмы могут спутать между однояйцевыми близнецами либо родственниками с очень похожей внешностью.
3. Метаморфозы внешности: Резкое утрата веса/набор веса, хирургические вмешательства либо повреждения в некоторых случаях требуют обновления данных биометрических данных.
4. Условия съёмки: Яркая освещённость солнечным светом или плотная затенение могут понизить аккуратность определения признаков.

Вот пара рекомендаций по надёжному эксплуатации:

• Для важных операций всегда внедряйте двухэтапную аутентификацию;
• Не запускайте функцию “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
• Регулярно обновляйте программное обеспечение телефона для предотвращения угроз от современных угроз;
• Включайте настройку “Требовать распахнутых глаз” везде, где она есть.

В каких областях дополнительно используется технологии помимо смартфонов?

Несмотря на то, что предмет данной публикации сосредоточена на конкретно мобильным устройствам, необходимо сказать о других сферах применения технологии:

• Контроль входа в офисах и жилых домах;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Виртуальные идентификационные документы современного образца;
• Комплексы видеонаблюдения городских подразделений;
• Автоматизирование регистрации явки образовательных учреждений/университетов;
• Вход участников ПК/ноутбуков.

Например: В московском метро уже проверяется система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без пластика или телефона! Похожие проекты осуществляются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом изменяется технический процесс сегодня?

Каждый годик проявляются новые идеи для повышения стандарта функционирования систем лицевого распознавания:

1. Увеличивается разрешение датчиков — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность ошибки;
2. Развиваются нейронные сети — современные архитектуры вида MobileNetV3 позволяют быстро осваивать свежим чертам внешности обладателя напрямую на гаджете без пересылки информации в облачное хранилище.
3. Улучшаются методы антиспуфинга — теперь смартфоны умеют отличать реальные живые облики от статичных фотографий/маскировок по мельчайшим движениям кожи.
4. Синхронизация со смарт-гаджетами — умные часы могут авто заблокировать смартфон, если обладатель ушёл далеко.
5. Проявляются комбинированные устройства — в частности комбинирующие голосовую аутентификацию + физиономию + пальцевой отпечаток.

Вот, какие направления в особенности актуальны на сегодняшний день:

1) Миниатюризация элементов

Компании намереваются сократить величину отверстия (“чёлки”) для датчики на дисплее за счёт внедрения миниатюрных ИК-проекторов прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для увеличения личной безопасности всё больше обработки данных осуществляется внутри устройства без пересылки данных во сторонний облачный сервис.

3) Унификация норм

Гугл интенсивно продвигает норму BiometricPrompt API, для того чтобы аналогичные системы, как вулкан россия, и любые Android-программы могли работать с любыми видами биометрии единообразно.

Что решить на сегодня?

Если вам необходима предельная сохранность информации, подбирайте топовые модели с интегрированным ИК-проектором или же ToF-сенсором глубины.

• iPhone всех существующих новейших поколений
• Huawei Partner/P Series ряда
• Mix Professional
• Vivo X серии
• Oppo Обнаружить Икс линейки.

Если бюджет невелик – лучше отдавать предпочтение классическим средствам защиты (PIN-код/сканер пальца), а возможность “разблокировка по лицу”, такую как в вулкан россия, применять только как дополнительную опцию удобства.

Каким образом повысить комфорт работы возможности?

Есть несколько советов для людей, кто уже пользуется разблокировку по лицу:

1. Регулярно обновляйте свою изображение-шаблон, если кардинально изменяется внешний вид.
2. Не упускайте из виду чистить объектив передней камеры – разводы могут уменьшить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам активирует камеру если вы берёте его в руки.
4. Во время регистрационного процесса постарайтесь удерживать лицо прямо впереди камеры без значительного наклона головы.
5. Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвернулись от экрана.

Перспективы развития техники

В предстоящие времена можно ожидать появления полностью дистанционных способов идентификации индивидуума сразу по нескольким биометрическим данным параметрам одновременно: лицо + речь + походка + манипуляции руками!

Также возможно появление свежих подходов охраны конфиденциальности – скажем, изменяющееся изменение диджитал паттерна после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из очень интересных техник нашего периода! Она предоставляет интеракцию со телефоном удобнее чем когда-либо прежде, и такие аппы, как vulkan russia, могут в разы повысить ваш пользовательский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы осведомлены, как устроена эта система внутри, – будете в состоянии вдумчиво определять свой очередной девайс!