Большинство людей уверены, что главные проблемы с распознаванием лиц начинаются на этапе сопоставления.
Это и правда самая драматичная часть. Система сравнивает ваше лицо с фото в паспорте, базой данных или селфи, которое вы сделали при открытии банковского счета. Совпало или нет. Одобрено или отклонено. Именно здесь обычно и рождаются все страхи перед ИИ.
Но новая работа этого года показывает другую проблему — менее заметную, но в каком-то смысле даже более абсурдную. Для людей с витилиго система может дать сбой гораздо раньше, еще до того, как начнется само биометрическое сравнение.
Иными словами, машина не отвергает вашу личность. Она отвергает само изображение, считая его некачественным.
И вот тут начинается самое интересное.
Это и правда самая драматичная часть. Система сравнивает ваше лицо с фото в паспорте, базой данных или селфи, которое вы сделали при открытии банковского счета. Совпало или нет. Одобрено или отклонено. Именно здесь обычно и рождаются все страхи перед ИИ.
Но новая работа этого года показывает другую проблему — менее заметную, но в каком-то смысле даже более абсурдную. Для людей с витилиго система может дать сбой гораздо раньше, еще до того, как начнется само биометрическое сравнение.
Иными словами, машина не отвергает вашу личность. Она отвергает само изображение, считая его некачественным.
И вот тут начинается самое интересное.
«Невидимый вышибала» у входа
Представьте: вы делаете селфи, чтобы разблокировать телефон, пройти верификацию в банке или пересечь границу через электронные ворота в аэропорту. Кажется, что проверка начинается в момент сверки лица с ID.
На самом деле — нет.
До этого многие биометрические системы запускают отдельный этап контроля под названием FIQA (Face Image Quality Assessment). Это своего рода фильтр, который проверяет, подходит ли фото для дальнейшей биометрической обработки. Слишком размыто? Плохой свет? Неудачный ракурс? Что-то визуально «не так»? Отказ. Попробуйте еще раз.
На бумаге это звучит разумно. На практике такой фильтр легко превращается в «невидимого вышибалу».
Именно это и исследуют авторы статьи, представленной на воркшопе WACV. Они задались простым вопросом: может ли витилиго — аутоиммунное состояние, при котором кожа теряет пигмент и которое затрагивает примерно 0,5–2% населения планеты, — искажать работу такого фильтра? Опасение у них было вполне конкретное: если софт воспринимает пятна витилиго как дефект фотографии, а не как естественную особенность кожи, человек сталкивается с отказом еще до начала самой проверки.
И это важнее, чем может показаться на первый взгляд.
Сегодня такие фильтры стоят «на входе» почти везде: в банковских приложениях, системах цифрового онбординга, сервисах подтверждения личности и на пограничных пунктах. Если человек раз за разом получает отказ на этапе съемки, последствия копятся быстро: бесконечные пересъемки, раздражение, отказ от услуги, переход на ручную проверку и вполне понятное ощущение, что цифровая система просто не рассчитана на таких людей.
Это проблема не только распознавания, но и самой логики системы.
Причем не той «глянцевой» проблемы AI fairness, о которой любят спорить на конференциях и панельных дискуссиях. Здесь речь о другом. Это отсеивание еще до этапа сопоставления.
Система не говорит: «Я сравнила ваше лицо и запуталась». Она говорит: «Ваше фото вообще не проходит на входе».
На самом деле — нет.
До этого многие биометрические системы запускают отдельный этап контроля под названием FIQA (Face Image Quality Assessment). Это своего рода фильтр, который проверяет, подходит ли фото для дальнейшей биометрической обработки. Слишком размыто? Плохой свет? Неудачный ракурс? Что-то визуально «не так»? Отказ. Попробуйте еще раз.
На бумаге это звучит разумно. На практике такой фильтр легко превращается в «невидимого вышибалу».
Именно это и исследуют авторы статьи, представленной на воркшопе WACV. Они задались простым вопросом: может ли витилиго — аутоиммунное состояние, при котором кожа теряет пигмент и которое затрагивает примерно 0,5–2% населения планеты, — искажать работу такого фильтра? Опасение у них было вполне конкретное: если софт воспринимает пятна витилиго как дефект фотографии, а не как естественную особенность кожи, человек сталкивается с отказом еще до начала самой проверки.
И это важнее, чем может показаться на первый взгляд.
Сегодня такие фильтры стоят «на входе» почти везде: в банковских приложениях, системах цифрового онбординга, сервисах подтверждения личности и на пограничных пунктах. Если человек раз за разом получает отказ на этапе съемки, последствия копятся быстро: бесконечные пересъемки, раздражение, отказ от услуги, переход на ручную проверку и вполне понятное ощущение, что цифровая система просто не рассчитана на таких людей.
Это проблема не только распознавания, но и самой логики системы.
Причем не той «глянцевой» проблемы AI fairness, о которой любят спорить на конференциях и панельных дискуссиях. Здесь речь о другом. Это отсеивание еще до этапа сопоставления.
Система не говорит: «Я сравнила ваше лицо и запуталась». Она говорит: «Ваше фото вообще не проходит на входе».
Очень современная форма глупости
Авторы представили новый набор данных — SynVF (HDA-Synthetic Vitiligo Faces). Они взяли 143 высококачественных синтетических лица и наложили на них 18 реальных паттернов витилиго, создав базу из 1803 изображений с разной степенью депигментации: от едва заметной до обширной.
Затем эти изображения прогнали через открытую систему оценки качества лиц OFIQ.
Результат оказался слишком очевидным, чтобы его игнорировать. Единый балл качества, Unified Quality Score, неуклонно снижался по мере роста выраженности витилиго. Если изображения без депигментации получали в среднем 83,76 балла, то при едва заметных изменениях показатель снижался до 75,66, при заметных — до 62,08, при выраженных — до 59,40, а при обширной депигментации — до 55,33.
Это уже не статистический шум. Это явный провал.
И вот что особенно интересно. Такие параметры, как резкость, динамический диапазон и некоторые световые характеристики, в этих изображениях оставались высокими, а иногда даже росли. То есть система не считала снимки темными, размытыми или технически плохими в привычном смысле. Она реагировала именно на визуальную структуру пятен витилиго и почему-то превращала это в общий вывод о низком качестве изображения.
Типичное поведение машины: очень уверенно, очень технично и совершенно мимо цели.
Затем эти изображения прогнали через открытую систему оценки качества лиц OFIQ.
Результат оказался слишком очевидным, чтобы его игнорировать. Единый балл качества, Unified Quality Score, неуклонно снижался по мере роста выраженности витилиго. Если изображения без депигментации получали в среднем 83,76 балла, то при едва заметных изменениях показатель снижался до 75,66, при заметных — до 62,08, при выраженных — до 59,40, а при обширной депигментации — до 55,33.
Это уже не статистический шум. Это явный провал.
И вот что особенно интересно. Такие параметры, как резкость, динамический диапазон и некоторые световые характеристики, в этих изображениях оставались высокими, а иногда даже росли. То есть система не считала снимки темными, размытыми или технически плохими в привычном смысле. Она реагировала именно на визуальную структуру пятен витилиго и почему-то превращала это в общий вывод о низком качестве изображения.
Типичное поведение машины: очень уверенно, очень технично и совершенно мимо цели.
Почему это важно в реальном мире
Это не просто занятная статья для любителей компьютерного зрения.
Если система незаметно «штрафует» за витилиго уже на этапе захвата изображения, пользовательский опыт ломается в самом начале. И это не громкий, эффектный сбой, а банальная смерть от трения: пересъемки, ошибки, переход на ручную проверку, потеря времени, раздражение.
В обычной жизни это может касаться самых простых вещей: разблокировки телефона, проверки личности в банковском приложении, цифровой регистрации, оформления документов или прохождения через автоматические пограничные ворота.
И за всем этим прячется еще одна старая проблема в новом костюме: представленность в данных.
Если такие особенности, как витилиго, почти не представлены в обучающих выборках и тестовых наборах, нейросети усваивают слишком узкое представление о том, как «должно» выглядеть нормальное лицо. А дальше любая заметная разница начинает трактоваться как ошибка, шум или дефект.
И не потому, что машина кого-то ненавидит. Машины не настолько сложны. Всё хуже: это равнодушие, встроенное в сам дизайн системы.
Авторы не ограничились описанием проблемы
К чести исследователей, они не остановились на простой констатации ошибки.
Они проверили, сохраняется ли тот же эффект за пределами их основного синтетического набора. Для этого они сгенерировали еще 130 изображений лиц с витилиго с помощью OpenAI 4o и собрали 55 реальных фотографий людей с витилиго из открытых источников. Средние баллы качества в этих выборках оказались еще ниже: 39,29 для сгенерированных изображений и 26,13 для реальных фотографий.
Это важный момент. Он говорит о том, что проблема, скорее всего, не сводится к особенностям одной конкретной синтетической базы.
Затем авторы предложили первый вариант коррекции. Они обучили классификатор на базе Data-efficient Image Transformer, или DeiT, который с точностью около 90% определяет наличие витилиго на фото. Идея состояла не в том, чтобы переделать всю систему распознавания лиц с нуля, а в том, чтобы использовать этот классификатор как корректирующий слой. Если общий балл качества низкий, но модель с высокой вероятностью видит витилиго, оценка качества может быть скорректирована вверх.
Это не окончательное решение, и сами авторы этого не скрывают. Их вклад куда честнее: они показали забытую ошибку, создали набор данных для ее изучения и предложили первый способ хотя бы частично исправить ситуацию.
Собственно, так и работает нормальная наука. Не с трубными звуками и обещанием чуда, а с настойчивым лучом света, направленным на проблему, мимо которой остальные долго проходили.
Если система незаметно «штрафует» за витилиго уже на этапе захвата изображения, пользовательский опыт ломается в самом начале. И это не громкий, эффектный сбой, а банальная смерть от трения: пересъемки, ошибки, переход на ручную проверку, потеря времени, раздражение.
В обычной жизни это может касаться самых простых вещей: разблокировки телефона, проверки личности в банковском приложении, цифровой регистрации, оформления документов или прохождения через автоматические пограничные ворота.
И за всем этим прячется еще одна старая проблема в новом костюме: представленность в данных.
Если такие особенности, как витилиго, почти не представлены в обучающих выборках и тестовых наборах, нейросети усваивают слишком узкое представление о том, как «должно» выглядеть нормальное лицо. А дальше любая заметная разница начинает трактоваться как ошибка, шум или дефект.
И не потому, что машина кого-то ненавидит. Машины не настолько сложны. Всё хуже: это равнодушие, встроенное в сам дизайн системы.
Авторы не ограничились описанием проблемы
К чести исследователей, они не остановились на простой констатации ошибки.
Они проверили, сохраняется ли тот же эффект за пределами их основного синтетического набора. Для этого они сгенерировали еще 130 изображений лиц с витилиго с помощью OpenAI 4o и собрали 55 реальных фотографий людей с витилиго из открытых источников. Средние баллы качества в этих выборках оказались еще ниже: 39,29 для сгенерированных изображений и 26,13 для реальных фотографий.
Это важный момент. Он говорит о том, что проблема, скорее всего, не сводится к особенностям одной конкретной синтетической базы.
Затем авторы предложили первый вариант коррекции. Они обучили классификатор на базе Data-efficient Image Transformer, или DeiT, который с точностью около 90% определяет наличие витилиго на фото. Идея состояла не в том, чтобы переделать всю систему распознавания лиц с нуля, а в том, чтобы использовать этот классификатор как корректирующий слой. Если общий балл качества низкий, но модель с высокой вероятностью видит витилиго, оценка качества может быть скорректирована вверх.
Это не окончательное решение, и сами авторы этого не скрывают. Их вклад куда честнее: они показали забытую ошибку, создали набор данных для ее изучения и предложили первый способ хотя бы частично исправить ситуацию.
Собственно, так и работает нормальная наука. Не с трубными звуками и обещанием чуда, а с настойчивым лучом света, направленным на проблему, мимо которой остальные долго проходили.
Что это меняет
Люди с витилиго много лет объясняют, что депигментация — это не просто косметическая особенность. Она влияет на то, как человека видят, оценивают, запоминают и иногда исключают из самых обычных социальных сценариев.
Теперь к этому списку можно добавить еще одну неприятную вещь.
Это влияет и на то, как нас видят машины.
И в отличие от людей, машины не краснеют, когда выставляют себя дураками.
Эта работа не решает проблему инклюзивной биометрии раз и навсегда. Но она делает главное: переводит разговор из зоны расплывчатых рассуждений об «этике ИИ» в зону конкретной, измеримой технической ошибки. Ошибки проектирования. А такие ошибки, в отличие от абстрактных лозунгов, можно и нужно исправлять.
Справедливая биометрия не должна требовать от человека быть «менее похожим на себя», чтобы просто пройти проверку.
Теперь к этому списку можно добавить еще одну неприятную вещь.
Это влияет и на то, как нас видят машины.
И в отличие от людей, машины не краснеют, когда выставляют себя дураками.
Эта работа не решает проблему инклюзивной биометрии раз и навсегда. Но она делает главное: переводит разговор из зоны расплывчатых рассуждений об «этике ИИ» в зону конкретной, измеримой технической ошибки. Ошибки проектирования. А такие ошибки, в отличие от абстрактных лозунгов, можно и нужно исправлять.
Справедливая биометрия не должна требовать от человека быть «менее похожим на себя», чтобы просто пройти проверку.
