https://github.com/paoloripamonti/face-recognition

* **Введение** - Необходимо реализовать сервис для распознавания в видеопотоке людей и идентификации их с возможностью в будущем нотификации конечного пользователя о различных событиях.
С увеличением численности населения в городах возникает потребность в деанонимизации людей в различных областях. Например для магазинов важно отслеживать действия покупателей для предотвращения противоправных действий. Для поисковых служб нужно оперативно определять местоположение как пропавших лиц, так и разыскиваемых из-за правонарушений. Также для частных лиц могут быть полезны системы, которые уведомляют о приходе/уходе домочатцев или в случае проникновения в жилище.
Для гос структур существуют специальные закрытые системы позволяющие выполнять их работу. Например в метро в Спб и Мск, а также данная система полностью внедрена в Китае.
Однако частные лица, либо вовсе лишены такой возможности, либо оно представляется решениями сомнительного качества (камера от xioami) или же сервисами которые позволяют идентифицировать людей только по фотографиям.
В данной работе будет реализован сервис, который позволяет загружать видео/видеопоток и возвращать список идентифицированных (или нет, если кого то идентифицировать не удалось) людей с указанием времени появления на видео. Также нужно реализовать возможность добавления знакомых лиц в базу данных.

* **Обзор всех возможных методов решения задачи** - *глава о первом приближении к решению задачи*
В данной главе будет рассмотренны ключевые компоненты сервиса и возможные их реализации.
* **Описание того, как будет устроен сервис** - *запускается на сервере и имеет API для загрузки видео и в ответ присылается кто и в какие моменты присутствовал на видео. + запоминание знакомых лиц*
При разработке сервиса можно выделить 2 глобальных модуля. Первый модуль это обработка видео для детектирования и идентификации на нём лиц. А второй модуль это реализация API, написание и конфигурация сервера и базы данных, а также в случае если знакомых лиц не найденно в базе знакомых лиц, то отправка лица в сторонний сервис.
* **Описание этапов работы по распознаванию** - *тут нужно написать через какие этапы проходит видеопоток чтобы получились имена людей*
Существует ряд подходов для выделения лиц на изображении и идентификации полученных лиц. Лучшие результаты на данный момент обеспечиваются при использовании нейронных сетей.
В общем случае конвейер распознавания лиц состоит из блока детектирования лиц и определения особых точек лица, блока предобработки отдельных лиц (обрезка, масштабирование, трансформация к заданной форме), модуля, выделяющего описатель лица (embedding vector), и классификатора.
Качество решения каждого блока влияет на как на точность, так и на скорость работы всего сервиса.
* **Детектирование лиц** - это фундаментальный шаг, так как на найденных лицах основываются следующие этапы
Детектирование и локализация лиц позволяет находить и выделять лишь те участки, которые будут передаваться другим блокам. И очень важно точно находить все лица на видео, так как если детектор будет не достаточно чувствительным, то лицо будет пропущенно в принципе. Существует несколько подходов к решению данного блока и у каждого есть свои преимущества и недостатки.
* **Метод Виолы-Джонса**
Метод Виолы-Джонса – алгоритм, позволяющий обнаруживать объекты на изображениях в реальном времени. Предложен в 2001 году Paul Viola и Michael Jones. Хотя алгоритм может распознавать различные классы изображений, основной задачей при его создании было обнаружение лиц. Обучение классификаторов идет очень медленно, но результаты поиска лица очень быстры. Также этот детектор обладает крайне низкой вероятностью ложного обнаружения лица. Алгоритм хорошо работает и распознает черты лица под небольшим углом, примерно до 30 градусов. При угле наклона больше 30 градусов процент обнаружений резко падает.
...

* **HOG**
Гистограмма направленных градиентов (англ. Histogram of Oriented Gradients, HOG) — дескрипторы особых точек, которые используются в компьютерном зрении и обработке изображений с целью распознавания объектов. Данная техника основана на подсчете количества направлений градиента в локальных областях изображения. Этот метод похож на гистограммы направления края, дескрипторы SIFT и контексты формы, но отличается тем, что вычисляется на плотной сетке равномерно распределенных ячеек и использует нормализацию перекрывающегося локального контраста для увеличения точности.
* **ИНС**
Для решения задачи детекции можно также использовать ИНС.
Искусственные нейронные сети (нейронные сети, ИНС) – устройства параллельных вычислений, которые состоят из множества взаимодействующих простых процессоров. Такие процессоры также называют нейронами. Каждый процессор такой сети обрабатывает сигналы, полученные от других процессоров сети, а также посылает сигналы другим процессорам. Вся сеть обрабатывает входные сигналы и в процессе изменения своего состояния во времени формирует совокупность выходных сигналов. Такие сети с управляемым взаимодействием способны выполнять сложные задачи, такие как распознавание образов.
* **dnn** - ==определение== + ==как релизовано в OpenCV==
* **cnn** - ==определение== + ==как реализовано в dlib==

* Сравнение реализаций
https://sefiks.com/2020/09/09/deep-face-detection-with-mtcnn-in-python/

* **Отслеживание лиц** - нужен, чтобы проще было отслеживать лицо не ища его заново
Отслеживание лиц позволяет нам оптимизировать количество вызовов процесса распознавания лиц, а сразу понимать кто находится на кадре опираясь на предыдущий кадр. Есть
* Оптический поток
Оптический поток — это изображение видимого движения объектов, поверхностей или краев сцены, получаемое в результате перемещения наблюдателя (глаз или камеры) относительно сцены. Алгоритмы, основанные на оптическом потоке, — такие как регистрация движения, сегментация объектов, кодирование движений и подсчет диспаритета в стерео, — используют это движение объектов, поверхностей и краев. Оптический поток работает на следующих предположениях:
1. Интенсивности пикселей объекта не изменяются между последовательными кадрами;
2. Соседние пиксели имеют аналогичное движение.
...

* **Алгоритм Лукаса-Канаде**
Алгоритм Лукаса — Канаде — широко используемый в компьютерном зрении дифференциальный локальный метод вычисления оптического потока.
Основное уравнение оптического потока содержит две неизвестных и не может быть однозначно разрешено. Алгоритм Лукаса — Канаде обходит неоднозначность за счет использования информации о соседних пикселях в каждой точке. Метод основан на предположении, что в локальной окрестности каждого пикселя значение оптического потока одинаково, таким образом можно записать основное уравнение оптического потока для всех пикселей окрестности и решить полученную систему уравнений методом наименьших квадратов.
Алгоритм Лукаса — Канаде менее чувствителен к шуму на изображениях, чем поточечные методы, однако является сугубо локальным и не может определить направление движения пикселей внутри однородных областей.
...

* **Распознавание лиц** - процесс идентификации лица
* **Выравнивание + вычленение черт**

* FaceNet
FaceNet - это глубокая ИНС, используемая для извлечения черт из изображения лица человека. Он был опубликован в 2015 году исследователями Google.
FaceNet принимает изображение лица человека в качестве входных данных и выводит вектор из 128 чисел, которые представляют наиболее важные черты лица. В машинном обучении этот вектор называется вложение (embedding), потому что вся важная информация оказывается вложенной в этот вектор.
Вложения являются векторами, и мы можем интерпретировать векторы как точки в декартовой системе координат. Это означает, что мы можем построить изображение лица в системе координат, используя его вложения. Один из возможных способов распознавания лиц на незнакомом FaceNet изображении человека состоит в том, чтобы рассчитать его вложение, рассчитать расстояния до изображений известных людей, и, если вложение лица достаточно близко к врезкам человека А, мы говорим, что это изображение содержит лицо человека А.
Для обучения FaceNet необходимо много изображений лиц. Для простоты предположим, что у нас есть только пара изображений от двух человек. Та же логика может быть применена, если у нас есть тысячи изображений разных 20 людей. В начале обучения FaceNet генерирует случайные векторы для каждого изображения, что означает, что изображения наносятся случайным образом при построении графика.
FaceNet учится следующим образом:
1. Случайно выбирает якорное изображение.
2. Случайно выбирает изображение того же человека, что и якорное изображение (положительный пример).
3. Случайным образом выбирается изображение человека, отличное от основного изображения (отрицательный пример).
Настраивает параметры сети FaceNet таким образом, чтобы положительный пример был ближе к привязке, чем отрицательный пример.
Этот метод обучения с якорными, положительными и отрицательными примерами называется triplet loss.
FaceNet должен определить ключевые черты лица человека, которые отделяют его от других лиц. Численные значения вектора рассчитываются из таких показателей, как, например, расстояние между глаз. ширина и высота лба, расположение кончиков губ на лице человека.
В некотором смылсе работа FaceNet схожа с хеш-функцией. FaceNet отображает изображения одного и того же человека приблизительно в одно и то же место в системе координат, где вектор вложения является хеш-кодом.
* **Классификация**
* ==SVM== https://sibsutis.ru/upload/86f/diplom4_3.pdf
* ==Softmax==
Этап классификации может быть выполнен путем вычисления расстояний между векторами нового лица и уже известного лица, то есть методом k-ближайших соседей. Однако стоит заметить, что применение данного метода не обосновано, так как он вычислительно сложен и требует много памяти.
Классификатор Softmax – это обобщение двоичной формы логистической регрессии. Классификатор основан на функции Softmax, которая принимает в качестве входных данных вектор z из K действительных чисел и нормализует его в распределении вероятностей, состоящем из K вероятностей, пропорциональных экспонентам входных чисел. Выражается формулой:
Основным преимуществом использования Softmax является диапазон вероятностей, получаемый на выходе [5]. Диапазон будет от 0 до 1, а сумма всех вероятностей будет равна единице. Если функция Softmax используется для мультиклассификационной модели, она возвращает вероятности каждого класса, и целевой класс будет иметь высокую вероятность.
* **Описание технологий работы сервера** - нужно рассказать что то про передачу файлов
* **Python как технология для распознавания лиц**
Язык Python является хорошим языком для разработки систем ориентированных на компьютерное зрение и машинное обучение. Есть много библиотек.
* **Различные фреймворки для Python для сервера**
Для сервера будут использованы такие библиотека как ...
* **БД**
Для сохранения распознанных черт лиц будет использована ...
* **Коннект к глазу бога**
Для идентификации лиц не сохранённых в базе данных будет использоваться сторонний сервис "Глаз Бога"
* **Мб контейниризация**
Для удобной работы с разными частями программы будет удобно использовать Docker?

* **Конкретный обзор каждого из методов выбранных на предыдущем шаге** - *здесь идёт конкретный разбор выбранных методов на предыдущем шаге*
В данной главе будут рассмотренны конкретные ньюансы работы выбранных алгоритмов для решения каждой подзадачи.
* **Описание использумых технологий при распознавании лиц**
Для реализации работы данного модуля будет использоваться язык Python и соответствующие библеотеки
* **Детектирование лиц**
Результаты сравнения говорят в пользу детекторов, реализованных с использованием нейронных сетей.
В случае наличия графического ускорителя, поддерживающего архитектуру CUDA, приоритет можно отдать cnn детектору библиотеки Dlib. В то же время, при использовании CPU, данный детектор показывает чрезвычайно низкую скорость работы, и предпочтение может быть отдано dnn детектору OpenCV.
Детектор MTCNN показал приемлемую скорость, при работе с CPU скорость работы снижается не сильно. Кроме того, указанный детектор одновременно выделяет особые точки лица, которые могут использоваться для предобработки изображения перед распознаванием.
Сравнение выделяемых лиц для различных видов детекторов приведено на рисунке ниже. Заметно, что регионы, выделенные Dlib cnn детектором, существенно отличается от других.

Для работы сервиса была выбрана OpenCV dnn с моделью res10_300x300_ssd_iter_140000.caffemodel.
* **Про OpenCV**
Загрузка и получение результатов (предсказаний) с помощью моделей, созданных в любом из трех популярных фреймворков (Caffe, TensorFlow, Torch), быстрая работа на CPU, поддержка основных слоев нейронных сетей и, как всегда, кроссплатформенность, открытость исходного кода и поддержка — всё это говорит в пользу данного выбора.
Для работы модуля необходимо заранее обучить и загрузить модель глубокой нейронной сети.[A](https://habr.com/ru/company/intel/blog/333612/)
* **Про res10_300x300_ssd_iter_140000.caffemodel**
Для работы данной модели необходимо передавать изображения 300 на 300 пикселей.
[Тут есть инофромация как была создана эта модель](https://answers.opencv.org/question/201189/dataset-used-for-training-dnn-face-detector/)
[Как тренировать её](https://github.com/opencv/opencv/blob/master/samples/dnn/face_detector/how_to_train_face_detector.txt)

* **Отслеживание лица Active Appearance Models** - описание работы в dlib
Метод OpenCV после детектирования возвращает прямоугольник в котором помимо лица есть ненужные точки, а нам для отслеживания нужны именно точки лица, то для решения этой проблемы используется метод AAM (Активные модели внешнего вида – Active Appearance Models). Уже обученная AAM накладывает маску на область с лицом и подгоняет её под лицо. Данные действия выполняет функция predictor(). Обученная модель AAM и функция predictor() взяты из библиотеки dlib.

* **Выравнивание лица** -
* Для начала нужно выделить особые точки. Из вариантов
- MTCNN, который распознавая выдаёт 5 точек лица (работает долго, всего 5 точек, достаточно криво)
- от dlib shape_predictor с обученной моделью shape_predictor_68_face_landmarks.dat (работает в разы хуже, но и в разы быстрее);
- face_alignment FaceAlignment( face_alignment.LandmarksType.2D, device='cpu', face_detector='sfd') - работает буквально идеально, есть режим когда точки ищутся в 3d, работает относительно быстро (в лучшем случае 0.5с на CPU), может сразу находить все лица на фото (однако есть странности при слишком большом разрешении лица или когда лицо занимает слишком много от кадра)
https://www.adrianbulat.com/

Для выделения особых точек Dlib предоставляет методы, выделяющие наборы из 5 или 68 особых точек (shape predictor), и соответствующие процедуры выравнивания лица. Существуют также сторонние алгоритмы выравнивания лица по полученным наборам особых точек11. Модифицированный вариант данного алгоритма (face align) использовался для выравнивания изображения по точкам, выделяемым MTCNN.
Предварительная обработка существенно повышает качество распознавания лиц. Она включает обрезку заданной области изображения, выравнивание (состоящее из поворота и трансформации лица) для приведения к стандартизованному положению, масштабирование полученной области изображения в соответствии с входными размерами распознающей части. Сравнение качества распознавания в зависимости от уровня предобработки изображений, на примере библиотеки Dlib, приведено в таблице 2, использовался тестовый набор данных LFW.
Здесь столбец «Точность, 1 чел.» содержит точность распознавания двух изображений одного человека, «Точность, 2 чел.» – точность распознавания изображений двух разных людей, AUC – площадь под ROC–кривой.
Выделяемые особые точки лица и алгоритмы трансформации определяют результирующие изображения, обрабатываемые уже непосредственно модулями распознавания. На рис. 2 приведены результаты обработки входных изображений с использованием библиотеки Dlib. Изображения, полученные с использованием особых точек, выделяемых сетью MTCNN, представлены на рис. 3. Рис. 4 представляет результаты обработки изображений с использованием имеющейся разметки – LFW landmarks.

* **Описание технологий при создании сервера/сервиса** - *нужно выбрать что буду использовать и описать ==(что?)==*
*