Статья от insight face, скорее про оптимизацию обучения больших данных (up to 10 millions ids) Вклад статьи разбит на 3 составляющие: 1. Оптимизация обучения в случае MultiGPU Например, у нас есть 10 видеокарт и 10 миллионов ID, самый bottleneck - голова, которая имеет огромный размер 10kk X facen_size, они предлагают ее равно разделить на количество видеокарт: то есть на каждой будет по 1 миллиону id, алгоритм вычисления на одной видеокарте будет следующим: Highlight: считаем сумму своих 1 млн на видюхе и синхронайзим между видюхами только суммы 2. Нам не нужные все негативы при подсчете софтмакса

Достаточно частая проблема датасетов в том, что они плохо чищены. Могут возникать следующие проблемы Некоторые фотки с перепутанными айдишниками Есть мусорные фотки, которые не принадлежат ни к какому айдишнику, но с меткой При объединении датасетов айдишники дублируются В работе Co-Mining: Deep Face Recognition with Noisy Labels рассматриваются первые две проблемы. Idea Когда нейронка обучается, она сначала выучивает легкие, правильно размеченные примеры, а только потом выучивает сложные и плохо размеченные. Что если обучать сетку на чистых и хорошо размеченных примерах? (а что произойдет с хард кейсами?)

Прежде чем рассказать, что такое Filter Responce Norm, следует прочитать (очень хорошо написан) блог пост An Overview of Normalization Methods in Deep Learning. Там хорошо рассказано про Batch Norm (2015) -- все использовали Layer Norm (2016) -- хорошо для RNN Instance Norm (2016) -- хорошо для style transfer Group Norm (2018) -- как батчнорм для маленьких батч сайзов Weight Norm (2016) -- для рнн и классификации и много чего Batch-Instance Norm (2018) -- про то, как выучить нормализацию

Early works In early works image sets from videos or not were treated as independent set of images. Fitzgibbon & Zisserman, CVPR 2003 Face Recognition Based on Image Sets by Hakan Cevikalp & Bill Triggs - CVPR 2010, San Francisco USA In this kind of approaches we need to perform optimization to find closest distance. SVM may me reformulated to solve this convex problem. Baselines ate very toy. Learning Discriminative Aggregation Network for Video-based Face Recognition

TL;DR: Идея простая и красивая, но скорее всего не очень рабочая для нас: Давайте приведем flat softmax layer из, например, 10000 выходов в дерево, таким образом вычислений на каждый этап будет не N, а logN (это если честное бинарное дерево), но работает и вариант два уровня - на первом 100 узлов, и на каждом из 100 еще 100, тогда для вычисления каджого сэмпла у нас 200 операций, а не 10000, что явно быстрее. Math Обычный софтмакс: Дерево: Вероятность футбола: Общая формула вероятности item'a:

Когда я занимался видео, мне пригодилось расталкивать гистограммы позитивов и негативов (подробнее здесь). Делая например из таких гистограм такие Мне стало интересно, происходило ли что-то похожее в литературе. Итак, обзор. Binomial Deviance Оказывается я использовал этот лосс, чтобы обучить веса усреднения. Про него даже что-то упомянали. Например, в следующей статье от Лемпицкого он достаточно неплохо смотрится на фоне триплет лоссов.

Origins Deep Metric Learning via Lifted Structured Feature Embedding(Цитируется: 674) Одна из первых первых статей на тему триплет лоссов. Она охватывает интуицию, контрпримеры достаточно качественно, чтобы начать свое погружение в тему. (Увы мое погружение было с других статей) Итак, что такое триплет лосс, и остальные? Контрастив лосс -- сравниваются пары положительные и отрицательные Триплет лосс -- появляется понятие Anchor. Положительные и отрицательные пары создаются относительно него Lifted Embedding -- то, что предложили авторы использовать в то время

Mar 30, 2020 Domain Balancing: Face Recognition on Long-Tailed Domains In training and testing domain difference may be disbalanced. The paper highlights domain balancing problem and states it is different from class disbalance problem. While in classification resampling may be applied based on class probabilities, nothing can be done for domain classes. Just because there are no domain labels. The intuition is to proxy domain frequency with heuristics and reweight loss by domain frequency. Domain Frequency is inverse proportional of interclass compactness. Method

reader: ferres complexity: 4-5 rating: 4 paper Proposes an optimiation algorithm in which generalization is a constraint. The problem is a real word scenatio where you train a model on one domain and later apply it in a different domain. Example

Aug 17, 2019 difficulty: 3 rating: 3 paper New architecture block to cope with non-perfect localization. Important: this is not self attention! Thisis Bilinear attention.

Tags in Mendeley In mendeley there is a field for short notes. For future (automated) postprocessing it is better make it unified. Description in free form. Lorem ipsum dolor sit amet... reader: username (optional, but recommened) rating: [1-5] (bad-good, optional) complexity: [1-5] (easy-hard, optional) desc: link to hack md with descriptoin (optional) slack: link to slack discussion (optional)

Apr 01, 2020 CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition Introduces adaptive decision boundary as an extension of ArcFace loss. Modulation coefficient depends on proportion of positive cosine similarities. In early stages the proportion is smaller in later stages. Penalty for hard samples* increases along with proportion. *Hard samples are those that out of decision boundary. Method Similarly to most discriminative softmax based losses there are positive and negative similarities and normalize outputs to $s$