HackMDTriplet Losses and Friends
Origins
Deep Metric Learning via Lifted Structured Feature Embedding(Цитируется: 674)
Одна из первых первых статей на тему триплет лоссов. Она охватывает интуицию, контрпримеры достаточно качественно, чтобы начать свое погружение в тему. (Увы мое погружение было с других статей)
Итак, что такое триплет лосс, и остальные?
- Контрастив лосс – сравниваются пары положительные и отрицательные
- Триплет лосс – появляется понятие Anchor. Положительные и отрицательные пары создаются относительно него
- Lifted Embedding – то, что предложили авторы использовать в то время
Фейл кейсы
В стате уделяется большое внимание тому, как выбирать пары в Lifted Embedding. Есть альтернативы:
- Брать все пары в батче
- Брать только сложные пары в батче
Чтобы избежать косяков с легкими позитивами и негативами, батч лучше составлять исходя из ближайших соседей. Но и говорят, что перебарщивать и составлять пары из только сложных примеров не стоит. В общем случае при большом батч сайзе стратегия выбирать только сложные в батче хороша.
Майнить или не Майнить
Не майнить
Можно сделать чуть другую голову для классификации https://arxiv.org/abs/1909.05235. К статье много вопросов и кажется она не релевантны для фейсрека. Что в ней?
Вместо одного центройда в голове появляется несколько центройдов. При этом вводится регуляризация на дополнительные центройды. Визуализация ниже
Когда мы нашли симиларити до нескольких центройдов класса можно сделать либо максимум по симиларити, либо софтмакс.
Майнить
Майнить по всему датасету трудно, можно дедлать верхние оценки
Подсчет радиуса кластера позволяет получить верхнюю оценку, не высчитывая всех схожестей между объектами. (как он может быть предпосчитан, сходу не разобрался)
In Defense of the Triplet Loss for Person Re-Identificatio
Как ни странно в этой статье опять вспоминается подход 15го года.
Most similar to our batch hard and batch all losses is
the Lifted Embedding loss
Отличий я не сильно много нашел. По факту это выбор правильных сложных пар в батче как в старой статье. В контрибушены они выделяют экспериментальную секцию, где они завели триплет лоссы для ReID
Attribute-aware Identity-hard Triplet Loss for Video-based Person Re-identificatio
Главная мотивация этой статьи про то, что вариация внутри кластера достаточно сильная и это не очень хорошо. Разные позы, освещение вызывают нестабильности в обучении. Так схожесть будет определяться скорее позой, чем специфичными признаками.
Авторы дополнительно выделяют intra-class positive/negative
Based on the attribute distance, intra-class negative and intra-class positive can
be picked out from the identity positives
для этого они дополнительно предсказывают аттрибуты. Выливается это все в достаточно сложную процедуру обучения. Где в лосс подаются пары так, чтобы снизить разницу признаков между позитивными парами с разными аттрибутами.
Завершу обзор вот этой статьей
Нечто похожее обсуждалось недавно на нашем брейншторме. Когда вместо сравнения с триплетом шло сравнение с центройдом
Однако, с обучением центройдов что-то не гладко, они предлагают их инициализировать равномерно и не трогать.
