# Advanced features --- # Взаимодействия признаков --- ### Категориальные признаки  --- ### Категориальные признаки  --- ### Числовые признаки  Числовые признаки можно * умножать * делить * складывать * вычитать --- Таких признаков можно сделать очень много. Используем * уменьшение размерности * отбор признаков --- ### Числовые + категориальные признаки  --- Можно считать * статистики (min, max, mean, std, skew, z-score) * количество вхождений * кодирование таргетом --- ### Числовые + категориальные признаки  --- ### Признаки decision trees  --- ### Признаки decision trees  --- ### KNN Вместо группировки по категориям можно считать статистики по ближайшим соседям * среднний target для ближайших n соседей * среднее расстояние до ближайших n соседей * среднее расстоянние до ближайших n соседей с target == 1 * среднее расстоянние до ближайших n соседей с target == 0 --- ### KNN тонкости * статистики по target считаем только по тестовой выборке * статистики по остальным фичам можно считать по всей выборке * придется писать много кода * долго работает - можно использовать multiprocessing, joblib, etc --- # Матричные разложения --- ### Матричные разложения  --- ### Матричные разложения  --- ### Матричные разложения  --- ### Матричные разложения * sklearn.decomposition.PCA * sklearn.decomposition.TruncatedSVD * sklearn.decomposition.non_negative_factorization --- ### tSNE  --- ### tSNE  --- # Использование эмбеддингов --- ### Использование эмбеддингов Тексты * можно взять уже натренированную nn и немного ее доучить * можнно взять эмбеддинги (fasttext, Glove, Word2Vec) и использовать их как фичи в градиентном бустинге --- ### Использование эмбеддингов Можно кодировать категориальные переменные эмбеддингами * при этом можно решать исходную задачу * можно решать вспомогательную задачу --- ### Про эмбеддинги и вспомогательные задачи https://habr.com/ru/post/359136/ --- ### Еще про вспомогательные задачи https://www.kaggle.com/c/avito-demand-prediction ---