---
# System prepended metadata

title: ML-сексизм (тезисы)

---

# ML-сексизм (тезисы)

(внизу всякие ссылки, в т.ч. два исследования)

#### Story so far

- US Department of Housing and Urban Development подал в суд на Фейсбук за таргетирование рекламы по параметрам пола, расы и религии - все они в списке "защищенных классов".

- Исследования показывают, что big-data алгоритмы демонстрируют "сексистские и расистские" склонности. Так, в эксперименте с рекламой вакансий работа кассира в супермаркете в 85% случаев предлагалась женщинам, а таксиста - "не-белым" людям.

- Амазон попробовал применять ML при отборе кандидатов, но отказался от затеи. Журналисты писали, что ML занимался дискриминацией, хотя сам Амазон говорит, что выхлоп был нулевой и больше похож на случайные числа, потому и свернули.

- До кучи, старая добрая рекомендация "не показывать одежду больших размеров полным женщинам, чтобы их не обижать". Тоже, в общем, дискриминационная история (пока не стал расширять)

## Тезисы

#### Может ли AI/ML быть сексистом?

Ответ не так однозначен, как кажется. С одной стороны, беспристрастная машина оперирует данными, ей вообще все равно, что они описывают. С другой, если среди метрик есть "пол" и "цвет кожи", то, с технической точки зрения, ML будет и сексистом, и расиситом. Т.е. он будет основывать свои выводы на этих метриках, а тот же "сексизм" это именно оно и есть, а вовсе не только "дискриминация женщин".

Так что, убираем "дискриминационные" (ака "защищенные") метрики, и все становится хорошо? Нет. Бездушный алгоритм почти наверняка придет к тем же результатам, используя косвенные данные - например, имя, увлечения, музыкальные вкусы, место жительства, вуз и т.д. Только теперь выявить "дискриминационные" факторы и подправить их корректирующими весами будет очень сложно, если не невозможно.

Дело в том, что big data - это не какие-то взятые с потолка непонятные метрики, это фактически цифровой срез объективной реальности. Если в реальности присутствует дикриминация, а среди кассиров "Пятерочки" 85% женщин, то алгоритмы в этом не виноваты. Перед ними стоит конкретная задача (получить тот самый срез или же найти в куче мусора жемчужины), и они приложат максимум усилий, чтобы эту задачу выполнить. Убирая "дискриминационные" метрики мы усложняем им работу, но отличные от объективной реальности результаты мы получим только если а) срез данных станет вообще нерелевантным или б) если мы намеренно обманем машину.

Второй момент - в том, что часто алгоритмы тренируются на обработанных людьми данных и учатся дискриминации у этих людей. Это показал кейс Амазон: там бралась огромная база резюме за прошлые годы с информацией о том, как эти резюме двигались по HR, и к чему это в итоге привело. Если в HR сидели сексисты и рубили, например, резюме женщин, то и алгоритм будет их рубить. Если женщины в итоге попадали в сексистский коллектив, откуда через полгода сбегали, то алгоритм опять же будет рубить такие резюме как неперспективные.

#### Дискриминация корректностью

Окей, мы не можем ничего сделать с объективной реальностью, так давайте хотя бы подкрутим метрики (по сути, переставим кровати). Ну, чтобы никто не обижался. Собственно, это основной метод "борьбы с дискриминацией". Теперь у нас работу в "Пятерочке" будут на равных предлагать женщинам и мужчинам, а дома в даунтауне - белым и черным. Тут-то заживем!

Кроме, собственно, "перестановки кроватей", я тут вижу еще как минимум три проблемы:

1. Вообще-то big data и ML созданы для помощи бизнесу. И площадке (например, ФБ), и рекламодателю нужно, чтобы объявление увидели те, для кого оно предназначено (ЦА). Политкорректно подкручивая выдачу, мы теряем деньги клиента. От того, что мы искусственно размажем вакансию кассира в "Пятерочке" по обоим полам, мы не изменим объективную реальность, мы просто понизим эффективность рекламы.

2. Кассиром в "Пятерочке" не рождаются, им становятся, зачастую не от хорошей жизни. Социальным активистам это невдомек, но нетрудно представить себе кейс матери-одиночки, инженера-конструктора по образованию, которая в силу обстоятельств не может сейчас каждый день ездить на работу в КБ; ей нужен гибкий график рядом с домом, неквалифицированная работа на время. Но у нее нет опыта поиска такой работы и вообще о ней представления. ML бы ее вычислил и показал то, что надо, но мы политкорректно скрыли от нее вакансию, которая ей сейчас жизненно необходима. И да, объективная реальность состоит в том, что матерей-одиночек больше, чем отцов-одиночек.

3. Занимаясь корректурой результатов, мы сами становимся сексистами, расистами и т.д. Иначе как мы сможем их правильно изменить? Давайте соберемся на скрам и напряжем сексистскую фантазию по максимуму: на каких еще малооплачиваемых работах в основном оказываются женщины? И где мало белых? А куда чаще идут геи? Ну, чтобы их не обидеть и не перестараться с показами, все ради добра и мира.

(здесь можно про размеры добавить, но не буду пока)

#### Что же делать?

В первую очередь - признать, что big data - это всего лишь инструмент, и как любой инструмент он просто выполняет волю оператора. Кто-то молотком забивает гвозди, а кто-то проламывает черепа; молоток здесь не виноват.

Если вы скормили алгоритму ML объективные данные о социуме, а он превратился в сексиста - то это не он такой, это общество такое.

Если вы скормили алгоритму ML субъективные данные, базирующиеся на годах работы живых людей, а он стал расистом - это не он такой, это живые люди такие были.

ML не может изменить жизнь, он может только беспристрастно ее показать. А дальше можно либо что-то с этим делать, либо заняться полировкой действительности. К сожалению, второй способ часто оказывается проще.

#### Вопросы к экспертам

- Сталкивались вы с темой корректировки выдачи big-data алгоритмов ради корректности? Ну или каких-то еще целей?

- Как вы относитесь к практике такой корректировки, если она решает благую цель? Или "благую" цель, т.е. авторы-то уверены, что это делают добро?

- Может ли ML быть инструментом для избавления от дискриминации? Например, анализировать ее проявления в существующих компаниях для последующей корректировки? Есть ли подводные камни?

- Существуют ли какие-то практики оценки субъективности данных, основанных на человеческом опыте, и их корректировки? Например, в случае с Amazon, где алгоритм учился на годах работы HR-отдела. Там опыт был неудачный, но, возможно, они что-то недокрутили?

#### Всякие ссылки

https://www.technologyreview.com/s/613274/facebook-algorithm-discriminates-ai-bias/
(тут есть графики)

https://hbr.org/2019/05/all-the-ways-hiring-algorithms-can-introduce-bias
и целая работа от них же: https://arxiv.org/pdf/1904.02095.pdf

https://www.theguardian.com/commentisfree/2017/apr/20/robots-racist-sexist-people-machines-ai-language
(тут скорее про natural language)

https://becominghuman.ai/amazons-sexist-ai-recruiting-tool-how-did-it-go-so-wrong-e3d14816d98e
(медиум за пейволом, сохранил в док; анализ истории с Амазоном, где ML тренировался на собственной базе резюме) То же у Reuters: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G

https://time.com/5520558/artificial-intelligence-racial-gender-bias/
(как раз от черной активистки статья)

https://rm.coe.int/discrimination-artificial-intelligence-and-algorithmic-decision-making/1680925d73
(исследование от ЕС)

https://www.sciencedaily.com/releases/2019/07/190710121649.htm
(для разнообразия - использование ML для выявления дискриминации)



