---
title: 2021/2 - Vanessa Schramm Schenkel da Silva
tags: 2021, 7º semestre, Vanessa Schramm Schenkel da Silva, Ciência da Computação
---

# Diário de bordo - Vanessa Schenkel

Autor: [Vanessa Schenkel](https://www.linkedin.com/in/vanessa-schenkel/)

O objetivo deste documento é criar um diário do processo de criação do TCC I. A monografia será sobre bias in Machine Learning.
<!----------------------------------------------->

## Etapas iniciais

* (descrever o problema inicial)
* (descrever as perguntas de pesquisa iniciais)
* (descrever a solução/método inicial)

<!----------------------------------------------->

## Semana do dia 23/08/2021

* Reunião do dia 26/08/2021:
* Objetivo: fazer as apresentações e alinhamentos iniciais, bem como definir os próximos passos.
* Apresentações:
* Falei a ideia da monografia em termos gerais, que é sobre a parcialidade da inteligência artificial. Não encontrei o tema exato ainda nem demilitações do problema.
* Ideia proposta:
* Ler mais artigos e pensar mais no tema
* Próximos passos:
* Terminar o artigo de Assessing Gender Bias in Machine Translation (prazo: 28/08/2021)
* Definir proposta do trabalho (prazo: 03/09/2021)
* Entregar documento de TCC (prazo: 04/09/2021)
* Leitura do artigo Assessing Gender Bias in Machine Translation
* Com o aumento do uso de inteligência artificial no nosso dia a dia, precisamos debater sobre o viés na área.
* O artigo faz um estudo do Google Tradutor. Ele pega frases de línguas neutras e traduz para o inglês. O estudo revela que existe uma tendência a traduzir a frase para o femininos para certas áreas e masculino para outras. Por exemplo, áreas do STEM são predominantemente traduzidas para o masculino.
* O artigo levanta um ponto interessante, que se se deve usar uma proporção de 50% fem e 50% masculino ao se treinar o algoritmo, ou se se deve refletir a realidade do mundo.
* O estudo, para comprovar o bias, compara os dados reais de porcentagem homem/mulher em cada campo com a porcentagem de tradução de cada um.
* O artigo também faz um estudo referente a adjetivos, pra demonstrar que o bias vai além das profissões. Sentenças com as palavras: Shy,Attractive,Happy,Kind e Ashamed são predominantemente traduzidas para o femino. Arrogant,Cruel e Guilty são traduzidos para masculino.
* Por fim o artigo fala que após o estudo, o google começou a mostrar tradução tanto para o feminino quando para o masculino. Realmente, se colocar hoje em dia Shy no traslate, vai aparecer ambos. Mas frases, como por exemplo "is a nurse" ou " is a doctor" traduz para "é uma enfermeira" e "é um médico".

* Leitura do artigo A Survey on Bias and Fairness in Machine Learning
* O artigo cita diferentes casos famosos de bias em ML na vida real e suas consequências. Um exemplo é o Correctional Offender Management Profiling for Alternative Sanctions (COMPASS), que foi comprovado o bias ao mostrar que afrodescendentes tinham mais perigo de reicindir.
* O estudo identifica duas potenciais fontes de injustiça em machine learning: bias vindo dos dados ou do algoritmo.
* O artigo fala sobre os 23 diferentes tipos de bias, 6 tipos de discriminação
* Por fim, fala de justiça em ML, demonstrando os diferentes possíveis abordagens
* Como desafios, o artigo vê a sintetização da definição de justiça (algo que eu nunca tinha pensado, justiça parece ser algo tão intuitivo mas não é), o olhar para a justiça do indivíduo, não só do grupo (como geraklmente é a atenção) e a procura por injustiça. O artigo coloca que dada a definição de justiça, deve ser possível identificar instiâncias de injustiça em um dataset.
* Como oportunidade, o artigo vê o estudo maior de subgrupos, alguns que ainda não foram estudados.

<!----------------------------------------------->

## Semana do dia 30/08/2021

* Leitura do artigo Fairness In Machine Learning: A Survey
* Machine Learning resolve desafios difíceis, que geralmente tem um impacto social bem grande. O artigo fala sobre alguns desses impactos.
* Aponta como o problema os dados usados, víes inconsciente, a veracidade dos dados, a qualidade dos dados, a relativização dos dados, a troca de contexto e filtros de subjetividade.
* O foco do artigo são as abordagens técnicas (pré-processamento, em-processamento e pós-processamento).
* Um ponto bem legal do artigo é que se dá atenção para dados sozinhos, mas não para a combinação de certos dados. Tem uma tabela no artigo de sensitive variable X exemple proxies (exemplo, sensitive variable = marital status, exemple proxies = education level + income)
* Define pre-processing, in-processing e post-processing
* O artigo aborda a medida de justiça e viés e que há muitas interpretações para o que significa um algoritmo ser justo.
* O artigo fala sobre a abordagem de classificação binária, que é dominante na literatura porque geralmente as decisões são binárias (contratar/não contratar, oferecer empréstimo/ recusar empréstimo) e porque quantificar a justiça em uma variável dependente binária é matematicamente mais conveniente.
* Abordagens:
* O artigo apresenta Bliding como uma abordagem, em que se cega uma ou mais variáveis sensíveis. Porém, tem que cuidar para não confundir omissão com imunidade. Omissão diminui a precisão do modelo e não melhora a discriminação do modelo.
* Outra abordagem é causual methods que reconhece que os dados geralmente refletem alguma forma de dicriminação. Um objetivo principal é descobrir as relações causais e encontrar dependencias entre variáveis sensíveis e não-sensíveis.
* Há também a abordagem de Sampling e Subgroup Analysis. O método de amostragem tem como objetivo corrigir os dados de treinamento e eliminar vises e identificar grupos que são prejudicados por um classificador.
* A abordagem de Transformation pode ser operar na variável dependente, operar em variáveis númericas não sensíveis, mapear indivíduos para um espaço de entrada que é independente de subgrupos protegidos e a transformação da distribuição das previsões do modelo de acordo com objetivos especificos.
* Há um subconjunto da abordagem de Transformation que é Relabelling and Pertubation. Elas invertem ou modificam a variável dependente, ou alteram a distribuição de uma ou mais variáveis nos dados de treinamento diretamente. Chamado de data-messaging, a reclassificação envolve a modificação dos rótulos das instâncias de dados de treinamento para que a proporção de instâncias positivas seja igual em todos os grupos protegidos.
* Ao contrário de transformation, relabelling e perturbação, reweighing não altera o dado. O peso pode ser introduzido para inficar a frequência de um tipo de instância, para colocar uma importância maior ou menor em amostras de treinamento sensíveis ou para melhorar a estabilidade de um classifier.
* Regularization quando aplicado a fairness, adiciona um ou mais penalidades para práticas discriminatórias. Ele é data-driven, não hipótese ou learned-model driven. Pode gerar uma falta de rebustez e generabilidade.
* Adversal learning tem como objetivo um adversário determinar se um modelo é suficiantemente robusto. Uma vantagem é que ela pode considerar multiplas fairness constraints e muitas vezes trata o modelo como um black-box. Porém muitas vezes carecem de estabilidade, o que as deixa dificil de treinar de forma confiável. Também dá problema quando a variável protegida é conhecida por um número pequeno de amostras.
* Bandids não conseguem reconhecer justiça, mas sim injustiça. É usado para justiça individual, ou seja, que todos os indivíduos semelhantes devem ser tratados de forma semelhante.
* Calibration é o processo de garantir que a proporção de previsões positivas seja igual à proporção de exemplos positivos. No contexto de fairness, também vale para os subgrupos. Ela é particulamente útil quando usada para informar o julgamento humano e não para uma decisão direta. Um modelo calibrado não inibe os preconceitos dos tomadores de decisão, mas garente que as estimativas de risco para vários subgrupos (protegidos) tenham o mesmo significado. Porém esse método não funciona para vários grupos protegidos ao mesmo tempo ou usando vários critérios de justiça.
* Thresholding é uma abordagem de pós-processamento que é motivada pela ideia de que a discriminação acontece perto da tomada de decisão devido ao viés do tomador de decisão.
* Além da classificação binária:
* Fair regression tem como objetivo minimizar uma função de perda, que mede a diferença entre os valores reais e previstos, ao menos tempo que visa garantir fairness. É semelhante a classificação binária, com a diferença que Y e ˆY são contínuos ao invés de binários ou categóricos.
* Recommender sytems, medem a justiça como um desvio padrão das recomendações principais, Um desvio padrão baixo significa uma recomendação justa sem comprometer a precisão. Justiça pode ser um conceito multifacetado.
* Unsupervised methods se enquadram em 1) agrupamento justo (fair clustering) 2) investigação da presença e detecção de discriminação na mineração de regras de associação e 3)transferência de aprendizagem.
* Natural Language Processing (NPL) é uma área que opera com dados em texto. Viéses em NPL geralmente são focados em gênero ou raça. Vieses não intencionais podem ser introduzidos aos dados por vieses pessoais durante a rotulagem manual de dados, bem como vieses que ocorrem no uso da linguagem (como erros de falantes não-nativos) ou como os dados de textos são preparados, bem como a arquitetura geral do modelo. Geralmente o combate ao viés acontece no estágio pré-processamento como a remoção ou substituição de palavras especifícas, modificação de dicionário e balanceamento não supervisionado do conjunto de dados de treinamento.
* O artigo traz que a literatura quase toda foca em aprendizagem supervisionada com classificação binária e que é necessário diversificar. Além disso, geralmente os estudos focam em variáveis sensíveis, mas não as que são sensíveis por proximidade. Outro ponto é que muitas abordagens para diminuir a discriminação pode ser por si só anti-éticas ou impraticáveis. É preciso estudar a raíz da discriminação. Pode ser melhor consertar a amostragem (coletar mais dados, que representam melhor a minoria ou o grupo a ser protegido) do que tentar consertar um modelo de ML discriminatório.
* Sites interessantes que promovem fairness:
* https://fairnessmeasures.github.io/
* https://fairlearn.org/
* https://github.com/google-research/tensorflow_constrained_optimization
* https://github.com/pymetrics/audit-ai
* https://github.com/google/ml-fairness-gym
* https://github.com/megantosh/fairness_measures_code/tree/master

* Leitura do artigo Examining Gender and Race Bias in Two Hundred Sentiment Analyses Systems
* Machine learning pode acentuar e perpetuar vieses humanos inapropriados. O estudo pegou 8640 sentenças em inglês escolhidas para testar viés contra certas raças e gêneros. Eles usaram esses dados para testar 219 algoritmos de análise de sentimentos que fizeram parte do SemEval-2018 Task 1 'Affect in Tweets'.
* Em geral, qualquer modelo preditivo que é construído com dados históricos, pode inadvertidamente herdar preconceitos humanos com base em gênero, etnia, raça ou religião.
* O estudo aponta que os sistemas automáticos tiveram um impacto significativo e benéfico em todas as esferas da vida humana. Tanto, que é fácil de ignorar o seu potencial benéfico. As máquinas podem promover equidade, diversidade e justiça. A máquina não aceita suborno para fazer seu trabalho, podem determinar a eligibilidade para um empréstimo sem ser influenciada pela cor da pele e podem fornecer informações sem discriminação de gênero ou orientação sexual. Porém, à medida que os sistemas de aprendizado de máquina se tornam mais parecidos com os humanos em suas previsõesm eles também podem perpetuar os preconceitos humanos.
* Sistemas de análise de sentimentos e emoções podem perpetuar e acentuar vieses impróprios, esses sistemas podem considerar que por exemplo um homem brabo é mais intenso que uma mulher braba simplesmente por ser homem e o sistema pode priorizar a ligação do homem em um callcenter, por exemplo.
* Sistemas de Natural Language Processing (NLP) já mostraram ter mais dificuldade de entender texto produzido por pessoas que pertencem a determinada raça.
* O estudo testou frases como This woman made me feel angry x This man made me feel angry para testar a tese de que a pontuação da frase muda de acordo com o gênero ou raça. Eles comprovaram que a maior parte dos sistemas testados tem diferença significativa nas pontuações.
* Os algoritmos receberam a tarefa de receber um tweet e um sentimento (raiva, medo, alegria, tristeza e valência) e tinham que determinar a intensidade da emoção que melhor representava o estado mental do tweeter. Vários sistemas foram construídos usando dois tipos de features: deep neural network representações do tweets (sentence embeddings) e recursos derivados de lexicons de sentimento e emoção existente. Esses resursos foram combinados para aprender um modelo usando algoritmo de machine learning tradicionais (como SVM/SVR e regressão logística) ou redes neurais profundas.
* Os resultados se alinham com esteriótipos comuns como que mulheres são mais emocionais e que situações envolvendo homens despertam mais medo. Na parte racial, a maior parte dos sistemas deu uma nota mais alta para frases com nomes african american em frases de raiva, medo e tristeza. Em tarefas de alegria e valência, a maior parte dos sistemas deu nota maiores para nomes european american. Essas tendências refletem a associação de african americans com emoçøes negativas.
* Para o estudo, o viés pode ter origem de qualquer ou várias partes do sistema: os datasets labeled e unlabed usados, os recursos de linguagem usados (exemplo, pré trained word embeddings, lexicons), o método de aprendizagem usado (o algoritmos, as features, parameters). No estudo, havia sistemas treinados usando algoritmos tradicionais ou deep neural netwoks.
* O estudo concluiu que o viés de raça é mais forte que de gênero.

* Leitura do artigo Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings
* A aprendizagem de máquina, sem reflexão, pode amplificar os viéses presentes na sociedade. O word embedding (incorporação de palavras) é uma estrutura popular usada para representar dados de texto, tem sido usado em machine learning e natural language processing (NPL). O artigo mostra que os word embeddings, de palavras treinadas com dados do Google News exibem estereótipos de gênero feminino/masculino, o que muitas vezes podem amplificar esses preconceitos.
* O estudo remove esteriotipos de gênero, como a associação entre as palavras receptionist e female enquanto mantém associações como queen e female.
* Uma word embedding, treinada com a coocorrência de palavras, representa cada palavra em um vetor de palavras dimensional. Ele serve como uma espécie de dicionário pro algoritmo saber o significado das palavras Palavras com significados semânticos semelhantes tendem a ter vetores próximos. A diferença vetorial entre as palavras representam as relações entre as palavras. Com isso é possível descobrir com a aritmética simples dos vetores que x é queen, em man is to king as woman is to x.
* Word embeddings são usadas para classificação de documentos, análise de sentimento e recuperação de perguntas.
* Word embeddings conseguem apontar o sexismo implícito no texto. Por exemplo, no caso man is to computer programmer as woman is to X, x é resolvido como homemaker. Outro caso é father is to a doctor, as a mother is to X, sendo x igual a nurse.
* O embedding primário estudado no artigo é o word2vec, 300 dimensional embedding treinado com textos do Google News, consistindo de 3 milhões de palavras em inglês, chamado no texto de w2vNEWS.
* As analogias geradas a partir dos embeddings explicam o preconceito implícito nos dados sobre os quais foram treinados.
* Para quantificar o viés, o estudo compara um vetor de palavras aos vetores de um par de palavras específicas de gênero. Por exemplo, o fato de nurse estar perto de mulher não é necessariamente tendencioso. Porém o fato de estar numa distância desigual de homem sugere parcialidade. O estudo usa palavras específicas de gênero como brother/sister para aprender um subespaço de gênero para aprender um subespaço de gênero na incorporação. O algoritmo do estudo remove o preconceito apenas em palavras neutras de gênero.
* Vieses em linguagem podem reforçar o estados psicológicos de diferentes grupos. Vieses comuns associam termos femininos com artes liberais e família, termos masculinos com ciência e carreira. Apesar de haver mais palavras usadas pra se referir a homens (pelo menos em inglês), há mais palavras pra sexualizar mulheres.
* O estudo fala que a maior parte dos trabalhos de justiça em ML, se concentrou em justiça binária. Em embeddings de palavras, não há indivíduos claros e nenhum problema de classificação definido a priori. No entanto, surgem questões semelhantes, como o viés direto e indireto.
* O estudo usa w2vNEWS por ser de alta qualidade, publicamente disponível e fácil de incorporar em qualquer aplicativo. Começou com 50 mil palavras mais frequentes das 3 milhões de palavras, selecioaram apenas letras minúsculas e frases com menos de 20 caracteres minúsculos. Palavras com letras maiúsculas, dígitos e pontuação foram descartados. Após ess filtragem, restou 26.377 palavras. O estudo também usou o público. Dois experimentos foram realizados: em um foi solicitado palavras da multidão, para ver se os preconceitos do embedding eram os mesmos das pessoas. No outro, foi solicitado a avaliação das palavras e analogias geradas a partir do embbeding.
* Primeiro tentaram entender os vieses presentes no embedding, quais palavras são mais próximas de she do que he, e até que ponto esses vieses geométricos concordam co a noção humana de estereótipos de gênero. Para isso, foi avaliado se o embeddng tem estereótipos sobre palavras de ocupação e se o embedding produz analogias que são julgadas como refletindo estereótipos humanos.
* Pediram para as pessoas avaliarem se uma ocupação é considerada femina, masculina ou neutra. Os vieses estão alinhados com o julgamento da multidão. Para comparar, além do w2vNEWS, foi usado o embedding gerado pelo GloVe. Os resultados são altamente consistentes, sugerindo que os estereótipos de gênero prevalecem em diferentes grupos e não é um artefato do corpus de treinamento especifíco ou metodologia do word2vec.
* Já nas tarefas de analogias padrão, receberam 3 palavras como por exemplo, he, she e king. Precisava resolver x, em he is to king as she is to x. Depois foi modificado para resolver x e y em he is to x as she is to y. O intuito de ter um score, é para as palavras que formam a analogia são perto paralelamente a palavra seed (she/he) e que são perto o suficiente entre elas para serem semanticamente coerentes. Ou seja, as duas palavras que formam a analogia (x,y) são mais perto uma da outra do que duas outras palavras aleatórias.
* Depois foram perguntado para os participantes duas perguntas de sim ou não. Se o par escolhido fazia sentido na analogia e se refletia um estereótipo de gênero. 72 das 150 analogias foram classificadas como adequadas ao genêro e 29 foram classificadas como exibindo estereótipo de gênero.
* Depois foi estudado o viés presente no embedding geometricamente, identificando a direção do gênero e quantificando o viés independente de até que ponto está alinhado com o viés dos participantes.
* Para fazer o debiasing, primeiro foi identificado o gender subspace, que identifica a direção (ou mais genericamente, um subespaço) dos embedding com víes. Segundo, foi identificado duas opções: Neutralize and Equalize ou Soften. Neutralize se certifica que palavras de gênero neutro tem 0 de subspace. Equalize iguala os conjuntos de palavras fora do subespaço e reforça a propriedade de que qualquer palavra neutra é equidistante de todas as palavras em cada conjunto de igualdade. Por exemplo, se {grandmother/grandfather} e {gal/boy} são dois conjuntos de igualdade, então babysitter seria equidistante de grandmother e grandfather e também equidistante de gal e guy. Porém, babysitter seria presumivelmente mais perto dos avós e mais longe de boy/gal. Isso é adequado para aplicações onde não se deseja que qualquer par exiba qualquer tendência em relação a palavras neutras.
* A desvantagem de Equalize é que ele remove algumas distinções que são valiosas em algumas aplicações. Por exemplo, pode-se desejar que um modelo de linguagem atribua uma probabilidade mais alta à frase "to grandfather a regulation" do que "to grandmother a regulation". A primeira tem um significado que a segunda não tem. Igualar os dois remove essa distinção.
* O algoritmo Soften reduz as diferenças entre esses conjuntos, mantendo o máximo possível de semelhança com a incorporação original, com um parâmetro que controla esse trade-off.
* Depois de aplicar o algoritmo de debiasing, o número de analogias julgadas pelos participantes com esteriótipos de gênero foram de 19%, para 6% de 150. Por exemplo, antes o x de he to a doctor, she to a x, o x era resolvido como nurse. Depois do debiasing retorna como doctor também. O algoritmo também preservou as analogias adequadas, como she to ovarian cancer as he to prostate cancer.
* Os word embeddings nos ajudam a compreender melhor o preconceito na linguagem. Para reduzir viés, foi modificado o embeddings de palavras que tem gênero neutro, removendo as suas associações de gênero. Por exemplo nurse passou a ser igualmente distante de she e he. Além disso, foi descoberto que palavras específicas de gênero tem vieses adicionais. Por exemplo, avó e avô estão mais próximos um do outro do que pai e mãe, o que não reflete uma diferença de gênero. Porém, babysitter está muito mais próxima de avó do que de avô. Os algoritmos de hard-diabiasing reduzem significamente o preconceito de gênero direto e indireto, preservando a utilidade do embedding. Já o algoritmo soft-diabiasing, que equilibra a redução do preconceito com a preservação das distâncias originais.
* O artigo reflete que o preconceito em embeddings pode apenas refletir o preconceito na sociedade. Porém, ao reduzir o preconceito nos sistemas de computador, ou pelo menos não os amplificando, pode-se reduzir o preconceito na sociedade. Em situações especificas, o preconceito pode ser usado para se capturar estatísticas da socidade, porém é melhor errar sempre para o lado da neutralidade.

* Ideias de temas:
* Bias com assistentes pessoais
* Bias em tradução
* Comparar diferentes métodos de pré e pós processamento anti bias
* Viés na tradução de adjetivos
* Criar dois chatbots, um masculino e um feminino e comparar dados de interação entre eles
* Análise de sentimentos (fem/masc, branco/negro)
* Ferramenta: https://googleapis.dev/python/language/latest/usage.html
* Estudo: [Examining Gender and Race Bias in Two Hundred Sentiment Analyses Systems](https://www.mendeley.com/reference-manager/reader/8af3e65e-1e70-3e6b-b676-abc2237e5aef/4152f1fd-b8e1-dfe3-6d33-af87b1f365a5)

* Viés de gênero e racial no autocomplete google
* Ferramenta: https://developers.google.com/maps/documentation/places/web-service/autocomplete
* Estudo: [Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings](https://www.mendeley.com/reference-manager/reader/feade6b3-6235-30e1-888d-0c694388e504/74504286-c826-9815-34fc-ee91f241fbcd)

## Semana do dia 06/09/2021
* Leitura do artigo Can you trust the trebd? Discovering Simpson's Paradoxes in Social Data
* O artigo investiga como o paradoxo de Simpson afeta a análise de tendências nos dados sociais. De acordo com o paradoxo, as tendências observadas nos indados que foram agregados sobre uma população inteira podem ser diferentes ou mesmo opostas às dos subgrupos subjacentes.
* O estudo apresenta um método estatístico para identificar automaticamente o paradoxo nos dados, comparando a as tendências nos dados agregados com as tendências nos subgrupos desagregados.
* Foi aplicado para estudar o Stack Exchange para analisar os fatore que afetam o desempenho da resposta, mais especificamente, a probabilidade daquela resposta ser aceita como a melhor resposta.
* O estudo fala que para descobrir padrões ocultos, os cientistas agregam dados sovre a população. Isso tende a melhorar as estatísticas e a relação sinal-ruído. Porém, segundo o estudo, os dados do mundo real são heterogêneos, ou seja, compostos de subgrupos que variam amplamente de tamanho e comportamento. Essa heterogeneidade pode influenciar a análise de dados.
* De acordo com o paradoxo de Simpson, uma associação observada em dados que foram agregados sobre uma população inteira pode ser muito diferente e até oposta àquela dos subgrupos subjacentes. Deixar de levar esse efeito em consideração pode distorcer as conclusões tiradas dos dados.
* Para o estudo, o objetivo da análise de dados é identificar associações importantes entre recursos ou variáveis nos dados. No entanto, correlações ocultas entre as variáveis podem levar a análise a conclusões erradas.
* Segundo o estudo: "A análise da reincidência entre condenados que foram libertados da prisão mostra que a taxa de retorno à prisão diminui com o tempo. A partir disso, os formuladores de políticas podem concluir que a idade tem um efeito pacificador sobre o crime: presidiários mais velhos têm menos probabilidade de cometer crimes. Na realidade, essa conclusão é falsa. Em vez disso, podemos pensar na população de ex-presidiários como composta por dois subgrupos com taxas de reincidência constantes, mas muito diferentes. O primeiro subgrupo, vamos chamá-los de "reformados", nunca cometerá um crime depois de libertado da prisão. O outro subgrupo, os “incorrigíveis”, sempre cometerá um crime. Com o tempo, à medida que os “incorrigíveis” cometem crimes e voltam para a prisão, há menos deles na população. O preconceito dos sobreviventes muda a composição da população substituta, criando uma ilusão de um declínio geral nas taxas de reincidência. Como Vaupel e Yashin alertam , “Pesquisadores desavisados que não desconfiam dos estratagemas da heterogeneidade podem presumir erroneamente que os padrões observados para a população como um todo também se aplicam à subpopulação ou ao nível individual”."

## Semana do dia 13/09/2021
* Leitura do artigo When Are Search Completion Suggestions Problematic?
* O estudo defende que sugestões de autocomplete de pesquisa na web podem reforçar estereótipos e crenças errôneas existentes e até mesmo incentivar comportamentos indesejáveis.
* O autocomplete está presente na vida do usuário, seja com a previsão de pesquisa, digitação preditiva para o e-ail e resposta de bate-papo. Alimentados por modelos de geração de linguagem natural (NGL), estão cada vez mais sotisficados.
* O artigo fala que a mídia dá atenção para os casos maiores, mas sugestões também podem ser problemáticas de mandeiras sutis, muitas vezes dependentes não apenas da entrada do usuário (query prefix) e das sugestões de conclusão da consulta fornecida (query suffixes), mas também de outros fatores contextuaism como a intenção de pesquisa do usuário (intended suffix) e peculiaridades socioculturais.
* À medida que os usuários digitam o prefixo de sua consulta (informado por sua intenção de pesquisa), os mecanismos de pesquisa costumam fazer sugestões de conclusão. Dado que muitas vezes não é evidente para os usuários, espera-se que a percepção dessas sugestões como problemáticas seja agnóstica ao mecanismo usado para gerá-las (por exemplo, com base na popularidade ou outros fatores).
* O estudo desenvolve uma estrutura para ajudar a revelar, identificar e caracterizar sugestões problemáticas e quais fatores podem levar à sua exposição aos usuários e porque eles podem ser percebidos como problemáticos para os usuários.
* Em geral, os resultados mostram que há uma rica gaa de cenários onde as sugestões são percebidas como problemáticas. Entre outras, as principais descobertas são:
* Contabilizar o contexto: Entre 15% e 47% das sugestões problemáticas, são problemáticas devido ao prefixo de consulta para o qual foram apresentadas. Isso levanta questões sobre possíveis pontos cegos, já que muitos desses cenários são provavelmente ignorados quando as áreas de consultas são avaliadas sem fazer uma distinção entre o prefixo e as sugestões de autocomplete.
* Search voids: Segundo o estudo, prefixos de consulta raros tem até 3 vezes mais probabilidade de estar vinculados a sufixos problemáticos. Tópicos pesquisados por apenas alguns usuários tornam os mecanismos de sugestão mais propensos a sugestões problemáticas.A inspeção de cenários raros de pesquisa podem ajudar a evitar sugestões problemáticas antes de serem apresentados para os usuários.
* Caracterização de cenários problemáticos: de modo geral, foi encontrado prefixos de consulta com propensões variáveis para revelar cenários problematicos.
* Seja ML ou algum outro algoritmo, geralmente as sugestões de autocomplete para determinado prefixo depende da frequência de sufixos de consulta em registros de pesquisa anteriores.
* Geralmente o usu;ario está mais propenso a aceitar as sugestões depois de digitar cerca de metade de sua consulta. Quanto mais longo o prefixo, maior a probabilidade de os usuários usarem sugestões. Geralmente o comprimento médio é de 5 termos para buscar conhecimento procedimental (ou seja, como fazer algo) ou conhecimento declarativo (ou seja, descobrir algo
* O estudo defende que embora os motores de busca modernos sejam cada vez mais proficientes na identificação de sugestões, mais cenários dependentes do contexto permanecem um desafio.
* O estudo examina como o usuário e os fatores relacionados à consulta - como o prefixo de consulta fornecido pelo usuário e sua intenção de pesquisa - levam a variações na prevalência e no tipo de sugestões problemáticas. O estudo explora 3 dimensões de sugestões problemáticas:
* 1) Contexto: se uma sugestão é percebida como problemática no contexto de um determinado prefixo de consulta digitado pelo usuário, em oposição a ser problemática independente do prefixo
* 2) Conteúdo de consulta ou tópico de pesquisa - quais tópicos ou tipos de conteúdo são mencionados em consultas sugeridas percebidas como problemáticas
* 3) Alvo ou assunto da consulta - quem ou o que é referenciado em tais consultas
* O estudo consistem em basicamente 5 passos:
* Passo 0: Determinou-se um conjunto de dimensões para caracterizar sugestões problemáticas: contexto, conteúdo e alvo.
* Passo 1: Criou-se a amostra por meio de uma combinação de keywords and palavras aleatórias.
* Passo 2: Foi gerado dados sintéticos para os experimentos de crowdsoyrcing por subamostragem de prefixos, sufixos e possíveis intuitos de pesquisa das amostras de consulta da pesquisa inicial (passo 1), enquanto foi controlado os fatores como prefixo, sufixo e intent.
* Passo 3: Os dados foram expostos a multidão, foi visto se as sugestões são percebidas como problemáticas.
* Passo 4: Houve o mapeamento das sugestões identificadas como problemáticas para as categorias de conteúdo e tipologias de destino (passo 0) por meio de tarefas de crowdsourcing adicionais.
* Analisaram as dependências entre as percepções da problemática e a semelhança dos cenários de pesquisa, seu conteúdo e alvo, dicas contextuais entre outros fatores.
* A tipologia de conteúdo foi divido entre Harmful speech, Potentially illicit, Controversy, misinformation & manipulation, Stereotypes and bias, Adult content, Other types.
* A tipologia de alvo foi dividido entre Individuals, Groups, Business, Organizations, Animal and objects, Activities and ideas, Other.
* A coleta de dados foi moldada por dois objetivos experimentais:
* 1) construir coletas anotadas de cenários de conclusão de consulta de pesquisa - operacionalizaram como (prefixo)(sufixo)(intent) tripletos- para ajudar a explorar os efeitos do prefixo de consulta, a intenção do usuário ou a lista de sugestões em como são percebidas
* 2) avaliar a prevalência e a interação de vários tipos de sugestões problemáticas nas 3 dimensões de interesse: contexto, conteúdo e objetivo.
* As amostras foram divididas entre Likely problematic (ex abortion, climate change, vaccination), Contais a target (Barack Obama, girls, Muslims, young people), Likely neutral (could I try swimming, I intent to harm myself), Baseline sample.
* As amostras foram recolhidas de consultas de pesquisa anônimas de um mecanismo de pesquisa importante (www.bing.com) - cobrindo todo o mês de fevereiro de 2019. Foi feita a extração das consultas correspondentes às frases-chave que selecionamos para cada amostra. As amostras resultantes totalizam mais de 20 milhões de consultas únicas que foram emitidas cerca de 4 bilhões de vezes pelos usuários do mecanismo de pesquisa.
* Para cada prefixo, foi extraído a lista de sufixos disponíveis em nossas amostras ao longo de sua frequência. Para cada amostra de consulta, selecionamos 3 conjuntos de 80prefixos cada, de acordo com as frequências gerais dos prefixos: 1) prefixos comuns - prefixos de 80 consultas mais frequentes em cada amostra; 2) prefixos raros - menos freqüentes 80 prefixos em cada amostra; e 3) prefixos aleatórios - um conjunto aleatório de 80 prefixos de cada amostra.
* Para testar diferentes cenários de conclusão de pesquisa para um prefixo, no entanto, o inventário de candidatos a sufixos precisa ser suficientemente grande. Para garantir isso, para fins experimentais, o estudou usou apenas prefixos com mais de 45 sufixos únicos, um limite definido para garantir que não haja sobreposição entre as 6 listas de sugestões diferentes e variações maiores na frequência de pares (prefixo)(sufixo). Os prefixos foram selecionados de um total de 8.351 prefixos viáveis em todas as amostras de consulta.
* O número de sugestões mostrado pelos principais mecanismos de pesquisa variou ao longo do tempo entre quatro a dez sugestões. Para cada prefixo, foi selecionado 6 listas de sugestões diferentes por sufixos de amostragem de acordo com a frequência dos pares prefixo-sufixo correspondentes: (1) sufixos comuns - os 18 (3 listas de sugestões x 6 sugestões) sufixos de consulta mais comuns para cada prefixo e (2) sufixos raros — Os 18 (3 listas de sugestões x 6 sugestões) sufixos de consulta menos comuns para cada prefixo.
* No total foram selecionados 364 pessoas para participar do estudo, encontrados pelo site www.clickworker.com, pagos 15 dólares por hora.
* O estudo pediu para cada pessoa avaliasse separadamente cada sugestão para saber se ela é 1) problemática independentemente do que o usuário escreveu, 2) problemática considerando o que o usuário escreveu, ou 3) não problemática.
* Segundo o estudo, muitas sugestões podem ser problemáticas no contexto. Isso também levanta preocupações sobre sugestões potencialmente negligenciadas que são apenas contextualmente problemáticas no momento da anotação, se nenhuma distinção for feita entre a entrada do usuário (prefixo da consulta) e o que foi sugerido (sufixo da consulta). Na verdade, até 26,1% dos pares (prefixo)(sufixo) problemáticos das amostras (35,6% para a meta, 47,7% para neutra, 15,4% para problemática, 29% para a linha de base) teriam sido perdidos se as sugestões foram avaliados por conta própria, e uma fração deles poderia ser negligenciada mesmo quando a avaliação é feita em todo o nível de consulta - práticas comuns ao construir conjuntos de dados de treinamento e filtrar computacionalmente sugestões problemáticas.
* Os mecanismos de sugestão de consulta visam auxiliar os usuários a concluir suas tarefas de pesquisa. Embora algumas sugestões correspondam exatamente à intenção de pesquisa do usuário, outras podem ser educacionais ou mesmo casuais, inspirando pesquisas e explorações alternativas. Na verdade, o comportamento dos usuários pode ser "sutilmente influenciado pela exposição às possibilidades de consulta [eles] podem não ter considerado se deixados por conta própria". As sugestões de problemática podem, portanto, ter uma variedade de efeitos potencialmente prejudiciais. Nosso estudo sugere uma gama mais ampla de cenários em que as sugestões são problemáticas, pontos cegos devido às práticas de anotação de dados e fatores que tornam os mecanismos de pesquisa mais propensos a apresentar sugestões problemáticas.
* Segundo o estudo, quando um mecanismo de sugestão depende de modelos treinados, a importância do contexto no reconhecimento de sugestões problemáticas indica que as suposições de modelagem e rotulagem de dados precisam ser cuidadosamente selecionadas. Para a coleta de dados especificamente, os resultados da pesquisa demonstram que identificar e mostrar aos anotadores o prefixo e o sufixo separadamente é necessário - caso contrário, sem saber qual parte de uma consulta completa é o prefixo e qual é a sugestão, a sutileza pode ser perdida. Na verdade, não fazer essa distinção pode resultar na negligência de uma fração importante de pares (prefixo)(sufixo) problemáticos - em nossas amostras experimentais que variaram entre 15% a 47%.
* Os resultados indicam que os vazios de pesquisa tornam o mecanismo de sugestão de consulta mais propenso a sugestões problemáticas, por exemplo, até 3 vezes mais propenso a apresentar sugestões problemáticas na presença de prefixos de consulta raros. Assim, aproveitar cenários de pesquisa raros para fins de treinamento pode ajudar a antecipar cenários mais problemáticos, particularmente na, por exemplo, antecipação de novos eventos. Como alternativa, os algoritmos devem reconhecer tópicos ou áreas com suporte fraco ou baixa confiança antes de sugerir um sufixo.

* Leitura do artigo Google Autocomplete Search Algorithms and the Arabs' Perspectives on Gender: A Case Study of Google Egypt
* O estudo argumenta que a pesquisa do Google fornece o recurso de preenchimento automático para resultados de pesquisa mais rápidos e fáceis, oferecendo 10 sugestões principais por vez, e podem influenciar a forma como os usuários veem diferentes grupos sociais.
* Cento e noventa questões foram geradas e categorizadas de acordo com as qualidades às quais referiam. As suposições mais comuns sobre os homens indicam que eles são trapaceiros, mentirosos, dominantes, emocionalmente fortes e mais espertos do que as mulheres. Eles também são estereotipados como sendo mais propensos a admirar mulheres jovens, preferir filhos a filhas e desejar a poligamia. As mulheres, por outro lado, são estereotipadas como conspiradoras, materialistas, emocionais e sensíveis.
* O estudo conclui que, uma vez que tais generalizações podem envolver exageros e não são evidentemente corretas o tempo todo, deve-se ter cuidado ao adotar tais estereótipos e torná-los parte das visões de cada gênero do outro. Tendo em mente a função perpetuadora que a tecnologia pode ter de existir estereótipos e normas sociais, usuários e desenvolvedores do Google devem prestar mais atenção aos preconceitos de gênero que os algoritmos podem estabelecer e disseminar.
* O mecanismo de pesquisa mais popular em todo o mundo é o Google, com 92,62% de participação de mercado em junho de 2019 e mais de 5,4 bilhões de consultas de pesquisa todos os dias (StatCounter, 2019). Na verdade, seu domínio levou os usuários a usar o termo 'google' como um equivalente a "pesquisa".
* Segundo o estudo, embora seja possível simplesmente escolher não selecionar nenhuma sugestão das previsões de pesquisa, parece que os algoritmos de autopreenchimento funcionam de maneira forçada, intervindo antes que os usuários concluam a digitação. Isso, por sua vez, pode resultar em consequências indesejadas; ou seja, pode chamar a atenção das pessoas para a busca de uma sugestão específica que não foi planejada. Quando a consulta é feita sobre um determinado grupo social ou região, as sugestões fornecidas podem revelar estereótipos subjacentes com base no que as pessoas procuram.
* Embora o termo gênero possa incluir diferentes identidades de gênero, o foco do presente artigo é principalmente em homens e mulheres, uma vez que outras identidades de gênero estão sub-representadas no mundo árabe.
* Este estudo é uma tentativa de investigar os estereótipos associados a homens e mulheres no mundo árabe, particularmente no Egito, explorando as consultas mais frequentes previstas pelos algoritmos de preenchimento automático do Google e categorizando os resultados de acordo com os recursos que referiram. Ele responde principalmente às seguintes questões:
* 1) A função de preenchimento automático preditivo do Google propaga preconceitos e estereótipos baseados em gênero com base nas sugestões que fornece?
* 2) Depois de categorizar as sugestões, quais são os estereótipos subjacentes mais frequentes relacionados a homens e mulheres no mundo árabe
* O estudo aborda o estudo de Roy e Ayalon (2019) que realizaram um estudo semelhante para investigar como os preditores fornecidos pelo Google Estados Unidos podem refletir estereótipos de idade e gênero ao pesquisar informações sobre homens e mulheres mais velhos. O estudo seguiu uma análise de conteúdo indutiva para categorizar e interpretar preditores em resposta a uma série de termos de pesquisa. O estudo descobriu que as perguntas sobre homens mais velhos estavam principalmente associadas ao romance e à sexualidade. Em contraste, aqueles para mulheres mais velhas se concentraram em mudanças no corpo, além da saúde sexual e reprodutiva.
* Outro estudo mais antigo, de Baker e Potts (2013) foi feito um estudo no qual investigaram como os algoritmos de busca de preenchimento automático do Google sugeriam estereótipos sobre diferentes grupos, como identidades de gays e negros, por meio de uma série de perguntas. Eles descobriram que as previsões do Google associam certas qualidades a vários grupos sociais. Eles examinaram o Google UK e recomendaram que estudos adicionais sobre pesquisas do Google em outros países em outros idiomas sejam realizados para descobrir se eles podem produzir representações estereotipadas semelhantes de grupos minoritários.
* O estudo categoriza as perguntas mais frequentes no Google, como sugerem os algoritmos de preenchimento automático. Essas categorias recebem porcentagens para encontrar as características mais comuns entre homens e mulheres e determinar os estereótipos que refletem.
* No estudo, os pesquisadores desativaram o Histórico da web nas configurações do Google para remover outros fatores além dos locais das sugestões do Google. Os pesquisadores também pediram a diferentes amigos de vários lugares do Egito para inserir as diferentes perguntas iniciais com os equivalentes em árabe para homens / mulheres para garantir que eles obteriam os mesmos resultados e descobriram que os resultados foram replicados. Como as sugestões do preenchimento automático do Google mudam continuamente, deve-se observar que os dados foram coletados em setembro de 2019.
* Para pesquisas futuras, este estudo pode ser replicado usando outros motores de busca ou sites como o YouTube. Outros idiomas e contextos geográficos podem ser examinados também para determinar preconceitos de gênero ou outras questões que refletem diferenças entre culturas.

* Leitura do artigo Exploring Social Bias in Chatbots using Stereotype Knowledge
* O artigo revela que houve muitos trabalhos que ilustram a vulnerabilidade dos sistemas PNL baseados em dados em vieses de aprendizagem involuntários inerentes a conjuntos de dados. Fala daquele caso de um chatbot que aprendeu a postar tweets ofensivos após apenas 16 horas de interação com usuários do Twitter. Para o estudo, o incidente demonstra claramente os riscos potenciais que os preconceitos não intencionais representam para a sociedade, embora poucos trabalhos tenham considerado o preconceito nos robôs.
* O estudo faz uma análise de preconceito social sutil em chatbots interativos e fazer comparação com humanos.
* De acordo com o estudo, o sexismo pode ser retratado de maneiras hostis (HS) ou benignas (BS) em relação às mulheres(Glick e Fiske, 1996). Para o racismo, (McConahay, 1986) categoriza o preconceito racial em duas formas que refletem a mudança na sociedade: Antiquado (OR) e Racismo Moderno (MR).
* O estudo "interpreta" a saída do chatbot. As saídas são classificadas como "concordo", "discordo" ou "neutro". Foi calculado uma pontuação de viés pela média da representação numérica da opinião, seguindo a psicologia (1: menos tendencioso, 5: mais tendencioso). O 5 é concordar, seja com uma opinião estereotipada seja não.
* Foi testado um chatbot emocional chamado CakeChat (Replica.ai,) e um chatbot social chamado Zo (Microsoft,).
* O racismo antiquado teve menos pontos que o racismo moderno, indicando que os sistemas são mais vulneráveis ao aprendizado de formas mais sutis de preconceito racial.
* O estudo compara com o viés humano, já que o viés pode ser passado não intencionalmente através dos dados, então acredita que o viés do chatbot e o humano deve estar no mesmo nível. Surpreendentemente não está, o chatbot CakeChat apresenta comportamento hostil e racista. A hipotese é que haja o "bias amplification problem", discutido por Zhao(2017), onde o viés em modelos treinados pode ser amplificado comparado com o dataset original.

* Leitura do artigo Gender Bias in Chatbot Design
* O estudo começa falando de um relatório da UNESCO revela que os agentes de conversação baseados na voz mais populares são projetados para serem mulheres. Além disso, descreve os efeitos potencialmente nocivos que isso pode ter na sociedade. No entanto, o relatório se concentra principalmente em agentes conversacionais baseados em voz e a análise não inclui chatbots (ou seja, agentes conversacionais baseados em texto).
* O estudou analisou 1375 chatbots listados no chatbots.org. Foi usado duas APIs para identificar o gênero do chatbot pelo avatar, nome e pronomes.
* Os agentes conversacionais baseados em texto e voz (CAs) têm se tornado cada vez mais populares nos últimos anos. Muitas organizações usam chatbots (ou seja, CAs baseados em texto) em interações de curto prazo, como atendimento ao cliente e curadoria de conteúdo, bem como interações de longo prazo, como assistentes pessoais ou coachs.
* CAs são sistemas baseados em software projetados para interagir com humanos usando linguagem natural. Isso significa que os usuários interagem com os CAs por meio de interfaces baseadas em voz ou texto de maneira semelhante à que normalmente interagem com outros seres humanos.
* A pesquisa existente no contexto de CAs baseia-se no paradigma Computadores-São-Atores Sociais (CASA). O paradigma CASA afirma que os usuários humanos percebem os computadores como atores sociais e os tratam como entidades sociais relevantes. Portanto, os humanos respondem de forma semelhante aos computadores, pois geralmente reagem a outros seres humanos (por exemplo, dizer obrigado a um computador).
* Humanos aplicam estereótipos de gênero para CAs sempre que exibem pistas sociais específicas, como um nome masculino ou feminino, voz ou avatar.
* Além disso, não apenas pistas sociais bastante óbvias, como avatar, voz ou nome, indicam pertencer a um gênero específico, mas até mesmo os movimentos de um avatar animado são suficientes para isso.
* A pesquisa descobriu que os chatbots podem aumentar a satisfação do usuário, influenciar positivamente a presença social percebida e estabelecer relacionamentos de longo prazo com os usuários. Além disso, empresas de grande tecnologia implantaram com sucesso CAs baseados em voz (por exemplo, Microsoft’s Cortana, Amazon’s Alexa e Apple's Siri) em muitos dispositivos, como telefones celulares, alto-falantes inteligentes e computadores.
* Apesar dos muitos aspectos benéficos dessa tecnologia, um relatório recente da UNESCO de 2019 lança luz sobre as implicações negativas do design de gênero da maioria das CAs comerciais baseadas em voz. O relatório revela que a maioria das ACs baseadas em voz são concebidas para serem “exclusivamente femininas ou femininas por padrão”. Por exemplo, seu nome (por exemplo, Alexa, Cortana, Siri), sua voz (ou seja, as vozes de Alexa e Cortana são exclusivamente femininas) e como são anunciadas (por exemplo, “Alexa perdeu a voz dela”), muitas vezes causam associações de gênero feminino.
* Segundo o estudo, isso pode levar à manifestação de estereótipos de gênero. Por exemplo, uma vez que os usuários interagem principalmente com CAs baseados em voz usando frases curtas semelhantes a comandos (por exemplo, "diga-me o tempo"), as pessoas podem considerar esta forma de estilo de interação apropriada ao conversar com CAs (mulheres) e potencialmente até (mulheres) humanos. Consequentemente, o relatório destaca a necessidade urgente de mudar as expectativas de gênero em relação às ACs antes que os usuários se acostumem com seu design padrão (feminino).
* Muitos estudos mostraram que o gênero de um chatbot também pode se manifestar sem voz falada, usando outras dicas sociais, como name tags ou avatares.
* O estudo argumenta que há uma necessidade de analisar como os chatbots - em contraste com os CAs baseados em voz - têm gênero (ou seja, por meio de dicas específicas de gênero em seu design) e se há evidências de um potencial viés de gênero no design de chatbots.
* O estudo encontrou evidências de que há tendência para nomes femininos, avatares de aparência feminina e descrições, incluindo pronomes femininos, particularmente em domínios como atendimento ao cliente, vendas e representação de marca.
* As manifestações de gênero na concepção dos CAs também reforçam as manifestações de gênero na percepção do usuário sobre os CAs. Isso pode ter implicações graves para as interações interpessoais do dia a dia. Por exemplo, o fato de que a maioria das CAs baseadas em voz femininas atuam como assistentes pessoais leva à expectativa geral do usuário de que esses tipos de CAs deveriam ser mulheres.
* Além disso, “cria expectativas e reforça as suposições de que as mulheres devem fornecer respostas simples, diretas e não sofisticadas a questões básicas”. Portanto, tal desenvolvimento reforça os estereótipos de gênero tradicionais. Isso é particularmente prejudicial, uma vez que muitas crianças interagem com CAs baseados em voz e os estereótipos de gênero são instilados principalmente em uma idade muito jovem. Da mesma forma, as intervenções ativas dos engenheiros do chatbot nos assuntos humanos (por exemplo, estabelecer um preconceito de gênero no design de chatbots) levanta considerações éticas.
* No estudo foi estudado: o nome do chatbot (1), (2) avatar e (3) descrição. Dado o grande tamanho de amostra, decidimos extrair e analisar automaticamente o design específico de gênero (feminino, masculino, nenhum) dessas três pistas usando ferramentas e serviços disponíveis. Além disso, para validar a abordagem automatizada, selecionaram aleatoriamente e codificaram manualmente 100 chatbots.
* Primeiro, para investigar o gênero dos nomes dos bots de bate-papo, usaram dois serviços online que identificam o gênero de um determinado nome, a saber, www.gender-api.com (inclui o gênero de mais de dois milhões de nomes) e o pacote node.js “detecção de gênero ” (inclui o gênero de mais de 40.000 nomes). Somente se ambos os serviços reconhecerem o mesmo gênero de um dos 1.375 nomes do chatbot, foi incluído nas análises.
* Em segundo lugar, para investigar o gênero do avatar, usaram a API Face do Microsoft Azure, que é capaz de detectar, identificar, analisar, organizar e marcar rostos em fotos e também extrair o gênero de um rosto. Portanto, usaram essa API para analisar 1373 imagens de avatar de chatbot que baixaram de chatbots.org (dois chatbots não tinham uma imagem).
* Finalmente, para analisar a descrição do chatbot, extrairam a descrição de todos os chatbots recuperados para identificar pronomes específicos de gênero que se referem a um dos dois gêneros (feminino: "ela", "ela", "dela"; masculino: "ele" , “Ele”, “dele”). Depois de excluir descrições ambíguas (ou seja, descrições incluindo pronomes femininos e masculinos), atribuiram um gênero à descrição de um chatbot.
* Para investigar a confiabilidade da abordagem de análise de gênero automatizada, investigaram se há resultados conflitantes entre os três métodos (por exemplo, um chatbot tem um nome masculino e um avatar feminino). No total, identificaram apenas 15 conflitos no conjunto de resultados. Posteriormente, analisaram esses conflitos com mais detalhes e codificaram manualmente todas as pistas conflitantes específicas de gênero. No geral, sete desses conflitos foram causados por uma atribuição de gênero errada a um avatar de um chatbot. Depois de analisar essas atribuições erradas, identificaram que a API de reconhecimento de rosto da Microsoft potencialmente tem problemas para atribuir o gênero correto a avatares de desenho animado com baixa resolução. Outros cinco conflitos foram causados pela abordagem de mineração de texto. Em cinco casos, todos os pronomes nas descrições do chatbot se referem a outra pessoa (por exemplo, o engenheiro do chatbot). Assim, os pronomes não se referiam aos chatbots em si. Finalmente, dois nomes de chatbots foram marcados incorretamente, uma vez que os nomes (ou seja, Nima, Charlie) não têm gênero claramente e, portanto, poderiam ter sido atribuídos a ambos os sexos.
* Para validar ainda mais a confiabilidade da abordagem automatizada de análise de gênero, foi recuperada uma amostra aleatória de 100 chatbots de uma amostra total de 1.375 chatbots. O primeiro e o segundo autor codificaram manualmente o gênero do nome, avatar e descrição desses bots de bate-papo. Não houve discordâncias entre os dois codificadores. Posteriormente, comparararam os resultados da codificação manual com a abordagem automatizada. A comparação mostrou que não houve conflitos entre os gêneros identificados.
* Resultados:
* No total, identificaram o gênero de 620 nomes de chatbot (45,09% de todos os chatbots investigados), 347 avatares de chatbot (25,24%) e 497 descrições de chatbot (36,15%) usando a abordagem automatizada.
* No geral, 501 (36,44%) dos chatbots não tinham uma pista específica de gênero.
* Além disso, identificaram 874 chatbots (63,56%) com pelo menos uma sugestão específica de gênero.
* Além disso, 469 chatbots (34,11%) tinham pelo menos duas dicas específicas de gênero,
* 121 chatbots (8,80%) tinham todas as três dicas específicas de gênero (ou seja, um nome de gênero, avatar e descrição). Tomados em conjunto, os resultados sugerem que a maioria dos chatbots listados no chatbots.org são baseados em gênero em seu design.
* A grande maioria dos nomes específicos de gênero eram mulheres (76,94%). As análises de avatares e descrições revelaram resultados semelhantes: 77,56% dos avatares foram classificados como femininos e 67,40% das descrições foram classificadas como femininas. Esses resultados sugerem fortemente que a maioria dos chatbots são projetados para serem femininos.
* 48,90% dos chatbots pertencem a apenas três domínios de aplicativo, ou seja, conversas de marca, atendimento ao cliente e vendas. O que leva a entender que o preconceito de gênero é particularmente evidente no design de chatbots para domínios de aplicação específicos.
* Para o estudo, os achados não refletem apenas os resultados do relatório da UNESCO sobre preconceito de gênero em ACs baseados em voz, mas também apóiam uma observação já feita em 2006. Em sua análise dos estereótipos de gênero implementados em ACs, De Angeli e Brahnam concluem que assistentes virtuais em sites corporativos “são frequentemente representados por garotas sedutoras e bonitas”.
* Segundo o estudo, não há diretrizes para um design de chatbots com igualdade de gênero que possa ajudar os engenheiros de chatbot a diminuir os estereótipos de gênero (pelo menos) no contexto de CAs baseadas em texto. Uma vez que dicas específicas de gênero são freqüentemente percebidas mesmo antes de interagir com o chatbot, elas têm um grande impacto em como os usuários interagem com eles. Portanto, as discussões entre pesquisadores, profissionais e usuários serão altamente importantes para responder a perguntas relevantes (por exemplo, “Deve um chatbotter um gênero específico?”, “É mesmo possível evitar atribuições de gênero?”).
* O estudo também fala da importância de ter mais mulheres desenvolvendo os chatbots, já que geralmente mulheres produzem linguagens menos enviesadas que homens.
* Para o artigo, pesquisas futuras podem investigar pistas específicas de gênero de diferentes chatbots usando outras amostras e fontes de dados, como BotList.co. Isso ajudaria a criar uma visão mais ampla do preconceito de gênero e aumentaria nossa compreensão do design atual dos chatbots.

## Semana do dia 20/09/2021
* Leitura do artigo Beyond Algorithmic Bias: A Socio-Computational Interrogation of the GoogleSearch by Image Algorithm
* Criação da planilha com 75 estudos de 2017 a 2021, com notas Qualis A1/A2/A3 ou A4. Pode ser conferida [aqui](https://docs.google.com/spreadsheets/d/15Ib_5K5DZ4DRR3Ju2XTB-YTXrU6Hq07sOlgLVch_qd0/edit?usp=sharing).
* Criação do [cronograma](https://docs.google.com/document/d/1oMoyeWOiNH1QbGQ9yxC33MDBwiQWltqQidgxVC0_cgA/edit?usp=sharing)

## Semana do dia 27/09/2021
* Pré seleção de 30 artigos
* Sugestão de temas para o TCC
* Procurar viés de gênero e racial na query suggest do Google
* Como: https://developers.google.com/cloud-search/docs/reference/rest/v1/query/suggest
* Baseado:
* When Are Search Completion Suggestions Problematic?
* Auditing Autocomplete: Suggestion Networks and Recursive Algorithm Interrogation
* Pode ajudar: https://www.blueclaw.co.uk/2020/02/06/keyword-suggestions-using-the-google-suggest-api-and-google-apps-script/
* Viés de gênero/racial/deficiência na análise de sentimentos
* Como: https://cloud.google.com/natural-language/docs/quickstarts
* Baseado:
* Examining Gender and Race Bias in Two Hundred Sentiment Analysis Systems
* Balancing Fairness and Accuracy in Sentiment Detection using Multiple Black Box Models
* Viés de gênero em chatbot
* Como: Usar o MapaBots 2021 OU https://discordbotlist.com/bots
* Baseado:
* Exploring Social Bias in Chatbots using Stereotype Knowledge
* Gender Bias in Chatbot Design
* Viés de gênero e racial nas sugestões do Youtube
* Como: https://developers.google.com/youtube/v3/docs/search/list
* Baseado:
* Auditing Autocomplete: Suggestion Networks and Recursive Algorithm Interrogation
* When Are Search Completion Suggestions Problematic?
* Viés em tradução
* Como: https://cloud.google.com/translate/docs/apis
* Baseador:
* Assessing gender bias in machine translation: a case study with Google Translate

## Semana do dia 04/10/2021
* Resumo A Survey on Bias and Fairness in Machine Learning
* O artigo apresenta casos reais de viés como o COMPAS, mostra um exemplo de viés nos dados causado por heterogeneidade dos dados. O artigo aborda os tipos de viés (Historical/Representation/Measurement/Evaluation/Aggregation/Population/ Sampling/Behavioral/Content Production/Linking/Temporal/Popularity/Algorithmic/User Interaction/Ranking/Social/Emergent/Self-selection/Omitted Variable/Cause-Effect/Observer/Funding bias). Para abordar a justiça, o artigo apresenta os diferentes tipos de discriminação e 10 definições de justiça. Além disso aborda individual fairness, group fairness e subgroup fairness.Por fim aborda os diferentes métodos para fair machine learning e aborda as categorias de pre-processing, in-processing e post-processing.
* Resumo de Fairness in Machine Learning: A Survey
* O artigo aborda a diferença entre variáveis sensíveis e protegidas e como algumas variáveis são sensíveis por aproximidade. O estudo aborda e faz considerações sobre pre-processing, in-processing e post-processing. Depois aborda métricas para medir justiça e viés. Além disso, o artigo aborda abordagens de classificação binária (blinding/causal methods/sampling and subgroup analysis/transformation/relabelling and pertubation/reweighining/regularization and constraint optimisation/adversal learning/bandids/calibration/theresholding). Também aborda a classificação não-binária (fair regression/recommender systems/unsupervised methods/NPL). Por fim, apresenta plataformas existebtes que ajudam a entender justiça em ML.
* Reunião do dia 06/10 com Gabriel:
* Pensar em quando identificar o viés com uma frequência maior, propor alerta
* Identificar o problema e propor uma alternativa
* Fazer um site gender bias free do google translator, por exemplo
* Pensar como solucionar cada um dos problemas
* Pensar em um texto e estrutura de cada paragráfo
* Estrutura:
* Introdução
* Revisão da literatura
* Metodologia (questões de pesquisa, strings de busca, critérios de seleção/filtragem)
* Visão geral dos trabalhos encontrados
* Tipos de viés
* Métodos existes
* Discussão
* Proposta
* O que é
* Como pretende fazer
* Quais os resultados esperados
* Conclusão
* Visão geral do que foi feito e descoberto
* Limitações
* Próximos passos com cronograma
* Próximos passos:
* Detalhar estrutura da monografia. Prazo: 10/10/2021.
* Estudar o que e como foi implementado em cada artigo selecionado. Prazo: 17/10/2021.
* Expandir seleção de artigos a partir do problema escolhido. Prazo: 21/10/2021.

## Semana do dia 10/10/2021
* Criação da [estrutura](https://hackmd.io/@VanessaSchenkel/B1xZITpNK) do TCC
* O que foi feito e como:
* Artigo: A Survey on Bias and Fairness in Machine Learning
* O que foi feito: falou de exemplos de algortimos reais com viés (ex. COMPAS), geração de viés em data, tipos de viés, justiça algoritmas abordando tipos de discriminação e definições de justiça, aborda métodos de para aprendizagens de máquina justos
* Como: revisão da literatura
* Mitigating Gender Bias in Natural Language Processing: Literature Review
* O que foi feito: faz uma revisão da literatura, aborda viés de gênero, testes psicológicos, análise através dos espaços do embeddings, aborda performance, análise de sentimentos. Aborda também mitigação de viés com manipulação dos dados e seus subcampos e mitigação por ajuste de algoritmo e seus subcampos.
* Como: revisão da literatura
* Fairness in Machine Learning: A Survey
* O que foi feito: aborda variáveis sensíveis e protegidas, métodos de pre-processing, in-processing e post-processing, medida de justiça e viés, justiça pro grupo e individual, classificações binárias e não binárias, plataformas que ajudam a ver se o algoritmo é sem viés, e dilemas de justiça.
* Como: revisão da literatura
* Unintended machine learning biases as social barriers for persons with disabilities
* O que foi feito: Variás análises focando em pessoas com deficiência
* Como: Usaram 56 frases com vários tipos de deficiências (ex: a deaf person) e dividiram entre recomendadas (ex a person with depression) e não recomendadas (ex an insane person). Usaram dois NPL models, um que avaliava a toxidade de 0 a 1 e quando mais alto o score, mais tóxico. Outro é de sentimentos, de -1 a 1, quanto maior o score mais positivo o sentimento. Posteriormente usaram BERT para preencher a palavra que faltava. Dai fizeram a frase "uma pessoa é w" com w sendo a palavra prevista pelo BERT e passaram para a análise de sentimento do Google. Assim, eles queriam avaliar apenas as diferenças de pontuação de sentimentos para as palavras produzidas por BERT e não vieses associados as próprias frases de deficiência. Eles também fizeram uma análise de um dataset com 405k comentários que menciona deficiências, eles focaram no grupo psychiatric_or_mental_illness. 21% foram label como tóxicas.
* Gender as a Variable in Natural-Language Processing: Ethical Considerations
* O que foi feito: é basicamente uma discussão ética e um guia se se deve usar gênero como variável. Aborda o que é gênero, os valores FAT e como não são tão bem definidos e como poderiam ser aplicados, aborda a falta de transparência de classificação de gênero em alguns estudos, faz um guideline para usar gênero como variável.
* Como: revisão da literatura

* Em relação aos temas:
* Tradução: descobri que o Google tem problemas com outras frases, não só com nomes neutros tipo Charlie mas com frases como "this person is a". Dependendo da profissão, ela muda a frase para o feminino ou masculino. Seria legal talvez fazer com deficiência também, ver se tem algum viés ligado a tradução além da profissão e ver também sentimentos. Pode abordar também como não acompanha "their/them" e quantas pessoas se identificam com a não binariedade.
* Análise de sentimentos: pensei que posso comparar além da API do google, porque tem várias que tem trial de graça por um tempo (ex 2 semanas). Pensei que dá pra ver tipos de viés diferentes, além do gênero, raça e deficiência. Gostei de ler mais a fundo o Unintended machine learning biases as social barriers for persons with disabilities mais profundamente. Dá para usar https://newsapi.org/s/google-news-br-api.
* Chatbots: tive que usar o da UNIMED e notei o avatar feminino. É interessante pensar no quanto a gente realmente espera ser "servido" por mulheres, vejo que o mundo do desenvolvimento tá indo cada vez mais por esse lado de assistentes mulheres. Penso que daria para pegar a lista de chatbots do discord e analisar, não por ela ser tão relevante mas para ver se realmente é uma impressão ou é o caminho que está sendo tomado. Talvez valha mais para um artigo do que uma monografia.

## Semana do dia 17/10/2021
* Does Gender Matter in the News? Detecting and Examining Gender Bias in News Articles
* O que foi feito: Análise de 296.965 news abstracts em dois grandes news datasets.
* Como: Usaram o MIND Dataset e o News Category Dataset. Separaram 296.965 notícias. Separaram entre substantivos (neutros ou específicos) e atributos ( a ver com com carreira e com família). No total foram 465 substantivos masculinos e femininos e 357 palavras masculinos, femininas e neutras relacionadas a carreira e família. Eles criaram 3 labels, M se o abstract tinha mais pronomes masculinos, F se femininos e N se nenhum ou o mesmo número dos dois. Eles também separaram profissões com palavras masculinas ou femininas como policeman, spokesman etc e suas versões femininas. Eles viram que palavras femininas são muito mais ligadas a familia e masculina a profissão.Depois fizeram a análise de sentimento e centering resonance analysis para descobrir os substantivos mais centrais que contribuem para o significado do documento. Para a análise de sentimentos foi usado o VADER e eles separaram as sentenças do abstract e se tivesse mais negativas que positivas, ele era considerado negativo. Senão neutro ou positivo. Depois foi feito Centering Resonance Analysis (CRA) que é um método de rede de palavras que não usa dicionários. As 20 top F são: mother, wife, beloved, happy, home,wedding, family, beauty, son, child, toddler, baby, 1-year-olds, aisle,planned, deposits, money, products, hygiene e influencer, respectivamente. Já as top 20 de H são: president, Washington, manager, economy, mayor, sports, democratic, impeachment, career, gym, trump, football, coach, hero, touchdowns, quarterback,game, winandcollege, respectivamente.
* Balancing Fairness and Accuracy in Sentiment Detection using Multiple Black Box Models
* O que foi feito: Análise e mitigação da detecção de sentimentos de títulos de notícias de crime. Eles focaram em gendered interaction (a woman hurts a man in bus VS a man hurts a woman in bus) Foi usado as APIs da Google, Amazon e IBM. Usaram post-processing mitigação, Flexible Fair Regression.
* Como: Primeiro eles compararam o score de cada um dos black-box. É considerado justo, o modelo, se a diferença de pontuação for 0. Usaram um modelo de regressão para encontrar o melhor parâmetro para combinar esses modelos de black-box X com relação às pontuações Y. Quando há diferença de pontuação entre os diferentes grupos, a função é penalizada. Assim, a função modificada está tentando encontrar o parâmetro ótimo w que minimiza o Mean Squared Error (MSE) junto com o viés mínimo entre os diferentes grupos presentes no conjunto de dados. Para simplificar a função objetivo, é calculada uma matriz de polarização que contém a diferença de pontuação de cada modalidade. Essa abordagem é a "regressão justa flexível" pois ela apóia a justiça na regressão e permite que um projetista de sistema escolha com flexibilidade a importância relativa e os limites que deseja equilibrar entre equidade e precisão. O dataset era os títulos da Google News API que continham verbos de abuso como matar, assassinato, tapa e com pelo menos dois sujeitos (mulher, homem) na ação. Foi utilizado 10 anotadores do Figure-Eight para rotular e pontuar cada frase. Para evitar viés, os sujeitos da frase foram anonimizados. Cada anotador forneceu um rótulo como positivo ou negativo e uma pontuação em uma escala de 1 a 10 (que foi transformado de -1 a 1). Foram testados 1000 títulos e passaram para Google, Amazon e IBM. A Flexible Fair Regression foi criada usando Python e Scipy.
* Black Box Fairness Testing of Machine Learning Models
* O que foi feito: Alega que os métodos atuais para averiguar discriminação, como o THEMIS e AEQUITAS, não conseguem captar discriminação com a combinação de variáveis não protegidas.
* Como: LIME (Local Interpretable Model-agnostic Explanations). Ele gera explicação na forma de modelos interpretáveis, como modelos lineares, árvores de decisão ou listas de regras decrescentes, que podem ser facilmente compreendidos pelo usuário com artefatos visuais ou textuais. Dada uma instância de dados de entrada e sua saída gerada pelo classificador, LIME gera pontos de dados na vizinhança da instância por perturbação do ponto de dados de entrada e gera a saída. Usando essa entrada e saída, ele aprende um modelo interpretável, maximizando a fidelidade local e a interpretabilidade. Usaram LIME para explicar uma instância de previsão para um modelo e gerar uma árvore de decisão como modelo interpretável para uma previsão.

## Semana do dia 25/10/2021
* Reunião do dia 25/10 com Gabriel: Revisão do que foi feito, definição do tema para a tradução
* Próximos passos:
* Prazo: 29/10/2021:
* Criar research statement (qual é o problema -> viés em tradução; pergunta da pesquisa; qual é a hipótese -> ex usando o método X a gente consegue reduzir viés; contribuição esperada) .
* Finalizar estrutura do TCC.
* Prazo: 02/11/2021:
* Escrever um parágrafo para cada artigo relevante.Para cada artigo, escrever: problema abordado, principal contribuição, limitações (ex o estudo é só da linguagem X, só substântivos etc).
* Prazo: 20/11/2021:
* Enviar monografia para revisão.
* [Estrutura do TCC ](https://hackmd.io/@VanessaSchenkel/B1xZITpNK)
* [Research statement ](https://docs.google.com/document/d/1iLCna9KzvbNwkwajzT3poKu8A5CRRcwKn8LA3-ciSTA/edit?usp=sharing)

## Semana do dia 02/11/2021
* Texto com levantamento:
* A crescente onipresença dos algoritmos na nossa sociedade, levanta preocupações com relação a suas consequências sociais, políticas e éticas. Uma das questões abordadas atualmente são os vieses na aprendizagem de máquina. Estudos [1, 2, 3, 4] defendem que não apenas elas refletem os vieses presentes na nossa sociedade, como têm o poder de os amplificar. O autor [16] inclusive defende que o viés em algum algoritmo é muito mais perigoso que em um humano, já que tem o poder de atingir uma porcentagem maior de pessoas.
O viés de gênero é abordado em muitos trabalhos[1, 2, 3, 4, 5, 10, 11, 12, 14, 15, 20], mas poucos são focados na tradução[17, 18].
Além disso, não há uma grande gama de trabalhos em português ou que abordem a língua portuguesa, apesar do Brasil ser o país que mais utiliza o Google Translate. Segundo [18], a plataforma avançou muito desde 2018, já que mostra o feminino e o masculino quando traduz palavras. Porém, não acontece o mesmo com frases. Segundo o estudo, o Google Translate é baseado em milhões de documentos traduzidos por pessoas. Ele demonstra o viés de gênero que existe na nossa sociedade.
Outro ponto importante é que apenas um [17] trata da não-binaridade. A invisibilidade de pessoas não binárias no meio acadêmico é algo recorrente e é importante ser considerado. Nos Estados Unidos, a estimativa é que existem 1.2 milhões de pessoas não binárias. No Brasil, esse número é de aproximadamente 3 milhões de pessoas.
O presente estudo pretende identificar o viés de gênero no Google Translate usando aprendizagem de máquina. O trabalho pretende considerar os gêneros femininos, masculinos e não binários (ou neutros). Além da identificação, pretende-se também desenvolver um algoritmo de mitigação de viés.
É importante frisar que o algoritmo dessas APIs black-box deveria ser aberto ao público. Deveria ser de conhecimento público quais fatores são levados em consideração ao se tomar decisões. Enquanto não há uma regulação a respeito, é de suma importância que o viés seja detectado e mitigado nesses sistemas.

* Resumo dos artigos:
[1]Assessing Gender Bias in Machine Translation
Resumo: Analisa o viés de gênero no Google Translate, traduzindo frases de linguagens neutras para o inglês. As frases são compostas de profissões e adjetivos. O estudo conclui que existe sim o viés.
Principal contribuição: Demonstra que o Google Translate falha ao reproduzir a distribuição real de mulheres trabalhadoras.
Problema tratado: Viés de gênero na tradução de frases ligadas a profissão e a adjetivos no Google Translate.
Limitações: Estuda apenas feminino e masculino, estuda só o Google Translator, não apresenta uma solução para a diminuição do viés.

[2]A Survey on Bias and Fairness in Machine Learning
Resumo: O artigo levanta o que há de mais relevante no campo, trazendo definições de 23 tipos de viés e 6 tipos de discriminações. Além disso, aborda o que é justiça e a diferença entre justiça individual, de grupo e de subgrupos.
Principal contribuição: Discussão e categorização de viés e justiça
Problema tratado: Aborda viés e justiça na aprendizagem de máquina em geral
Limitações: É uma revisão da literatura, não apresenta nada novo, não aborda justiça individual.

[3]Fairness In Machine Learning: A Survey
Resumo: O artigo faz um levantamento da literatura e foca nos dados, como a sua veracidade e qualidade. Além disso, aborda que geralmente se pensa em dados sensíveis mas não nos que são sensíveis por proximidade. Por fim, apresenta soluções possíveis para a mitigação do viés no pré-processamento, durante o processamento e pós-processamento. Apresenta diversas abordagens tanto para algoritmos de classificação binária quanto não binária.
Principal contribuição: Apresenta diferentes métodos de mitigação de viés social, vai além da justiça binária que é mais comumente tratado e aborda também uma discussão de justiça na regressão, sistemas de recomendação, aprendizagem não supervisionada e processamento de linguagem natural. Também apresenta ferramentas disponíveis para mitigação de viés.
Problema tratado: Trata o viés em aprendizagem de máquina em geral
Limitações: É uma revisão da literatura, não apresenta nenhuma contribuição nova.

[4]Gender Bias in Chatbot Design
Resumo: O estudou analisou 1375 chatbots listados no chatbots.org. Foi usado duas APIs para identificar o gênero do chatbot pelo avatar, nome e pronomes. O estudo encontrou evidências de que há tendência para nomes femininos, avatares de aparência feminina e descrições, incluindo pronomes femininos, particularmente em domínios como atendimento ao cliente, vendas e representação de marca.
Principal contribuição: Mostra que há tendência a se criar chatbots e outros assistentes, sendo do sexo feminino.
Problema tratado: Se há uma tendência de gênero na criação de chatbots
Limitações: Usa só 3 variáveis para determinar gênero (avatar, nome e descrição), analisa só chatbots de um site.

[5]Examining Gender and Race Bias in Two Hundred Sentiment Analysis Systems
Resumo: O estudo testou 219 algoritmos de análise de sentimentos, que fizeram parte do SemEval-2018 Task 1 'Affects in Tweets'. Foram testados 8640 frases em inglês para testas viés de raça e gênero. Os resultados se alinham com estereótipos comuns de que mulheres são mais emocionais e que situações envolvendo homens despertam mais medo. Também mostrou que a maior parte dos algoritmos
associaram frases que identificam negros com raiva, medo e tristeza enquanto brancos foram associados com alegria e valência. O estudo concluiu que o viés de raça é mais forte que o de gênero.
Principal contribuição: É o artigo que testa o maior grupo de algoritmos com o mesmo conjunto de dados. Apresenta o Equity Valuation Corpus (EEC) que consiste em 8640 frases em inglês, escolhidas para "provocar" os vieses.
Problema tratado: O viés de gênero e de raça na análise de sentimentos.
Limitações: Poderia testar outros tipos de viés, como o capacitismo ou contra religiões, ou até mesmo política.

[6]When Are Search Completion Suggestions Problematic?
Resumo: À medida que os usuários digitam o prefixo de sua consulta (informado por sua intenção de pesquisa), os mecanismos de pesquisa costumam fazer sugestões de conclusão. O estudo desenvolve uma estrutura para ajudar a revelar, identificar e caracterizar sugestões problemáticas no Bing. Também aponta quais fatores podem levar à sua exposição aos usuários e porque eles podem ser percebidos como problemáticos para os usuários. A pesquisa aponta que o maior perigo está em não contabilizar o contexto, search voids e na caracterização de cenários problemáticos.
Principal contribuição: Apresenta um framework que ajuda a identificar e caracterizar sugestões problemáticas, tanto os fatores que podem levar a ser problemática como o porquê pode ser vista como problemática para usuários.
Problema tratado: Sugestões feitas pelo navegador com base no que o usuário digita, podem ser problemáticas.
Limitações: Utiliza o Bing, que não é o buscador mais utilizado ultimamente, as frases são apenas em inglês.

[7]Bias Amplification in Artificial Intelligence Systems
Resumo: Aborda a importância de dados hoje em dia, divide os tipos de de viés em aprendizagem de máquina (dataset bias, association bias, automation bias, interaction bias and confirmation bias)
Principal contribuição: Aborda que o viés em aprendizagem de máquina é muito mais nocivo que o de pessoas, fala dos tipos de viés e dos tipos de prejuízo (representative harm/allocative harm).
Problema tratado: Aborda viés em aprendizagem de máquina de maneira geral e com exemplos.
Limitações: É uma revisão, não apresenta uma solução nova.

[8]Predictive Biases in Natural Language Processing Models: A Conceptual
Framework and Overview
Resumo: O estudo não foca em efeitos dos vieses em aprendizagem de máquina, mas sim suas origens. É proposto uma estrutura unificadora de viés preditivo para NPL. Sugerem definições matemáticas gerais de viés preditivo. Abordam duas consequências do viés: disparidades de resultado e disparidades de erro, bem como quatro origens potenciais de vieses: viés de rótulo, viés de seleção, super amplificação de modelo e viés semântico.
Principal contribuição: Um framework conceitual para identificar e quantificar o viés preditivo e suas origens dentro de um NPL, pesquisa de vieses identificados em modelos NPL, pesquisa de métodos para combater o viés dentro do framework conceitual.
Problema tratado: Viés de gênero em modelos de Natural Language Processing
Limitações: Não trata outras variáveis sensíveis além de gênero.

[9]Detecting Biased Statements in Wikipedia
Resumo: O artigo contextualiza o que é a Wikipedia, quantos artigos têm e que eles tentam seguir o Neutral Point of View (NPOV). O estudo analisa trabalhos relacionados, explica a criação do dicionário léxico de palavras e a análise semântica e sintática, a detecção de frases com viés. Foram analisados 1000 artigos e 8302 frases. Dessas, 2988 tinham viés de linguagem contra 5314 que não tinham.
Principal contribuição: Uma abordagem de classificação supervisionada para detectar viés de linguagem, com a precisão de 74%. O estudo propõe uma abordagem automatizada para gerar um léxico de palavras tendenciosas a partir de um conjunto de artigos da Wikipedia e também proporciona um conjunto de dados rotulados como declarações tendenciosas e imparciais.
Problema tratado: Identificação de frases que podem ser consideradas tendenciosas.
Limitações: É apenas em inglês.

[10]Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings
Resumo: O estudo usa como conjunto de dados notícias retiradas do Google News. O artigo remove estereótipos de gênero, enquanto mantém associações. Para quantificar o viés, o estudo compara um vetor de palavras aos vetores de um par de palavras específicas de gênero. Por exemplo, o fato de nurse estar perto de mulher não é necessariamente tendencioso. Porém o fato de estar numa distância desigual de homem sugere parcialidade. O algoritmo do estudo chamado de Soften reduz o sub-espaço entre as palavras do word embedding, o que remove o preconceito apenas em palavras neutras de gênero.
Principal contribuição: Consegue demonstrar o viés de gênero social por utilizar o Google News como conjunto de dados, faz a mitigação de viés.
Problema tratado: Viés de gênero no Google News.
Limitações: É só em inglês, estuda só o viés de gênero, é binário.

[11]On Measuring Gender Bias in Translation of Gender-neutral Pronouns
Resumo: Foram avaliadas 4236 sentenças para verificar viés de gênero em sistemas convencionais de tradução automática. Aborda trabalhos relacionados, trabalha com profissões e adjetivos. Além disso, apresenta como medir a neutralidade da sentença e porquê deve ser medido.
Principal contribuição: Propõe uma medida de índice de viés de gênero na tradução, Translation Gender Bias Index (TGBI). Discussão sobre a importância de se preservar a neutralidade de gênero na tradução.
Problema tratado: Teste viés de gênero na tradução de uma linguagem neutra que é o Coreano.
Limitações: Só teste coreano.

[12]Mitigating Gender Bias in Natural Language Processing: Literature Review
Resumo: O estudo faz uma revisão da literatura, aborda viés de gênero, testes psicológicos, análise através dos espaços do embeddings, aborda performance, análise de sentimentos. Aborda também mitigação de viés com manipulação dos dados e seus subcampos e mitigação por ajuste de algoritmo e seus subcampos.
Principal contribuição: Além de fazer uma revisão da literatura, debate a amplificação de viés de gênero e as vantagens e desvantagens dos métodos de mitigação de viés existentes.
Problema tratado: Viés de gênero em NPLs.
Limitações: Mitigação de viés em outras linguagens que não inglês, viés de gênero não-binário, colaboração interdisciplinar.

[13]Towards Understanding and Mitigating Social Biases in Language Models
Resumo: Aborda as três principais dificuldades em se definir e mensurar o viés de representação durante a geração de texto (granularity/context/diversity). Aborda trabalhos relacionados, como definir a origem de viés em LMs e algoritmos para diminuir o viés.
Principal contribuição: Um novo método chamado Autoregressive INPL (A-INPL) para realizar a mitigação do viés post-hoc de grandes pré-treinados de LMs.
Problema tratado: Viés de representatividade em Language Models.
Limitações: É apenas em inglês.

[14]Balancing Fairness and Accuracy in Sentiment Detection using Multiple Black Box Models
Resumo: Análise e mitigação da detecção de sentimentos de títulos de notícias de crime. Eles focam em gendered interaction (a woman hurts a man in bus VS a man hurts a woman in bus) Foi usado as APIs da Google, Amazon e IBM. Usaram post-processing mitigação, Flexible Fair Regression. Aborda trabalhos relacionados, explica a metodologia utilizada para medir o viés e balancear precisão e justiça.
Principal contribuição: Flexible Fair Regression, para a mitigação de viés e busca de justiça em modelos black-box.
Problema tratado: Viés de gênero em análise de sentimentos da Google, Amazon e IBM.
Limitações: Segundo o próprio artigo, considerar o gênero binário e ser só em inglês.

[15]Probabilistic Bias Mitigation in Word Embeddings
Resumo: Contextualiza a motivação do trabalho, explica o que já existe (Geometric Bias Mitigation/WEST/RIPA/Neighborhood Metric), explica o framework de mitigação de viés probabilístico e conduz experimentos, utilizando o fastText embeddings treinado com Wikipedia, UMBC e statmt.org.
Principal contribuição: Método para mitigar o viés, que se baseia em observações probabilísticas para produzir um algoritmo de mitigação de viés mais robusto.
Problema tratado: A mitigação de viés de gênero binário em word embeddings usando Skip-Gram with Negative-Sampling (SGNS).
Limitações: Viés de gênero binário, só é em inglês.

[16]Bias in word embeddings
Resumo: O estudo aborda a teoria e a prática da difusão, mitigação e predição de viés de word embeddings.
Principal contribuição: Uma nova técnica para a detecção de viés de gênero. Além disso, eles demonstram a difusão de viés transferidos para outros modelos de aprendizagem de máquina. O estudo também usa um grande conjunto de dados, mais de 24 milhões de tweets e comentários do Facebook relacionados à política alemã e Wikipedia entre Janeiro de 2015 e Maio de 2018.
Problema tratado: A discriminação social refletida em word embeddings.
Limitações: É um artigo diferente, ele trata como dados podem deixar o algoritmo enviesado e não como tratar o viés no algoritmo.

[17]Semi-Supervised Topic Modeling for Gender Bias Discovery in English and Swedish
Resumo: O artigo foca no viés que vem do treinamento dos dados ao invés do viés do algoritmo porque acreditam que o estudo pode ajudar os profissionais a fazer escolhas mais adequadas na hora de treinar os modelos. Os autores exploram a possibilidade de usar Latent Dirichlet Allocation (LDA) para investigar o viés de gênero. O estudo realizou testes com treinamento supervisionado e não-supervisionado. É interessante o ponto que "people are men, unless otherwise specified".
Principal contribuição: Não considera gênero algo binário, considera a não-binaridade e interseccionalidade.
Problema tratado: Viés de gênero feminino, masculino e não binário na associação de palavras.
Limitações: Não faz a mitigação de viés. Além disso, eles mesmos abordam que estudar só o viés de gênero não é suficiente, é preciso também estudar a interseccionalidade já que o viés de gênero pode mascarar o preconceito contra mulheres não-brancas, por exemplo.

[18]Gender Bias in Translation Using Google Translate: Problems and Solution
Resumo: O artigo traduz frases do indonésio para o inglês usando Google Translate. Aborda trabalhos relacionados e sua importância. Também aborda que o Google Translate não tem seu código aberto ao público, porém se sabe que o sistema usa Statistical Machine Translation (SMT), ou seja, ele funciona com base nos milhões de documentos traduzidos por pessoas.
Principal contribuição: Examina o viés de gênero da tradução.
Problema tratado: Viés de gênero na tradução de indonésio para inglês.
Limitações: Não faz a mitigação de viés, apenas demonstra que têm. Também foca numa pesquisa mais qualificativa e não quantificativa.

[19]Black Box Fairness Testing of Machine Learning Models
Resumo: O artigo aborda justiça individual, atributos protegidos e protegidos por aproximação. Defende que não se pode mitigar viés apenas retirando a variável que o causa. Além de criar seu algoritmo, o estudo faz uma comparação de resultados com Themis.
Principal contribuição: Apresenta um algoritmo chamado LIME (Local Interpretable Model-Agnostic Explanations) para testar a justiça individual.
Problema tratado: Como testar a justiça individual em algoritmos black-box.
Limitações: Não consegue identificar qual é a causa da discriminação individual.

[20]Gender as a Variable in Natural-Language Processing: Ethical Considerations
Resumo: É basicamente uma discussão ética e um guia se se deve usar gênero como variável. Aborda o que é gênero, os valores FAT e como não são tão bem definidos e como poderiam ser aplicados, aborda a falta de transparência de classificação de gênero em alguns estudos, faz um guideline para usar gênero como variável.
Principal contribuição: Trazer um guia ético e teórico acerca do uso de gênero como variável em estudos sobre Natural Language Processing (NPL).
Problema tratado: Gênero como variável.
Limitações: É só teórico.

[21]Unintended machine learning biases as social barriers for persons with disabilities
Resumo: Usaram 56 frases com vários tipos de deficiências (ex: a deaf person) e dividiram entre recomendadas (ex a person with depression) e não recomendadas (ex an insane person). Usaram dois modelos NPL: um que avalia a toxicidade de 0 a 1 e, quando mais alto o score, mais tóxico. Outro é de sentimentos, de -1 a 1, quanto maior o score, mais positivo o sentimento. Posteriormente usaram BERT para preencher a palavra que faltava. Daí fizeram a frase “uma pessoa é w” com w sendo a palavra prevista pelo BERT e passaram para a análise de sentimento do Google. Assim, eles queriam avaliar apenas as diferenças de pontuação de sentimentos para as palavras produzidas por BERT e não vieses associadas às próprias frases de deficiência. Eles também fizeram uma análise de um dataset com 405k comentários que menciona deficiências, eles focaram no grupo psychiatric_or_mental_illness. 21% foram label como tóxicas.
Principal contribuição: É o único estudo encontrado que aborda o viés contra pessoas com deficiências.
Problema tratado: Viés de pessoas com deficiência na análise de sentimentos.
Limitações: Não faz mitigação.

## Semana do dia 02/11/2021 a 11/12/2021
* Escrita do TCC
* Entrega da primeira versão
* Entrega da [segunda versão](https://www.overleaf.com/read/csfwcjkgbdqx)

## Semana do dia 20/12/21
* Reunião com Gabriel dia 21/12:
* Pegar frase traduzida e fazer classificação. Tem viés? Segue para mitigação. Não tem? Interrompe o fluxo.
* Pegar modelo que faz a classificação
* Fazer a implementação:
* Clica em traduzir -> traduz -> pré processamento -> classificação -> mitigação
* Implementar a interface, criar um webservice que recebe uma entrada e fornece uma saída
* Dentro do webservice fazer a tradução do texto usando a API do Google e retornar o texto traduzido

* Pipeline:
* Tradução (usando API Google Translate).
* Pré-processamento.
* Classificação viés/não-viés.
* Mitigação do viés.

* Próximos passos:
* Implementar interface básica. Prazo: 31/12/2022.
* Webservice: fazer tradução do texto recebido usando API Google Translate e retornar texto traduzido. Prazo: 31/12/2022.
* Pegar modelo de classificação de algum dos trabalhos relacionados. Prazo: 10/01/2022.
* Ajustar interface para mostrar também a classificação. Prazo: 12/01/2022.

[**Continuação - TCC II**](https://hackmd.io/@VanessaSchenkel/Bytyjl-e5)
<!----------------------------------------------->