Atenção!

As notícias abaixo são de edições passadas.

Para ter acesso ao nosso conteúdo exclusivo, assine o RR.

planos
25.10.19

Quem controla os algoritmos

Observatório

Por Rogério Gatto, cientista da computação e especialista em arquitetura de software.

Cada vez mais players têm acesso a dados suficientes para desenvolver modelos matemáticos do comportamento de pessoas e coisas.  Empresas testam (e algumas desenvolvem, com considerável investimento em pesquisa) diferentes algoritmos que as ajudam a atingir seus objetivos.  Mas nem sempre fica claro para humanos como um algoritmo chega a certas conclusões, ou qual é a relação entre estes conceitos matemáticos abstratos e conceitos humanos identificáveis.  A isto chamamos de explicabilidade.

Um exemplo recente: a BBC Brasil publicou um artigo [1] sobre o comportamento dos deputados do RenovaBR e Acredito.  Nele são exibidos dois gráficos de dispersão, com o objetivo de realçar as semelhanças e diferenças dos deputados de acordo com seu perfil de votação.  Me parece que foi utilizada uma técnica chamada redução de dimensionalidade: cada deputado foi representado por um vetor de 147 dimensões, uma para cada votação nominal até então.

Em seguida, o algoritmo procura os eixos neste espaço multidimensional que maximizam a variância – o ponto de vista; que melhor explicita as diferenças de comportamento entre as amostras.  Em seguida é feita uma projeção a partir deste ponto de vista para duas dimensões, no caso, pelo simples fato de que conseguimos plotar e processar informações visuais em duas dimensões.  O uso desta técnica para este tipo de análise está correto e solidamente amparado pela matemática.  Mas os eixos X e Y do gráfico, a priori, não significam nada.  E talvez bastasse uma dimensão, ou fossem necessárias três, para capturar a variância da amostra.

Na palestra; A caixa preta da Inteligência Artificial; [2], Carla Vieira elencou alguns casos emblemáticos em que a falta de explicabilidade dos algoritmos resultaram desde situações embaraçosas a flagrantes injustiças:

● Um algoritmo de reconhecimento de imagens do Google classificava fotos de pessoas negras como gorilas  [3].  Algoritmos baseados em deep learning, como este, são notoriamente deficientes em explicabilidade: é impossível explicar o processo de raciocínio do algoritmo, e é provavelmente impossível controlá-lo.  O próprio Google teve que optar, à época, por abolir a classificação gorila do algoritmo;

● O estudo Gender Shades [4] avaliou os serviços de reconhecimento de gênero a partir de imagens prestados por grandes empresas do setor.  O desempenho desses algoritmos era sensivelmente pior para mulheres negras;

● Nos EUA, um estudo da ProPublica [5] demonstrou que um software de avaliação de risco de reincidência criminal frequentemente superestimava as chances de reincidência para pessoas negras, enquanto subestimava as chances para pessoas brancas.

Extrapolação com base em dados existentes pode levar à perpetuação ou ao aumento de injustiças. Correlação não implica causação. Algoritmos não conseguem interpretar seus próprios resultados, ainda precisamos de humanos para tanto.  Além disso, algoritmos trabalham no espaço da estatística, que se aplica a populações, e não a indivíduos. Tomar uma decisão sobre um indivíduo com base em sua demografia, ou algum outro conjunto de características, é aceitável em que casos?  Creio que estamos confortáveis com modelos atuariais, como os de prêmio de seguros automotivos (idade e gênero como variáveis).  Mas o caso do modelo de reincidência criminal cruza uma fronteira perigosa, colocando em risco direitos individuais a partir de algoritmos incapazes de mostrar o seu processo de decisão.

Alguém controla, de fato, os algoritmos?  Os resultados objetivos dos algoritmos, não.  Mas podemos controlar sua aplicação, incluindo aí a decisão de não utilizar um algoritmo para tomar certas decisões.  Temos a responsabilidade de evitar que nossos vieses e preconceitos sejam incorporados a estes modelos, através dos datasets que construímos.  E quando os algoritmos falham, ao tentar entender o porquê, aprendemos um pouco mais sobre nós mesmos também.

Referências:
[1] Levantamento mostra que Tábata não vota seguindo ordens de partido clandestino como disse Ciro
(BBC News Brasil, 2019)
[2] A caixa preta da Inteligência Artificial (TDC-SP, 2019)
[3] When It Comes to Gorillas, Google Photos Remains Blind (Wired Magazine, 2018)
[4] Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification (Proceedings of Machine Learning Research 81:1–15, 2018)
[5] Machine Bias – There’s software used across the country to predict future criminals. And it’s biased against blacks (ProPublica,2016)

Para poder comentar você precisa estar logado. Clique aqui para entrar.