AppleO novo cartão de crédito está sendo investigado pelos reguladores financeiros depois que os clientes reclamaram que os algoritmos de empréstimo do cartão discriminavam as mulheres.
O incidente começou quando o desenvolvedor de software David Heinemeier Hansson reclamou Twitter que a linha de crédito oferecida por seu Apple O cartão era 20 vezes maior do que o oferecido ao seu cônjuge, apesar de os dois arquivos apresentarem declarações fiscais conjuntas e ele ter a pior pontuação de crédito.
“O @AppleCard é um programa sexista do caralho”, escreveu Hansson. “Minha esposa e eu arquivamos declarações fiscais conjuntas, moramos em um estado de propriedade da comunidade e somos casados há muito tempo. Ainda AppleO algoritmo de caixa preta da empresa acha que mereço 20 vezes o limite de crédito que ela merece. “
Hansson disse AppleO serviço de atendimento ao cliente respondeu rapidamente às suas queixas e, eventualmente, interveio para aumentar o limite de crédito de sua esposa como uma resposta única, mas esses mesmos representantes disseram que não poderiam fazer nada para mudar a decisão geral do algoritmo.
Apple entregou a experiência do cliente e sua reputação como uma organização inclusiva a um algoritmo sexista e tendencioso que ele não entende, não pode argumentar e é incapaz de controlar. Quando uma empresa de trilhões de dólares simplesmente aceita o senhorio algorítmico como este …
– DHH (@dhh) novembro 8, 2019
Depois que as reclamações de Hansson se tornaram virais, outras Apple Os clientes do cartão relataram incidentes semelhantes. Apple o co-fundador Steve Wozniak estava entre eles, dizendo que recebeu dez vezes o limite de crédito oferecido à esposa. Wozniak instou o governo a investigar a operação de tais algoritmos de caixa-preta, que os especialistas dizem serem frequentemente discriminatórios.
“Não temos transparência sobre como essas empresas montam e operam essas coisas”, disse Wozniak em entrevista. “Algos obviamente tem falhas … Um grande número de pessoas diria: ‘Adoramos nossa tecnologia, mas não estamos mais no controle.’ Acho que é esse o caso”.
O mesmo aconteceu conosco. Eu tenho 10 vezes o limite de crédito. Não temos contas bancárias ou de cartão de crédito ou ativos separados. Difícil encontrar um humano para uma correção. É uma grande tecnologia em 2019.
– Steve Wozniak (@stevewoz) 10 de novembro de 2019
Em resposta às reclamações, o Departamento de Serviços Financeiros do Estado de Nova York (DFS) disse que investigaria o cartão, emitido pelo gigante bancário Goldman Sachs.
“Qualquer algoritmo que intencionalmente ou não resulte em tratamento discriminatório de mulheres ou qualquer outra classe protegida viola a lei de Nova York”, disse um porta-voz da agência. O jornal New York Times. “A DFS está preocupada em saber sobre o potencial tratamento discriminatório em relação às decisões de limite de crédito que, segundo informações, foram tomadas por um algoritmo de Apple O Card, emitido pela Goldman Sachs, e o Departamento conduzirão uma investigação para determinar se a lei de Nova York foi violada e garantir que todos os consumidores sejam tratados igualmente, independentemente do sexo. ”
Em uma declaração, o Goldman Sachs negou que seus algoritmos discriminassem dessa maneira. “Em todos os casos, não tomamos e não tomaremos decisões com base em fatores como sexo”, disse o porta-voz da empresa, Andrew Williams. The Verge chegou a Apple para comentar e atualizará esta história se e quando recebermos resposta.
Essas reclamações alimentam a crescente conscientização do público sobre algoritmos discriminatórios, que estão cada vez mais tomando decisões em áreas como assistência médica, contratação e moradia. Empresas e agências governamentais geralmente introduzem esses sistemas automatizados para cortar custos e lidar com conjuntos de dados complexos, mas há anos os especialistas vêm alertando que esses algoritmos são opacos e não regulamentados, codificando o pensamento sexista e racista em software irresponsável.
No caso do Apple Cartão, as reclamações contra ele foram encaminhadas tão rapidamente porque o desenvolvedor David Hansson tem muitos seguidores on-line. Para a maioria das pessoas que são discriminadas por algoritmos opacos, essa resposta é inédita.
Em Twitter, Hansson observou que algumas pessoas estavam defendendo Apple dizendo que a discriminação de gênero era o par para o curso no mundo das finanças. “Como isso é tudo, menos a carga mais condenatória sobre AppleEstá com o cartão deles? ” respondeu Hansson. “O iPhone lançou o compromisso de agradar às operadoras e o status quo como seu modus operandi? Não.”
Quando Apple lançou seu cartão de crédito no início deste ano, que se orgulhava de trazer a simplicidade e transparência do Apple produtos para o mundo confuso das finanças. Usando o Apple O cartão seria suave e sem costura, disse Apple, levando a “uma vida financeira mais saudável”.
