ALGO­RIT­MOS SEM LEI

   Nos últi­mos anos, o Face­bo­ok se tor­nou alvo cons­tan­te do gover­no ame­ri­ca­no pelo mau uso de dados dos seus usuá­ri­os. Em agos­to do ano pas­sa­do, sur­giu outra acu­sa­ção; des­ta vez, um pou­co dife­ren­te e por con­ta de um tema ain­da mais espi­nho­so. O Depar­ta­men­to de Habi­ta­ção e Desen­vol­vi­men­to Urba­no do gover­no ame­ri­ca­no afir­mou que a empre­sa de mídia soci­al esta­ria per­mi­tin­do que pro­pri­e­tá­ri­os de imó­veis dire­ci­o­nas­sem anún­ci­os no Face­bo­ok para evi­tar poten­ci­ais com­pra­do­res ou inqui­li­nos com base em raça, sexo e reli­gião. Em outras pala­vras, a empre­sa foi acu­sa­da de com­pac­tu­ar com um dire­ci­o­na­men­to pre­con­cei­tu­o­so. Os algo­rit­mos tam­bém se tor­na­ram uma dor de cabe­ça para o Goo­gle. Uma repor­ta­gem do jor­nal The New York Times levan­tou recen­te­men­te a pos­si­bi­li­da­de de o You­Tu­be estar suge­rin­do con­teú­dos nos quais apa­re­cem cri­an­ças logo após a exi­bi­ção de víde­os com cono­ta­ção sexu­al. Isso pode­ria carac­te­ri­zar uma espé­cie de sexu­a­li­za­ção por meio de ima­gens ino­cen­tes de cri­an­ças em situ­a­ções cor­ri­quei­ras.

   Os dois casos foram o pon­to de par­ti­da para que um gru­po de par­la­men­ta­res ame­ri­ca­nos ques­ti­o­nas­se o fun­ci­o­na­men­to des­ses algo­rit­mos. Eles tam­bém suge­rem uma dis­cus­são em tor­no da regu­la­ção para o uso des­sas tec­no­lo­gi­as, assim como vem ocor­ren­do na Fran­ça e no Rei­no Uni­do. O assun­to ganhou tama­nha reper­cus­são que alguns espe­ci­a­lis­tas dão como cer­ta a cri­a­ção de uma lei sobre o assun­to, inclu­si­ve no Bra­sil. Mas por que o ele­men­to mais basi­lar des­sa trans­for­ma­ção digi­tal tem cha­ma­do a aten­ção de tan­ta gen­te?

Kate O’Neill, uma das pri­mei­ras cola­bo­ra­do­ras da Net­flix

O CON­CEI­TO DE ALGO­RIT­MO

   Uma sequên­cia de eta­pas ou tare­fas que lem­bram uma recei­ta de um bolo, os algo­rit­mos são for­ma­dos a par­tir de ingre­di­en­tes (ou fil­tros) e ori­en­ta­ções sobre os pas­sos que devem ser segui­dos pelo com­pu­ta­dor para alcan­çar os resul­ta­dos dese­ja­dos. Espe­ci­a­lis­ta em mode­los de negó­cio base­a­dos em dados, a ame­ri­ca­na Kate O’Neill – uma das pri­mei­ras cola­bo­ra­do­ras da Net­flix – che­gou a clas­si­fi­car o algo­rit­mo como uma “opi­nião mate­má­ti­ca”. E essa defi­ni­ção real­men­te se apro­xi­ma do atu­al for­ma­to dele. Mas nem sem­pre foi assim. Em um pas­sa­do não mui­to dis­tan­te, máqui­nas usa­vam algo­rit­mos para resol­ver pro­ble­mas com a super­vi­são de um huma­no. Depois do sur­gi­men­to de empre­sas digi­tais como Uber, Airbnb, Face­bo­ok e Net­flix, entre outras, cri­ou-se um volu­me tão colos­sal de dados que ficou pra­ti­ca­men­te inviá­vel para o ser huma­no geren­ci­ar todas as deci­sões toma­das a par­tir dos algo­rit­mos. Para se ter uma ideia, o Goo­gle pro­mo­ve mais de 100 bilhões de pes­qui­sa por mês. Assim, máqui­nas foram ajus­ta­das para tomar deci­sões mais sim­ples e mas­si­fi­ca­das. E o núme­ro de novas deci­sões aumen­ta con­for­me avan­ça a trans­for­ma­ção digi­tal.

   É jus­ta­men­te nes­se momen­to que, segun­do espe­ci­a­lis­tas ouvi­dos pela revis­ta Con­su­mi­dor Moder­no, come­çam a sur­gir os pri­mei­ros pro­ble­mas. Isso por­que, enquan­to os algo­rit­mos per­mi­tem que máqui­nas cru­zem dados e ofe­re­çam solu­ções cada vez mais com­ple­xas e, aci­ma de tudo, impre­vi­sí­veis, eles exi­gem trans­pa­rên­cia e cau­te­la. “Algo­rit­mos exis­tem há anos e são uti­li­za­dos para resol­ver uma série de pro­ble­mas. Nos últi­mos anos, hou­ve um for­te avan­ço das novas tec­no­lo­gi­as, o que tor­nou cada vez mais fácil e rápi­do pro­ces­sar volu­mes cada vez mai­o­res de infor­ma­ções”, afir­ma Bea­triz Kira, pes­qui­sa­do­ra de Ciên­ci­as Soci­ais da Inter­net na Uni­ver­si­da­de de Oxford, no Rei­no Uni­do. Uma das mais res­pei­ta­das vozes sobre regu­la­ção de algo­rit­mos no País, ela des­ta­ca a neces­si­da­de de olhar com aten­ção para dados gera­dos, prin­ci­pal­men­te, a par­tir de machi­ne lear­ning. “Eles estão sen­do usa­dos para uma quan­ti­da­de cada vez mai­or de tare­fas do nos­so dia a dia e, em alguns casos, sem que as pes­so­as sai­bam. Eles tomam deci­sões e estão nos gui­an­do para deci­sões impor­tan­tes”, afir­ma Bea­triz.

O RIS­CO DO IMPRE­VI­SÍ­VEL

   A espe­ci­a­lis­ta tam­bém defen­de que os fil­tros usa­dos na cons­tru­ção dos algo­rit­mos sejam trans­pa­ren­tes para a soci­e­da­de. Hoje, não é isso o que acon­te­ce. Empre­sas como Face­bo­ok e Goo­gle têm tor­na­do os seus algo­rit­mos cada vez mais com­ple­xos e dita­do os rumos de empre­sas e até mes­mo de ser­vi­ços públi­cos. Essa é uma das ques­tões que pre­o­cu­pa. Em bre­ve, algo­rit­mos serão ampla­men­te usa­dos na for­mu­la­ção de polí­ti­cas públi­cas, o que, de novo, pode resul­tar em danos para a soci­e­da­de. Um exem­plo dis­so foi o que ocor­reu no ano pas­sa­do quan­do os pes­qui­sa­do­res Hany Farid e Julia Dres­sel, do Dart­mouth Col­le­ge, con­du­zi­ram um expe­ri­men­to a par­tir de um pro­gra­ma de com­pu­ta­dor cha­ma­do Com­pas – uma solu­ção de apoio às deci­sões da Jus­ti­ça dos Esta­dos Uni­dos para ava­li­ar a pro­ba­bi­li­da­de de um réu se tor­nar rein­ci­den­te de um cri­me.

   O resul­ta­do mos­trou que homem e máqui­na tive­ram desem­pe­nhos bem pare­ci­dos. Pes­so­as acer­ta­ram 67% dos casos, enquan­to as máqui­nas alcan­ça­ram um índi­ce não supe­ri­or a 65%. No entan­to, o resul­ta­do mais pre­o­cu­pan­te viria depois. O Com­pas con­cluiu que negros são duas vezes mais pro­pen­sos à rein­ci­dên­cia de cri­mes do que os bran­cos. “Essa aná­li­se indi­cou que as pre­vi­sões eram pou­co con­fiá­veis e racis­tas”, con­cluiu o estu­do. Outro equí­vo­co acon­te­ceu na Nova Zelân­dia, em 2014. Um pro­gra­ma expe­ri­men­tal desen­vol­vi­do pelo gover­no local usou 132 variá­veis (den­tre elas ida­de dos pais, saú­de men­tal, ante­ce­den­tes cri­mi­nais e par­ti­ci­pa­ção em pro­gra­mas soci­ais) para men­su­rar a pro­ba­bi­li­da­de de um bebê sofrer maus-tra­tos. O bizar­ro expe­ri­men­to foi encer­ra­do um ano depois com um resul­ta­do bem dis­tan­te dos ansei­os dos pes­qui­sa­do­res: a máqui­na errou em 70% dos casos.

ALGO­RIT­MOS APE­NAS REPRO­DU­ZEM O QUE REAL­MEN­TE SOMOS, MUI­TO EMBO­RA ENXER­GAR ESSA REA­LI­DA­DE PRE­CON­CEI­TU­O­SA INCO­MO­DE

TAR­RY SINGH, DA DEEPKAPHA.AI

   Na ava­li­a­ção do holan­dês Tar­ry Singh, CEO e pes­qui­sa­dor de inte­li­gên­cia arti­fi­ci­al com foco em neu­ro­ci­ên­cia da Deepkapha.ai, esses resul­ta­dos refor­çam a sua impres­são sobre quem é o ver­da­dei­ro “cul­pa­do” de os algo­rit­mos apre­sen­ta­rem resul­ta­dos equi­vo­ca­dos. E acre­di­te: não é a máqui­na. “A ques­tão é: como era o mun­do antes des­sas novas tec­no­lo­gi­as? Há 30 anos, as pes­so­as dis­cri­mi­na­vam as outras na hora de ofe­re­cer uma vaga de empre­go? Como era o tra­ta­men­to para alguns negros em luga­res como Loui­si­a­na? Nada do que eles nos mos­tram é novo. Algo­rit­mos ape­nas repro­du­zem o que real­men­te somos, mui­to embo­ra enxer­gar essa rea­li­da­de pre­con­cei­tu­o­sa inco­mo­de. Eu pen­so que algo­rit­mos podem nos sal­var da nos­sa pró­pria estu­pi­dez”, afir­ma Singh.

É UM ENGA­NO ACHAR QUE ALGO­RIT­MOS SÃO NEU­TROS. OS VIE­SES SÃO ESTRU­TU­RAIS E SIS­TÊ­MI­COS E POU­CO TÊM A VER COM UMA DECI­SÃO OU RES­PEI­TO À INDI­VI­DU­A­LI­DA­DE

VIR­GI­NIA EUBANKS, DA UNI­VER­SI­DA­DE DE ALBANY, EM NOVA YORK

ELES PODEM SER NEU­TROS?

   De fato, há um lado da mate­má­ti­ca dos algo­rit­mos que pode resul­tar em pre­con­cei­to no mun­do real. A pro­fes­so­ra de ciên­ci­as polí­ti­cas da uni­ver­si­da­de ame­ri­ca­na de Albany, Vir­gi­nia Eubanks, afir­ma no livro “Auto­ma­ting Ine­qua­lity: How High-Tech Tools Pro­fi­le, Poli­ce, and Punish the Poor” (“Auto­ma­ti­zan­do a Desi­gual­da­de: como as fer­ra­men­tas de alta tec­no­lo­gia per­fi­lam, poli­ci­am e punem os pobres”) que eles podem, inclu­si­ve, ampli­ar a dis­tân­cia entre ricos e pobres. “É um enga­no achar que algo­rit­mos são neu­tros. Os vie­ses são estru­tu­rais e sis­tê­mi­cos e pou­co têm a ver com uma deci­são ou res­pei­to à indi­vi­du­a­li­da­de”, des­ta­ca Vir­gi­nia no livro. Mais do que isso, Vir­gi­nia afir­ma que algo­rit­mos podem refor­çar men­ti­ras e pre­cei­tos soci­ais que já deve­ri­am estar enter­ra­dos.

   Em 2017, outro estu­do, des­ta vez pro­du­zi­do pela uni­ver­si­da­de ame­ri­ca­na de Vir­gí­nia, mos­trou que a pre­o­cu­pa­ção da escri­to­ra faz sen­ti­do. Na oca­sião, os cien­tis­tas colo­ca­ram inte­li­gên­ci­as arti­fi­ci­ais para ana­li­sar dois gigan­tes­cos ban­cos de ima­gens. Ini­ci­al­men­te, os homens pro­ta­go­ni­za­vam 33% das fotos que con­ti­nham pes­so­as cozi­nhan­do. Após trei­nar a máqui­na com esses dados, ela falhou ao dedu­zir que 84% das fotos eram com­pos­tas por mulhe­res, refor­çan­do o este­reó­ti­po entre mulher e cozi­nha.

REGU­LA­ÇÃO À VIS­TA

   Na ava­li­a­ção de espe­ci­a­lis­tas, a solu­ção seria desen­vol­ver uma nova men­ta­li­da­de ou mes­mo uma revi­são sobre os ingre­di­en­tes usa­dos nes­se bolo cha­ma­do algo­rit­mo. Em outras pala­vras, é pre­ci­so repen­sar a visão de mun­do que que­re­mos trans­por­tar para o mun­do vir­tu­al. Mui­tos gover­nos enten­dem que o melhor cami­nho é a cri­a­ção de leis, assim como defen­de a bra­si­lei­ra Bea­triz, de Oxford. Nos Esta­dos Uni­dos, uma pro­pos­ta apre­sen­ta­da no mês pas­sa­do pelo sena­dor demo­cra­ta Ron Wyden daria à Comis­são Fede­ral de Comér­cio do país o poder de fis­ca­li­zar os algo­rit­mos das empre­sas com um fatu­ra­men­to anu­al aci­ma de US$ 50 milhões. A ideia é impe­dir que algo­rit­mos de gêne­ro ou raça sejam usa­dos por com­pa­nhi­as como Face­bo­ok. “Os com­pu­ta­do­res estão cada vez mais envol­vi­dos nas deci­sões mais impor­tan­tes que afe­tam a vida dos ame­ri­ca­nos. Isso pode ser um fator deci­si­vo na hora de alguém com­prar ou não uma casa ou até mes­mo ir para a cadeia”, dis­se o sena­dor demo­cra­ta Ron Wyden em um comu­ni­ca­do de impren­sa ao anun­ci­ar o pro­je­to.

Capa do livro “Auto­ma­ti­zan­do a Desi­gual­da­de: como as fer­ra­men­tas de alta tec­no­lo­gia per­fi­lam, poli­ci­am e punem os pobres”

Ron Wyden, sena­dor ame­ri­ca­no autor da lei que regu­la o uso de algo­rit­mos nos EUA

   Na Euro­pa, a regu­la­ção tam­bém é ape­nas uma ques­tão de tem­po. Em abril des­te ano, foi apro­va­da uma lis­ta com dire­tri­zes éti­cas para o uso da inte­li­gên­cia arti­fi­ci­al. Nela, há uma reco­men­da­ção para que as pes­so­as só con­fi­em em inte­li­gên­ci­as arti­fi­ci­ais quan­do elas res­pei­ta­rem as leis e os valo­res éti­cos. A Fran­ça e o Rei­no des­pon­tam como os pri­mei­ros paí­ses do Velho Mun­do a terem as pri­mei­ras leis pró­pri­as a res­pei­to. No Bra­sil, por enquan­to, nenhum pro­je­to está em pau­ta. Mas algu­mas dis­cus­sões come­çam a con­ver­gir na dire­ção de uma regu­la­ção. No ano pas­sa­do, por exem­plo, o Minis­té­rio das Rela­ções Exte­ri­o­res pro­mo­veu um deba­te sobre o assun­to e con­cluiu que o País pre­ci­sa­rá cri­ar uma espé­cie de agên­cia regu­la­do­ra da inte­li­gên­cia arti­fi­ci­al no futu­ro. “O pon­to de par­ti­da pode­rá mui­to bem resi­dir na cri­a­ção de uma Agên­cia Fede­ral Bra­si­lei­ra para a Robó­ti­ca e a Inte­li­gên­cia Arti­fi­ci­al. Uma agên­cia com pode­res de con­sul­to­ria, super­vi­são e, even­tu­al­men­te, regu­la­ção, cuja com­po­si­ção deve­rá refle­tir a mul­ti­dis­ci­pli­na­ri­da­de e com­ple­xi­da­de do tema: polí­ti­cos, aca­dê­mi­cos e pro­fis­si­o­nais, naci­o­nais e inter­na­ci­o­nais, com exper­ti­se em robó­ti­ca e inte­li­gên­cia arti­fi­ci­al”, dizia o docu­men­to com as con­clu­sões do encon­tro.

Dani­lo Done­da, pro­fes­sor e autor da Lei Geral de Pro­te­ção de Dados (LGPD)

   Bea­triz defen­de um mode­lo no qual exis­ta uma imple­men­ta­ção de regras de trans­pa­rên­cia e pres­ta­ção de con­tas (accoun­ta­bi­lity) e que inclua uma audi­to­ria que ava­lie a qua­li­da­de das infor­ma­ções arma­ze­na­das e das deci­sões toma­das com base em algo­rit­mos. Outro espe­ci­a­lis­ta no assun­to, Dani­lo Done­da, pro­fes­sor e autor da Lei Geral de Pro­te­ção de Dados (LGPD), não é favo­rá­vel a uma regu­la­ção, mas apoia um amplo deba­te sobre o impac­to dos algo­rit­mos na soci­e­da­de. “O algo­rit­mo foi fei­to para ser efi­ci­en­te. O que pre­ci­sa­mos é dar um pas­so atrás e iden­ti­fi­car as cau­sas des­sas deci­sões. É pre­ci­so ter cla­re­za sobre como elas estão sen­do toma­das”, afir­ma. No fun­do, o reca­do dos espe­ci­a­lis­tas é que boas per­gun­tas ou bons valo­res sejam incor­po­ra­dos aos algo­rit­mos para que, ao con­trá­rio dos huma­nos, eles sejam imu­nes à fal­ta de éti­ca e ao juí­zo de valor. Sem esses ingre­di­en­tes, uma coi­sa é cer­ta: a recei­ta vai desan­dar.

ALGO­RIT­MOS SÃO
COMO CAI­XAS PRE­TAS

Voz impor­tan­te quan­do o assun­to é a regu­la­ção de ser­vi­ços digi­tais, Bea­triz Kira par­ti­ci­pou ati­va­men­te dos deba­tes sobre a cri­a­ção de leis para a Uber. Dou­to­ra em direi­to econô­mi­co pela Uni­ver­si­da­de de São Pau­lo, ela tem rea­li­za­do nos últi­mos meses pes­qui­sas sobre ciên­ci­as soci­ais da inter­net den­tro da uni­ver­si­da­de bri­tâ­ni­ca de Oxford. Con­fi­ra o que ela tem a dizer sobre o uso de algo­rit­mos:

CON­SU­MI­DOR MODER­NOQUAL É A SUA VISÃO SOBRE O USO DE ALGO­RIT­MOS E EVEN­TU­AIS RESUL­TA­DOS DIS­TOR­CI­DOS OU TEN­DEN­CI­O­SOS A PAR­TIR DELES?

Bea­triz Kira – De fato, há diver­sos estu­dos que apon­tam que algo­rit­mos leva­ram a efei­tos nega­ti­vos, nefas­tos, inclu­si­ve dis­cri­mi­na­tó­ri­os. Por exem­plo: foi fei­to um estu­do para iden­ti­fi­car as deci­sões de um algo­rit­mo que men­su­ra o valor de fian­ça pago por uma deter­mi­na­da pes­soa para sair da cadeia. Ocor­re que ficou com­pro­va­do que os dados eram envi­e­sa­dos. Eles tinham uma ten­dên­cia a con­ce­der uma fian­ça mui­to mai­or a uma deter­mi­na­da popu­la­ção pobre e que inte­gra­va mino­ri­as raci­ais com base no seu ende­re­ço. Há tam­bém casos em que os valo­res dos segu­ros de saú­de ou de um car­ro foram medi­dos a par­tir de carac­te­rís­ti­cas soci­or­ra­ci­ais. Estes são ape­nas alguns dos equí­vo­cos.

CMCOMO RESOL­VER ISSO?

BK – É algo que vem sen­do dis­cu­ti­do no mun­do todo. Nos EUA, exis­te um pro­je­to de lei para lidar com algo­rit­mo e com todas as deci­sões auto­ma­ti­za­das. A ideia é que uma deci­são toma­da por um ser huma­no seja revis­ta a fim de veri­fi­car se ela é jus­ta ou coe­ren­te. Além dis­so, dis­cu­te-se mui­to a ques­tão da trans­pa­rên­cia dos algo­rit­mos, pois é pre­ci­so enten­der como deci­sões são toma­das. Algo­rit­mos nor­mal­men­te são com­pa­ra­dos a uma cai­xa pre­ta, pois você não sabe o que encon­trar den­tro deles. E mes­mo as empre­sas de tec­no­lo­gia reco­nhe­cem a neces­si­da­de de exa­mi­nar e dei­xar mais cla­ras as deci­sões toma­das.

CM – QUAL SERIA O PAPEL DE UMA REGU­LA­ÇÃO?

BK – Uma regu­la­ção seria impor­tan­te para cor­ri­gir a assi­me­tria de infor­ma­ção. A pes­soa que fez o algo­rit­mo sabe o efei­to de uma deci­são toma­da, mas a pes­soa afe­ta­da por essa deci­são não tem esse conhe­ci­men­to. É pre­ci­so cor­ri­gir isso. Uma for­ma de miti­gar esses pro­ble­mas é o que o pes­so­al cha­ma de algo­rit­mos audi­tá­veis. A pes­soa que sofreu a deci­são teria o poder de audi­tar as deci­sões toma­das.

REGU­LA­ÇÕES PELO MUN­DO

A apro­va­ção de leis que defen­dam dados pes­so­ais pode resul­tar em deba­tes sobre a regu­la­ção de algo­rit­mos. Eis alguns exem­plos:

null