Þann 5. mars árið 1988 birtist grein í British Medical Journal (Lowry og Macpherson, 1988)þar sem fjallað var um það að St. George’s háskólinn í London hafi verið fundinn sekur umkyn- og kynþáttamismunun í umsóknarferli tilvonandi nemenda. Til þess að auðvelda starfsfólki vinnslu á umsóknum hafði háskólinn látið útbúa hugbúnað sem látinn var sjá um fyrstu útsigtun umsókna. Hugbúnaðurinn var byggður á ítarlegri greiningu á hvernig starfsfólk háskólans valdi umsóknir og þegar hugbúnaðurinn var tekinn í notkun voru ákvarðanir hans í 90-95% tilfella þær sömu og ákvarðanir starfsfólks.

Vandinn var að fordómar starfsfólksins höfðu mótað gögnin sem algrím hugbúnaðarins notaði sem grunn að sinni ákvarðanatöku. Umsóknir kvenna og fólks með nöfn sem ekki höfðu Evrópskan uppruna voru því ólíklegri til að verða fyrir valinu af hug-búnaðinum, burt séð frá námsárangri.

Nú meira en 30 árum síðar, virðist vandinn ekki hafa verið upprættur. Nýleg dæmi hafa komið upp þar sem algrím, sem samfélagsmiðillinn Twitter notar til að finna hvar andlit eru á myndum til þess að ákvarða hvernig skal ramma þær inn, einblíndi alltaf á hvít andlit fram yfir önnur. Það komst upp eftir að hvítur maður ætlaði að birta á Twitter, dæmi um hvernig forritið Zoom hafði klippt svartan samstarfélaga sinn úr mynd á fjarfundi (Kulkarni, 2021). Almennt virðist andlits-greiningartækni eiga erfiðara með að greina svört andlit en hvít og jafnvel konur en karla. Þessi tækni er þó ekki bara notuð á samfélagsmiðlum eða fjarfundarbúnaði.

Andlitsgreiningartækni er notuð í lása á snjallsímum og hefur lögreglan víða í Bandaríkjunum notast við þessa tækni í leit sinni að glæpamönnum (Buolamwini og Timnit, 2018). Lögreglur víða í Bandaríkjunum og Evrópu eru jafnvel farnar að nota algrími til þess að reyna að sjá fyrir hvar glæpir verða líklegast framdir í von um að geta komið í veg fyrir þá. Tölvur taka saman hvar glæpir eru oftast framdir og taka jafnvel saman einstaklinga sem líklegir eru til að fremja glæpi byggt á þeim gögnum sem þeim er gefinn aðgangur að. Algrímin vinna úr gagnabanka sem byggir á vinnu lögreglumanna. Þeir persónulegu fordómar sem hafa áhrif á störf lögreglumanna endurspeglast í gögnunum sem algrímin vinna úr. Það sem verra er er að svo þegar lögreglumenn byggja ákvarðanir sínar ániðurstöðum algrímsins ýtir það undir að algrímið komist að sambærilegum niðurstöðum síðar (Lum og Isaac, 2016).

En hvað er hægt að gera? Gervigreind verður stöðugt algengari í okkar daglega lífi og væntanlega viljum við flest að samfélagslegir fordómar minnki og mismunun hverfi á brott. Hvernig gerum við það ef tæknin bæði endurspeglar og ýtir undir þá mismunun sem nú er til staðar? Rannsókn frá árinu 2020 sýndi fram á að hægt væri að bæta vinnslu á gagnabönkum fyrir algrími gervigreinda með því að passa upp á að hugbúnaðarverkfræðingarnir sem vinna gervigreindina séu með vitaðir um að takmarka þurfi mismunun innan þeirra gagnabanka sem notaðir eru. Það kemur þó ekki í veg fyrir að verkfræðinganna komi kannski ekki auga ýmis vandamál innan gagnabankans sem ýtt gætu undir mismunun. Sama rannsókn sýndi að bestu niðurstöðurnar fengust þegar hlutföll fólks af misjöfnum kynjum og kynþáttum voru sem fjölbreyttust innan hvers teymis (Cowgill o.fl.,2020).

Vandamálið sem við stöndum þá frammi fyrir er að gervigreindarheimurinn er því miður ansi einsleitur. Árið 2019 voru aðeins 18% höfunda á leiðandi ráðstefnum um gervigreind konur.Mynduðu konur þá um 10% rannsóknarteymis Google um gervigreind og 15% hjá Facebook. Einsvoru aðeins 20% prófessora í gervigreind konur. Svart fólk myndaði þá 2,5% af heildarstarfskrafti Google, 4% af heildarstarfskrafti Facebook og Microsoft (Hao, 2019).

Gervigreind er ekki skapandi. Hún endurspeglar aðeins það sem fyrir henni er haft. Því stærrahlutverk sem gervigreind fær í okkar samfélagi, því mikilvægara verður að hún endurspegli ekki núverandi galla okkar, heldur frekar hugmyndafræðilega stefnu. Drauma okkar um hver við viljum vera. Því er ótrúlega mikilvægt að hugbúnaðarheimurinn sé framúrskarandi þegar kemur að fjölbreytni starfsfólks. Að hann sé meðvitaður um eigin fordóma og vankanta og reyni eftirbesta móti að finna raunverulegar, áþreifanlegar lausnir.

Höfundur: Alexandra Ingvarsdóttir nemandi við Háskólann í Reykjavík

Heimildaskrá

Buolamwini, Joy og Timnit, Gebru. (2018). Gender Shades: Intersectional Accuracy Disparitiesin Commercial Gender Classification. Proceedings of Machine Learning Research, 81, 1-15

Cowgill, B., Dell’Acqua, F., Deng, S., Hsu, D.J., Verma, N.,  Chaintreau, A. (2020). BiasedProgrammers? Or Biased Data? A Field Experiment in Operationalizing AI Ethics. Proceedingsof the 21st ACM Conference on Economics and Computation.

Hao, Karen. (2019, 17. apríl). AI’s white guy problem isn’t going away. MIT Technology Review.https://www.technologyreview.com/2019/04/17/136072/ais-white-guy-problem-isnt-going-away/

Lowry, S., og Macpherson, G. (1988). A blot on the profession. British medical journal (Clinicalresearch ed.), 296(6623), 657–658.https://doi.org/10.1136/bmj.296.6623.657

Lum, K. and Isaac, W. (2016). To predict and serve?.  Significance, 13, 14-19.https://doi.org/10.1111/j.1740-9713.2016.00960.x