Z perspektywy optymalizacji strategii marketingowej jest to zyskowne i niegroźne. Niestety dane zebrane o nas wykorzystywane są również do innych celów. Według Open Technology Institute stanowią wygodną furtkę dla dyskryminacji, nawet jeśli bliskie jest to praktykom zakazanym przez prawo. Przykładowo sieć powiązań na portalach LinkedIn czy Facebook może być podstawą określenia, czy stanowimy dobry komponent tzw. kultury korporacyjnej (ergo: czy nasze przekonania lub kręgi towarzyskie odpowiadają polityce firmy), przez co już na samym początku możemy zostać wyeliminowani z procesu rekrutacyjnego. Podobnie automatyczne systemy decyzyjne zaczynają ingerować w możliwość uzyskania kredytu, ocenę efektywności zawodowej czy plany dystrybucji środków publicznych. Algorytmy matematyczne z założenia powinny być bezstronne w wydawaniu werdyktów, sprawiedliwe w dysponowaniu dóbr wedle potrzeb i możliwości. Jednak tworzone są przez ludzi, a ich własne uprzedzenia czy przekonania mogą być bezwiednie odzwierciedlane w przygotowanych rozwiązaniach wpływających na nasze życie.
W głośnej książce „Broń matematycznej zagłady” Cathy O’Neil podaje przykłady instytucji w USA (szkolnictwo, więziennictwo), które, wykorzystując modele ewaluacyjne, doprowadzają częściowo do dyskryminacji algorytmicznej. Mowa o niesprawiedliwej ocenie osoby, powodowanej wyłącznie niedoskonałością narzędzia użytego w obiektywnie dobrym celu. Najczęściej dzieje się to, gdy nie istnieją mierzalne dane wymagane do poprawnego działania modelu, więc twórcy wykorzystują wybrane przez siebie substytuty. Mieszkasz w szemranej okolicy? Istnieje większa szansa, że sam jesteś na bakier z prawem. Zalegasz z płatnością kredytu? Prawdopodobnie jesteś nierzetelny i lekkomyślny.
Jednym z przykładów wymienionych przez O’Neil jest amerykański system IMPACT. Podstawą oceny nauczyciela są wyniki jego uczniów w testach końcowych. Wymiana belfrów, których podopieczni pozostają w ogonie punktacji, ma sens. Ale przecież testy to nie wszystko. Jak matematycznie ująć empatię, rozbudzanie pasji, wyrozumiałość na indywidualne problemy? Co gdy świadomi mechanizmu nauczyciele zaczynają poprawiać oceny na własną rękę? Czy to chęć zdobycia premii za skuteczność, czy obawa przed zwolnieniem – ci, którzy wbrew prawu dyskretnie poprawią wyniki, będą w lepszej sytuacji niż jednostki przyzwoite. Tu jeszcze zasady ewaluacji są przejrzyste i zrozumiałe – jednak już większość systemów badających zdolność kredytową czy odsiewająca kandydatów do pracy jest tajemnicą korporacyjną. Nawet jeśli ktoś pokrzywdzony mógłby poznać szczegóły, zetknie się z murem zawiłości i skomplikowania samego modelu, zwykle zrozumiałego tylko dla jego twórców i specjalistów branży.
Niekorygowana dyskryminacja algorytmiczna działa również jako własne koło napędowe. Dobrze ukazuje to przykład funkcjonującego w Polsce prestiżowego rankingu „Perspektyw”, gdzie szkoły i uczelnie rywalizują w wielu aspektach związanych z efektywnością szkolnictwa, jak wyniki egzaminów maturalnych czy liczba absolwentów na rynku pracy. Rodzic prędzej wyśle dziecko do placówek usytuowanych wysoko na liście rankingowej. Podobnie zdolni dydaktycy szukający pracy rozpoczną starania od aplikowania w miejsca, które pozwolą im się bardziej realizować. Tym sposobem szkoły „gorsze” naturalnie spychane są na dalsze pozycje, a „lepsze” rozwijają skrzydła.
Obecnie wpływ Big Data na nasze życie staje się coraz bardziej odczuwalny, a do głosu coraz częściej dochodzą obiekcje związane z szerokim i niekontrolowanym wykorzystaniem modeli matematycznych. Profesorowie prawa R. Brauneis z George Washington University oraz E.P. Goodman z Rutgers Law School postulują uchwalenie prawa dotyczącego przejrzystości algorytmów wykorzystywanych w instytucjach publicznych. Równolegle B.W. Goodman z Oxford Internet Institute proponuje doprecyzowanie unijnej regulacji GDPR (RODO) i przedstawia koncepcję instytucji „audytu algorytmów”, która zajęłaby się kontrolą czarnych skrzynek, jakimi obecnie są modele wykorzystywane przez korporacje.
Mimo ich wszelkich zalet, brak nadzoru nad modelami predykcyjnymi może okazać się niebezpieczny dla społeczeństwa. Niezależnie, czy świadomi narastającego problemu czy też nie – dla matematyki jesteśmy jedynie zbiorem zer i jedynek.