Jak często klikasz „zgadzam się” podczas przeglądania internetu? Każda strona internetowa informuje nas o tzw. ciasteczkach (ang. cookies). Służą one do wymiany informacji pomiędzy witryną i odwiedzającym, a precyzując część ich zadań – do profilowania użytkowników. Unijne rozporządzenie o ochronie danych osobowych z 27 kwietnia 2016 r. miało być odpowiedzią na zastraszające tempo eksploatacji sposobów kategoryzowania ludzi na podstawie śladów, które zostawiają po sobie w sieci. Matematyka staje się bowiem coraz częściej narzędziem dyskretnej manipulacji na masową skalę. Banałem jest już stwierdzenie, że w XXI w. jesteśmy stale namierzani i oceniani, a proponowane reklamy są dosłownie szyte na naszą miarę.
Z perspektywy optymalizacji strategii marketingowej jest to zyskowne i niegroźne. Niestety dane zebrane o nas wykorzystywane są również do innych celów. Według Open Technology Institute stanowią wygodną furtkę dla dyskryminacji, nawet jeśli bliskie jest to praktykom zakazanym przez prawo. Przykładowo sieć powiązań na portalach LinkedIn czy Facebook może być podstawą określenia, czy stanowimy dobry komponent tzw. kultury korporacyjnej (ergo: czy nasze przekonania lub kręgi towarzyskie odpowiadają polityce firmy), przez co już na samym początku możemy zostać wyeliminowani z procesu rekrutacyjnego. Podobnie automatyczne systemy decyzyjne zaczynają ingerować w możliwość uzyskania kredytu, ocenę efektywności zawodowej czy plany dystrybucji środków publicznych. Algorytmy matematyczne z założenia powinny być bezstronne w wydawaniu werdyktów, sprawiedliwe w dysponowaniu dóbr wedle potrzeb i możliwości. Jednak tworzone są przez ludzi, a ich własne uprzedzenia czy przekonania mogą być bezwiednie odzwierciedlane w przygotowanych rozwiązaniach wpływających na nasze życie.
W głośnej książce „Broń matematycznej zagłady” Cathy O’Neil podaje przykłady instytucji w USA (szkolnictwo, więziennictwo), które, wykorzystując modele ewaluacyjne, doprowadzają częściowo do dyskryminacji algorytmicznej. Mowa o niesprawiedliwej ocenie osoby, powodowanej wyłącznie niedoskonałością narzędzia użytego w obiektywnie dobrym celu. Najczęściej dzieje się to, gdy nie istnieją mierzalne dane wymagane do poprawnego działania modelu, więc twórcy wykorzystują wybrane przez siebie substytuty. Mieszkasz w szemranej okolicy? Istnieje większa szansa, że sam jesteś na bakier z prawem. Zalegasz z płatnością kredytu? Prawdopodobnie jesteś nierzetelny i lekkomyślny.