Oszukiwanie podczas testów jest równie stare jak same testy. Nie potrafi mu się oprzeć żadna branża. Szefowie Volkswagena mogą mówić po prostu o wyjątkowym pechu.
Wystarczał niewielki poranny przymrozek, by zareagował czujnik temperatury zewnętrznej. Urządzenie nie tylko „wyzwalało” podgrzewanie szyb w aucie, ale wyłączało również kontrolę emisji zanieczyszczeń. O tym ukrytym działaniu sensora nie wiedzieli ani właściciele aut, ani – do pewnego momentu – amerykańska Agencja Ochrony Środowiska (EPA). Tajemnica prysła w 1973 r., kiedy okazało się, że wielkie amerykańskie koncerny – General Motors, Ford oraz Chrysler – a także japońska Toyota i niemiecki Volkswagen montowały takie wynalazki w autach sprzedawanych w USA.
Korporacje łatwo się poddawały, bo Detroit – i inni światowi producenci – od dekad bawią się z kontrolerami w podchody. Prawnicy oraz eksperci branży jak jeden mąż potwierdzili, że reakcja czujników nie tylko nie służyła obchodzeniu przepisów, ale też poprawiała wydajność silnika oraz redukowała emisję spalin. Skończyło się kompromisem – EPA wymogła demontaż urządzeń w autach, które schodziły z fabrycznych taśm, ale odpuściła w przypadku już sprzedanych. Stosunkowo najtrudniej mieli Niemcy: VW wynegocjował w końcu umowę, na mocy której odrzucił oskarżenia o próbę oszustwa, poniewczasie przyznawał się do umieszczenia sensorów z nowo odkrytą funkcją i przyjmował karę w wysokości 120 tys. dol. Nawet jak na dzisiejszą wartość dolara to relatywnie niewiele – bo ok. 644 tys. dol.
Oszukują wszyscy
20 lat spokoju – tyle udało się kupić menedżerom branży samochodowej. W połowie lat 90. przez rynek aut przetoczyła się czarna seria postępowań w sprawach rozmaitych mechanizmów i urządzeń, o których firmy zapomniały poinformować przy testach swoich produktów.
Na pierwszy ogień poszły cadillaki: cóż za pech – akurat w 1992 r. model Seville Touring Sedan został w USA autem roku. Tymczasem trzy lata później okazało się, że od początku dekady producent montował w tym modelu (i w modelach Eldorado, Fleetwood, DeVille) elektronikę, która uruchamiała „wzbogacanie” paliwa w momentach, gdy w aucie pracowały klimatyzacja lub system grzewczy. Miało to zapobiegać gaśnięciu silnika przy wzmożonym wysiłku – i zapobiegało, tyle że kosztem wzrostu emisji spalin do poziomu trzykrotnie wyższego niż dopuszczalna norma. – „Z całą mocą nie zgadzamy się z zarzutami władz federalnych – pisali w dementi rzecznicy GM. – To kwestia interpretacji regulacji dotyczących kompleksowej kwestii emisji spoza cyklu testowania” – dowodzili. Koniec końców, kontrolerzy zmusili giganta z Detroit do wezwania właścicieli prawie pół miliona samochodów celem wymiany ukrytego systemu, a także wysupłania 34 mln dol. na projekty związane z ograniczaniem emisji zanieczyszczeń.
Po General Motors przyszła kolej na Hondę, która maskowała kłopoty z zapłonem, wyłączając fabrycznie kontrolkę je sygnalizującą. A także Forda, który montował w jednym z modeli vanów system „wyrafinowanej strategii kontroli elektronicznej zaprojektowanej, by ulepszyć gospodarkę paliwem” – tak wyrafinowanej, że wyłączała przy dużych prędkościach kontrolę emisji spalin. Ostatnia przykra przygoda z kontrolerami przydarzyła się branży w 1998 r., kiedy to pod lupę EPA trafili producenci najcięższego sprzętu – m.in. Caterpillar, Mack Trucks, Renault i Volvo. Instalowane przez nich oprogramowanie działało zaledwie na tyle długo, by maszyna przeszła 20-minutowy test toksyczności spalin. Potem się wyłączało.
– Paradoks, nauczka poszła w las, a Volkswagen to ledwie wierzchołek góry lodowej. Tajemnica poliszynela – piszą o sekretach branży motoryzacyjnej globalne serwisy, powołując się m.in. na wrześniowy raport International Council on Clean Transportation (to ta instytucja pierwsza zaczęła sygnalizować wątpliwości co do aut VW). Z analiz specjalistów tej organizacji wynika, że już na początku poprzedniej dekady – ledwie kilka lat po opisanych skandalach – realne osiągi samochodów najpopularniejszych marek rozmijały się z wynikami testów laboratoryjnych o 10 proc. Różnica rosła w tempie kilku procent rocznie, by w zeszłym roku dobić progu 40 proc.
I VW nie jest tu rekordzistą – z testów eksperckich wynika, że rzeczywisty poziom emisji spalin pojazdów z fabryk Daimlera (mercedesów czy smartów) różni się od rezultatów uzyskanych podczas testów o 50 proc. Ba, jak policzyli dziennikarze serwisu Quartz, oficjalnie poziom emisji spalin przez przeciętne auto na drogach UE spadł od 2001 r. o 27 proc. – realnie różnica sięga może 8 proc., a w ciągu ostatnich pięciu lat jest bliska zeru. – Nowoczesny pojazd to dziś sterta komputerów na kółkach. W tak wielkiej ilości elektroniki jesteś w stanie ukryć konia trojańskiego – kwituje Clarence Ditlow, szef Center for Auto Safety. Cóż, może teraz do testów trzeba będzie zatrudniać informatyków.
Produkt świetny tylko w laboratorium
Ale i oni mogą mieć kłopot ze znalezieniem tajemnic i niespodzianek, jakie zostawiają w produktach inżynierowie. Kanty w sektorze informatycznym czy technologicznym nie są bowiem niczym nowym: wiosną przekonali się o tym choćby klienci chińskich producentów oprogramowania antywirusowego: Tencent i Qihoo 360.
Obie firmy dokonały prostackiego wręcz przekrętu – dostarczyły na testy bardziej wyrafinowane wersje oprogramowania niż te, które potem znalazły się na rynku. Pokazowa wersja ich antywirusów ledwie dwa miesiące wcześniej trafiła na szczyty rankingów opracowanych m.in. przez niemiecki AV-TEST GmbH (i jego austriacką odmianę – AV-Comparatives) oraz brytyjski magazyn i laboratorium Virus Bulletin. „Dziś wspólnie potępiamy dostawców oprogramowania, po tym jak stwierdziliśmy, że dostarczone przez firmy do testów porównawczych i certyfikacyjnych produkty zachowywały się zasadniczo odmiennie od tych, które udostępniono użytkownikom i klientom” – napisali we wspólnym oświadczeniu testerzy.
Nie miejmy wątpliwości – nie są to ani niszowe firmy, ani niszowe produkty, nawet jeśli gros klientów obu firm to internauci zza Wielkiego Muru. Tencent to m.in. właściciel bardzo popularnego w Państwie Środka komunikatora WeChat, z którego korzysta 430 mln użytkowników. Qihoo 360 współpracuje z Google i Nokią. Giełdowa wartość pierwszej przebiła w pewnym momencie 200 mld dol., druga miała w ubiegłym roku 1,5 mld dol. przychodów. Obie próbowały odeprzeć krytykę, argumentując m.in., że różnice między wersją testową a rynkową wynikały z odmiennych zachowań internautów na Zachodzie i w Azji.
Bez względu na różnice w zachowaniu, niewątpliwie można dostrzec różnice w ambicjach. Chińskie firmy usilnie próbują przebić się do czołówki światowych technologii i pozbyć się łatki imitatora – i nie wahają się grać przy tym niezbyt czysto. Jeszcze nie ucichło w światku informatycznym echo kantów przy testach programów antywirusowych, gdy okazało się, że trzeba zweryfikować wyniki międzynarodowego konkursu – 2015 ImageNet Large Scale Visual Recognition Challenge (ILSVRC). To rywalizacja technologii pozwalających rozpoznawać zdjęcia – w której największe szanse mają globalni giganci, jak choćby Google. Chiński rywal koncernu z Mountain View – Baidu – dostarczył oprogramowanie, które przebiło konkurentów.
Problem w tym, że z naruszeniem zasad konkursowych testów: zakładają one, że rywalizujące programy dostają standardowy zestaw półtora miliona zdjęć, na którym mają przetrenować umiejętność „uczenia się rozpoznawania”. Przegląd otrzymanego zestawu ma się odbywać nie częściej niż dwa razy w tygodniu. Potem, w finalnej fazie konkursu, umiejętność rozpoznawania zdjęć przez software zostaje przetestowana na zbiorze 100 tys. zdjęć, których program wcześniej nie widział. Tyle że Chińczycy z Baidu przyznali się w końcu, że w ciągu sześciu miesięcy przed finalnym testem ich program „uczył się” nawet częściej niż raz dziennie. Zawiłe? – Test na rozpoznawanie obrazów można porównać do kupowania losów na loterii. Jeżeli kupujesz dwa w tygodniu, masz niewielką szansę na wygraną. Jeśli kupujesz dwieście w tygodniu, ta szansa jest o wiele większa – komentował Oren Etzioni, szef Allen Institute for Artificial Intelligence. Efekt? Jeśli w marcu Google ustanowił rekord, odnotowując jedynie 4,82 proc. błędów przy rozpoznawaniu zdjęć, to Baidu pobił go w maju – z wynikiem 4,58 proc. błędów.
Zjawisko nie ogranicza się oczywiście do informatyki. W ubiegłym tygodniu na alarm uderzył brytyjski „The Guardian”, opisując funkcję motion lighting, jaką Samsung instaluje w telewizorach. W teorii motion lighting ma redukować jasność na podstawie analizy wyświetlanego obrazu, co powinno przekładać się na ilość zużywanego prądu. W praktyce, jak twierdzi gazeta, powołując się na testy niezależnych europejskich laboratoriów, energooszczędne działanie tej funkcji można między bajki włożyć. Adwersarze wymieniają ciosy: firma broni się, że jej rozwiązanie techniczne zyskało sobie uznanie międzynarodowych ekspertów, dziennikarze powołują się na wyniki badań testerów. Batalia na ekspertyzy może trwać miesiącami.
Inna sprawa, że mało której z firm udało się uniknąć zarzutów, a przynajmniej podejrzeń, o podkręcanie osiągów swojego sprzętu. Kilkanaście lat temu pod ostrzałem znalazł się Steve Jobs: Apple promował wówczas nowe komputery Power Mac G5, które na zlecenie producenta testowała firma VeriTest. No cóż, w testach sprzęt ze stajni Jobsa deklasował rywali, a osiągi niemal pod każdym względem miał wyjątkowe. Przynajmniej z perspektywy przeciętnego użytkownika, bo gdy eksperci wgryźli się w coś więcej poza podsumowaniem raportu z testów, okazało się, że konfiguracja użytego w testach sprzętu była, delikatnie mówiąc, daleka od standardowej.
Dobry lek, ale na inną chorobę
Czas na scenariusz ekstremalny: oto produkt, który ominął fazę testów, a dla pewności został uwiarygodniony artykułami pisanymi przez ekspertów. Mimo fatalnych skutków zażywania jest powszechnie sprzedawany, a menedżer odpowiedzialny za wprowadzenie go na rynek, agresywną kampanię marketingową i wiele niezbyt etycznych sposobów rozpowszechniania został prezesem spółki. Z perspektywą na nagrodę dla „lidera korporacji mającego poczucie odpowiedzialności społecznej”.
Taki obrazek odmalowały we wrześniu amerykańskie media – chodzi o firmę Johnson & Johnson, jej lek risperdal i Alexa Gorsky’ego od 2012 r. stojącego na czele J&J. Historię Risperdalu w kilku kolejnych artykułach dla „Huffington Post” prześledził reporter Steven Brill: zaczyna się ona ponad 20 lat temu, gdy w 1994 r. wygasła ochrona patentowa poprzedniego lekarstwa J&J na problemy psychotyczne. Firma nie miała zamiaru oddawać pola generykom – zaproponowała nowy produkt, Risperdal. Amerykańska Food and Drug Administration uznała jednak, że sukcesor ani nie różni się zbytnio od poprzednika, ani też nie przynosi nadzwyczajnych efektów w leczeniu schizofrenii.
Deficyt innowacyjności i skuteczności nie oznacza jednak zakazu sprzedaży, można by to porównać do zaliczenia testu na „dostateczny”. Tyle że lek rzucono na rynek, reklamując go już nie jako środek na schizofrenię, ale remedium zarówno na demencję u seniorów, jak i autyzm u dzieci. Praktyka przepisywania pacjentom leków na schorzenia inne niż te, na które medykamenty te testowano, jest – m.in. w psychiatrii – powszechna. Można by machnąć ręką, gdyby nie to, że wraz z rozpowszechnianiem się risperdalu zaczęto odnotowywać niepożądane efekty uboczne – starsi pacjenci dostawali zawałów, mieli kłopoty z układem krążenia. Chłopcom zaczęły rosnąć piersi (ginekomastia). A obie grupy pacjentów już po kilku latach dystrybucji środka na rynku stanowiły w sumie niemal połowę użytkowników risperdalu.
FDA w końcu zareagowała ostrzeżeniami, że uważa politykę informacyjną J&J za „fałszywą lub wprowadzającą w błąd”. Ale to było – zdaniem Brilla – mało powiedziane. Reporter opisuje m.in. umowę zawartą z niewielką z pozoru firmą Excerpta Medica, w gruncie rzeczy agencją ghostwriterów, którzy pisali pochwalne artykuły na temat produktów klienta, następnie znajdowali uznanych w środowisku specjalistów, którzy pod tymi dziełami się podpisywali, i podsuwali teksty branżowym periodykom. Jeszcze intratniejsza była umowa z Omnicare – firmą świadczącą usługi farmaceutyczne w domach opieki. Jej lekarze wypisywali risperdal, a J&J odpalał Omnicare działkę.
„Risperdal to dobry lek, który pomaga ludziom. Tyle że był sprzedawany zbyt szerokiemu kręgowi odbiorców, a system zawiódł, jeśli chodzi o ochronę konsumentów” – podsumowywał „The New York Times”. System próbuje ukarać firmę post factum – dwa lata temu za sprzedawanie leku grupom, do których nie był adresowany, Departament Sprawiedliwości wlepił firmie ponad 2-mld karę. Ale to akurat przewidziany przez firmę efekt uboczny: sprzedaż risperdalu przez dwie dekady przyniosła koncernowi prawdopodobnie dziesięć razy więcej. – Prezes VW ustąpił po ujawnieniu występków firmy, osoba odpowiedzialna za risperdal została nagrodzona awansem na prezesa J&J – wytykał publicysta „Huffington Post” Christopher Lane. – A więc nawet mimo tego, że firma została w końcu przyłapana, zbrodnia się opłaciła, tak korporacji, jak i jej menedżerom – komentował laureat dwóch Pulitzerów, Nicholas Kristof.
Życie to pasmo prób obejścia testów – westchnąłby pewnie filozof. Nie sposób byłoby się nie zgodzić – w sklepach zdarza się żywność, której etykiety opisują zupełnie inną rzeczywistość niż ta w puszce czy słoiku. Autoryzowane punkty napraw reperują oddawany tam gwarancyjny sprzęt czy auta używanymi częściami. W restauracjach kiedyś ostrzegano się przed niezapowiedzianymi kontrolami jakości żywności, a pewna firma ochroniarska (z USA) stworzyła wyrafinowany system ostrzegania się przed wizytami inspektorów ds. zapobiegania terroryzmowi, by utrzymać lukratywny kontrakt na ochronę lotnisk. Szczyt bezczelności osiągnął producent sztucznych penisów z okolic Pittsburgha, który oferował produkt – w odpowiednio zmodyfikowanej postaci – sportowcom, by mogli oszukiwać przy testach na doping (przez atrapę mogli oddać specjalnie przygotowany, czysty pod względem farmakologicznym, mocz). Z takiej atrapy skorzystał zresztą dosyć popularny swego czasu aktor, Tom Sizemore, który próbował oszukać dozorującego go kuratora i ukryć fakt, że brał narkotyki. Jedyną – nawet jeśli marną – pociechą jest to, że kiedyś testów w ogóle nie było.