Największym przejawem samodzielności robota byłoby dojście do wniosku, że jego egzystencja jest nudna i nie powinna składać się tylko z dostarczania poczty. Tylko po co nam aż tak mądre roboty? - pyta naukowiec.
Czy robot powinien wyglądać jak człowiek?
Tak. Dlaczego? Ze względów praktycznych. Otaczająca nas infrastruktura jest stworzona tak, by ludzie mogli się w niej sprawnie poruszać. Drzwi, schody czy krzesła – wszystko jest skonstruowane dla naszej wygody. Więc jeśli stworzymy roboty, które będą innego kształtu niż my, to będą one miały spory problem z poruszaniem się i wykonywaniem czynności takich jak np. otwieranie drzwi, wchodzenie po schodach, chwytanie dzbanka z herbatą czy obsługa przedmiotów codziennego użytku.
Oczywiście nie oznacza to, że robot musi wyglądać identycznie jak człowiek, ale ogólnie dobrym pomysłem byłoby, gdyby miał zbliżony do nas kształt.
To podejście typowo praktyczne. Ale czy moralne?
Część naukowców uważa, że roboty powinny jak najbardziej przypominać człowieka, bo wtedy łatwiej będzie można się z nimi komunikować. Ale ja nie jestem przekonany do tej wizji. Na dodatek obecnie im bardziej staramy się stworzyć robota wyglądającego jak my, tym bardziej upiornie on wygląda. To zjawisko wciąż jest nie do przeskoczenia i m.in. dlatego nazywa się je Doliną Niesamowitości (Uncanny Valley). Fraza ta opisuje wrażenie, jakie odnosimy, patrząc na humanoidalnego robota i zauważając w nim nienaturalny szczegół, np. sztuczne oczy czy ograniczoną mimikę twarzy. Wywołuje to w nas uczucie niepokoju, strachu i nieufności. Z tego samego powodu boimy się wampirów, zombie. A nawet zwykłych lalek – bo niby wyglądają jak my, ale jednak nie do końca. Więc stworzenie robota jak z „Łowcy androidów” – wyglądającego jak człowiek i posiadającego ludzkie uczucia – może być bardzo trudne. Chyba łatwiej obrać kierunek dążący do stworzenia humanoida, który wygląda jak zabawka i swoim uroczym wyglądem budzi miłe odczucia.
Te odczucia byłyby pomocne przy projektowaniu robotów opiekuńczych?
Mogą mieć duże znaczenie. Niewykluczone jednak, że ważniejsze od tego, jak robot wygląda, będzie to, w jaki sposób postępuje z podopiecznymi. Dla mnie kontrowersyjną kwestią jest to, czy powinniśmy mieć maszyny zajmujące się starszymi i schorowanymi ludźmi. Bo nasza moralność wymaga, by ludźmi w potrzebie zajmowali się inni ludzie. Sama fraza „opiekować się” wskazuje, że powinno się troszczyć o kogoś, dbać o jego komfort. Nie chodzi więc jedynie o to, by wydać lekarstwo i posprzątać. Powinno się rzeczywiście odczuwać chęć poprawy zdrowia innej osoby albo cieszyć się, że przebywa ona w przyjaznym otoczeniu. A dla robotów jeszcze przez długi czas takie odczucie będzie obce. I z tego też powodu promowane wśród naukowców roboty opiekuńcze mogą być bardzo niemoralne. Zwłaszcza gdy będą wyglądały jak ludzie. Moim zdaniem nie powinno się tworzyć iluzji tego, że roboty faktycznie o kogoś dbają, kiedy w rzeczywistości jedynie beznamiętnie wykonują określone czynności. A w momencie, gdy ich podopieczny umiera, wysyłają jedynie komunikat o błędzie i przechodzą w stan gotowości do przyjęcia nowego zadania.
Czy zatem musimy zadbać o to, aby roboty pozostały produktami, a nie stały się naszymi towarzyszami?
Niedawno czytałem artykuł zatytułowany „Roboty powinny być niewolnikami”, którego autor twierdził, że takie rozwiązanie byłoby dla nas bezpieczniejsze. Ale przecież maszyny przemysłowe już teraz bardzo często ranią lub nawet zabijają ludzi. Nie robią tego z premedytacją, lecz z powodu awarii. Jeśli niewłaściwie zaprogramujemy maszynę niewolnika, dając jej zbyt ogólny cel działania, to w praktyce też możemy mieć problemy. Mój kolega z Uniwersytetu Oksfordzkiego Nick Bostrom podaje przykład robota, który dostałby za zadanie wywoływanie uśmiechu na twarzy właściciela. Po opowiedzeniu kilku nieudanych dowcipów mógłby zacząć drążyć temat swojej porażki i dojść do wniosku, że skuteczniejszą metodą wywoływania uśmiechu byłoby wbicie elektrody w mózg właściciela i stymulowanie prądem odpowiedniego ośrodka. Problem z robotem byłby więc taki, że on nie rozumiałby pojęcia szczęścia. Nie kojarzyłby, że człowiek śmieje się z powodu miłych uczuć, a nie tylko z powodu zachodzącej w nim chemiczno-fizycznej reakcji. Inżynier mógłby zatem chcieć stworzyć robota, który miałby nas nie tyle rozśmieszać, ile doprowadzać do szczęścia. Rzecz w tym, że robotyka nie jest prostym polem do wdrażania takich idei. Nie da się przecież jasno zdefiniować szczęścia i trudno się spodziewać, żeby robot kiedykolwiek to właściwie zrobił, a potem jeszcze podjął w tym celu odpowiednie działania.
Jak zatem programować roboty, by mogły żyć obok nas?
W naszym instytucie pracujemy nad koncepcją value alignment (wyrównaniem wartości). Chodzi o to, by roboty miały podobne wartości jak ludzie. Nie jest to łatwe zadanie, bo jako ludzie jesteśmy słabi w określaniu tego, co jest dla nas najważniejsze w życiu. Filozofowie, myśliciele i poeci od wieków się nad tym zastanawiają i nie doszli do sensownej konkluzji. Jeślibyśmy wszystkie ich dzieła wrzucili do oprogramowania robota, to kto wie, co by wywnioskował. Co zatem można zrobić, by robot rozumiał, co jest dobre, a co złe dla ludzi? Można próbować stworzyć zestaw zasad. Tylko że trzy prawa robotyki Asimova są już zbyt archaiczne. I jak widzimy po wielu książkach i filmach – nie zadziałałyby w praktyce. Bo one nie wyczerpują wszystkich możliwych scenariuszy, w których robot będzie musiał odpowiednio zareagować. Nie określają np. sytuacji, gdzie człowiek będzie się starał celowo oszukać maszynę, by doprowadzić ją do błędnych wniosków. Moglibyśmy zatem uczyć robota trochę jak zwierzę, karząc go za błędy i nagradzać za sukcesy. Istnieje również koncepcja zakładająca, że maszyna uczyłaby się, obserwując ludzi. Z czasem mogłaby wywnioskować, że np. głaskanie dzieci po głowie jest oznaką sympatii. I przebywając w otoczeniu ludzi stopniowo uczyłaby się, co jest dobre i jak z nami współegzystować. Taki model zakłada wysoko rozwiniętą inteligencję robota. Jednak uważam, że roboty nie powinny być jedynie narzędziami. I znając innych inżynierów, oni również będą dążyć do stworzenia prawdziwego kompana. Pamiętajmy, że chcąc wbić gwóźdź w ścianę, nie zawsze szukamy najbardziej zaawansowanego narzędzia, przeważnie wystarczy po prostu zwykły młotek.
Wspomniał pan o filmach – który scenariusz sztucznej inteligencji wydaje się panu najbliższy w przyszłości?
Chyba nie widziałem żadnego, który pokazywałby taką wizję w prawdziwie kompleksowy sposób. Ciekawe konsumenckie relacje ze sztuczną inteligencją przedstawia film „Ona” z 2013 r. w reżyserii Spike’a Jonze’a. Pokazuje on, że nowe możliwości technologiczne wcale nie prowadzą do stworzenia utopii. Bo co z tego, że mamy dziś możliwość rozmawiania na żywo z osobą na drugim końcu świata, kiedy wciąż narzekamy na zbyt niską rozdzielczość czy opóźnienia w transferze danych. Zawsze znajdujemy sobie jakiś problem i nie inaczej jest w filmie „Ona”. Tam bohater zaczyna tak bardzo polegać na kupionym przez siebie systemie sztucznej inteligencji, że do wściekłości doprowadza go fakt, że ów system jest jedynie produktem, dodatkowo niezrozumiałym i dostępnym tak naprawdę dla każdego za odpowiednią opłatą. Śmieszą mnie z kolei filmy takie jak „Terminator” czy „Matrix”. W przypadku tego pierwszego mamy do czynienia ze zwykłą kliszą wielkiego, złego drapieżnika goniącego za człowiekiem. To nie jest odpowiednie przedstawienie zagrożeń płynących z rozwoju robotyki. Z kolei „Matrix” jest nieco bardziej prawdopodobny, jednak ma tak dużo absurdalnych motywów, że również trudno go brać na poważnie. Bo wykorzystywanie ludzi jako źródła energii jest po prostu nieefektywne, tak samo jak produkowanie milionów robotów, które padają jak muchy. Przecież prawdziwie inteligentne systemy komputerowe nigdy nie stawiają na ilość, tylko szukają najefektywniejszego rozwiązania.
Wracając do bardziej przyziemnych spraw, w którym momencie możemy pana zdaniem mówić o tym, że robot jest w pełni autonomiczny? Kiedy zdaje Test Turinga, gdy potrafi analizować dostarczane mu dane (deep learning), kiedy może napisać sobie własne algorytmy, a może gdy dąży do ustalonego przez programistę celu w nieprzewidziany dla niego sposób?
Test Turinga nie ma zbyt dużo wspólnego z prawdziwą autonomią. Kiedy Alan Turing go wymyślił, większość ludzi nie wierzyła, że roboty kiedykolwiek będą na tyle mądre, by oszukać kogoś, wmawiając mu, że jest żywą istotą. Wtedy to było po prostu szaleństwo. Zresztą fakt, że człowiek może zostać oszukany przez maszynę, nie dowodzi autonomii robota. Bardziej tego, że ludzie są głupi i łatwo ich oszukać. Co do definicji autonomii, to charakteryzuje się ona tym, że dana istota robi coś na podstawie własnych przemyśleń, dążąc jednocześnie do celu. I ten cel nie jest przez nikogo zaprogramowany. A zatem nie będzie w pełni autonomiczny robot, który został stworzony do roznoszenia poczty czy grania w szachy. Bardziej zaawansowane systemy sztucznej inteligencji mogą sobie tworzyć cele podrzędne. Czyli robot roznoszący pocztę może musieć znaleźć sposób na dotarcie na konkretne piętro budynku, w którym należy przejść przez obsługę recepcji, by zostać doprowadzonym do konkretnego biura. Albo może próbować znaleźć rozwiązanie, jak przejść przez dane drzwi. Jeśli będą one zamknięte na klucz, ale zbudowane ze szkła – może ocenić, że najłatwiej będzie rozbić szkło, by wejść i dostarczyć pocztę. Myślę, że w przyszłości ludzie nieraz będą zadawać sobie pytanie: „Dlaczego maszyna zrobiła coś tak głupiego?”. Bo im trudniejszy będzie cel, jaki postawimy przed maszyną, tym bardziej problemowe będzie dla niej znalezienie racjonalnego rozwiązania.
Ale ludzie też popełniają głupie błędy.
No właśnie, dlatego moim zdaniem same starania maszyny, by wykonać cel główny, poprzez sekwencję niezaprogramowanych wcześniej czynności, mogą świadczyć o dużym poziomie jej autonomii. Choć największym przejawem samodzielności robota byłoby dojście do wniosku, że jego egzystencja jest nudna i nie powinna składać się tylko z codziennego dostarczania poczty. Tylko po co nam aż tak mądre roboty? Przecież humanoidy z takim podejściem byłyby tak samo nieefektywne jak wypaleni zawodowo pracownicy – a przecież oczekujemy, że roboty będą zawsze dawać z siebie wszystko.
Powiedział pan wcześniej, że prawa Asimova są przestarzałe. I rzeczywiście, producenci samochodów autonomicznych ich nie chcą. Wolą minimalizować ryzyko. Myślę, że są w błędzie. Bo w krytycznej sytuacji samochód musi wiedzieć, czy ratować kierowcę, innego uczestnika ruchu drogowego czy też pieszego.
Inżynierowie boją się mówić o etyce, bo jej nie rozumieją. Uważają, że to dziedzina filozofów. W normalnych warunkach respektowanie granic swojej działalności jest w porządku, ale nie w tym wypadku. Inżynierowie nie mogą mieć złudzeń – ich samochody będą się rozbijać. A to, jak będą postępować w krytycznej sytuacji, będzie zależało od tego, jakie algorytmy zostaną im zaimplementowane i jaki styl jazdy został określony przez programistę. Aczkolwiek wina tego programisty nie zawsze musi być oczywista, to raczej odpowiedzialność porównywalna z winą architekta za wypadki drogowe po zaprojektowaniu przez niego źle przemyślanego skrzyżowania. Co do krytycznych sytuacji, to nie ma prostej odpowiedzi na to, jak należy zaprogramować samochód. Jeden inżynier będzie próbował minimalizować liczbę poszkodowanych podczas wypadku, inny – nieco psychopatyczny – każe samochodowi zawsze ratować siebie i swojego kierowcę, niezależnie od liczby ofiar wśród reszty uczestników ruchu drogowego. Które podejście jest bardziej moralne, to już kwestia dyskusyjna. Społeczeństwo dąży do konsensusów, przykładowo określenia, czy za zbrodnię powinna być wymierzona kara śmierci. Z drugiej strony nadal nie potrafilibyśmy przesądzić, czy moralne byłoby zabicie jednego dziecka, żeby ocalić milion innych. Zawsze ktoś stanąłby w obronie tego jednego.
Kiedy samolot się rozbija z winy autopilota, wówczas natychmiast wycofuje się to oprogramowanie z rynku. Ale inżynierowie samochodów mówią, że nie będą wycofywać swoich systemów, tylko łatać oprogramowanie. Czyli ktoś będzie musiał umrzeć, żeby technologia została w odpowiedni sposób naprawiona.
Tak, to kluczowy problem z wieloma technologiami, że uczymy się je naprawiać po tym, gdy zdarzy się jakiś wypadek. I taki obrót spraw może być względnie akceptowalny przy mniej istotnych rozwiązaniach technologicznych, ale nie w przypadku systemów zarządzających samolotami, elektrowniami atomowymi czy samochodami autonomicznymi. Bo ich błędy mogą spowodować dużą liczbę ofiar. Miejmy jednak na uwadze to, że nawet jeśli samochody autonomiczne będą powodować wypadki i ludzie będą w nich ginąć, to i tak niebezpiecznych zdarzeń drogowych może być znacznie mniej. Bo samochód nie zaśnie podczas jazdy, nie zaufa nawykom, będzie stale skoncentrowany na analizie trasy, podczas podróży nie będzie bawił się w pisanie SMS-ów czy oglądanie w sieci filmików z kotami. Ale i tak czeka nas wiele kontrowersji. Bo przecież nikt nie prześle podziękowań do producenta autonomicznego samochodu za to, że pojazd dowiózł go na miejsce. Nawet nie zauważy przecież, że auto swoją dobrą decyzją uratowało mu życie. Z kolei nikt nie odpuści pójścia do sądu w momencie, gdy jego samochód doprowadzi go do kalectwa, zaś media nie przepuszczą okazji, by o tym napisać. Uważam to za nieco niesprawiedliwe. Dziś za wypadki winą obciąża się kierowców, nikt nie wpada na pomysł, by pozwać służby odpowiedzialne za zaprojektowanie złego skrzyżowania.
Kto zatem powinien ponosić odpowiedzialność za szkodę wyrządzoną przez maszynę? Producent, właściciel, operator robota... A może wszyscy razem w ramach jakiegoś funduszu?
Myślę, że powinien być obowiązek wykupienia ubezpieczenia w przypadku nabycia określonego typu robota czy samochodu autonomicznego. W innym wypadku dochodziłoby do kontrowersji. Bo jeśli będę miał robota i wydam mu błędne polecenie, które doprowadzi do zniszczenia obrazu wiszącego na ścianie, to będzie oczywiście moja wina. Ale jeśli będzie to robot sprzątający dom i zniszczy obraz podczas tej czynności, to jako użytkownik będę wściekły, że powierzając sprzątanie przeznaczonej do tego maszynie doznałem szkody. Wówczas producent powinien zapłacić mi za zniszczone malowidło. Ale co, gdy będę miał uczącego się robota? Przecież może on zeskanować zawartość mojego mieszkania, a potem uznać, że wiszący na ścianie cenny obraz to zwykły bohomaz i należy go wyrzucić do śmieci. Trudno będzie wykazać w sądzie, że producent robota mógł przewidzieć zniszczenie dzieła sztuki. Ubezpieczenie byłoby zasadne, zaś jego kwota powinna zależeć od tego, jak niebezpieczna jest maszyna i potencjalnie jakich strat może dokonać. Ewentualnie możemy traktować roboty pod względem prawnym tak, jak obecnie traktuje się zwierzęta domowe. W każdym razie tylko jedno jest dla mnie pewne – że prawnicy zarobią bardzo dużo pieniędzy na prowadzeniu spraw z udziałem robotów.
Pozostając w temacie szkód, należy wskazać, że największych mogłyby dokonać armie robotów toczące wojny zamiast ludzi. Na pewno bez mrugnięcia okiem mordowałyby cywilów. Czy powinniśmy ograniczać tworzenie autonomicznych maszyn morderców?
Tak jak Stephen Hawking czy Elon Musk podpisałem list otwarty wzywający do zakazania konstruowania robotów militarnych. Choć przyznaję, że zatrzymanie tego procesu jest niemożliwe. Problem pojawiłby się już na etapie określenia, co jest autonomiczną maszyną bojową. Przecież samonaprowadzająca rakieta już jest poniekąd robotem zabójcą. Zgadzam się, że armie robotów to duże zagrożenie. Dziś zwykli żołnierze mają możliwość sprzeciwienia się rozkazowi dzięki doktrynie myślących bagnetów. Oczywiście jako ludzie są co do zasady mało asertywni, zwłaszcza boją się wyłamywać z grupy. Niemniej istnieje szansa, że część żołnierzy się zbuntuje, zwłaszcza gdy rozkaz będzie zakładał np. otwarcie ognia do cywili. Armii robotów nie trzeba będzie dwa razy powtarzać rozkazu, wykonają go natychmiast.
Czy możemy coś z tym zrobić? Bo nie czarujmy się, wojsko często finansuje badania nad sztuczną inteligencją, zaś wojna najlepiej stymuluje prace nad technologią.
Rzeczywiście wojskowi często finansują badania nad sztuczną inteligencją, ale w wielu przypadkach nie używają wypracowanej przez siebie technologii. Ponadto część wojskowych przez długi czas opiera się wykorzystaniu robotów na polu bitwy. Chcą dowodzić ludźmi z krwi i kości, którymi kierują odwaga, dyscyplina i którzy dokonują heroicznych czynów. Ale z drugiej strony wojskowi bywają też pragmatyczni. Jeśli zatem drony świetnie wykonują swoją robotę i jednocześnie pozwalają zachować życie ich podkomendnym, to dowódcy zaczynają ich używać i nie oglądają się już na przestarzałe rozwiązania. Z tego też względu jestem dość pesymistyczny w kwestii tego, czy da się zakazać tworzenia robotów morderców. Mam tylko nadzieję, że uda się wypracować zasady chroniące przed ich nadużyciem, może nową konwencję genewską dla maszyn, a może niezależny system informatyczny Organizacji Narodów Zjednoczonych, przez który obowiązkowo miałyby przepływać w zaszyfrowanej formie wszystkie wydawane takim robotom komendy. Trudno to sobie niestety wyobrazić w praktyce, ale trzeba dążyć do jakiegoś rozwiązania.
Jeśli mowa o bezpieczeństwie, to obowiązującym technologicznym trendem jest internet rzeczy zakładający, że wszystkie urządzenia – lodówki, pralki, nawet ubrania – mają być podpięte do sieci. Ale czy maszyny powinny być stale online? Bo łatwo sobie wyobrazić cyberatak na robota, poprzez którego dokonuje się szkody, a potem odłącza od sieci i nie jest możliwe ustalenie tożsamości złoczyńcy?
Cyberbezpieczeństwo systemów, zwłaszcza konsumenckich, jest na żenująco niskim poziomie. Mimo to, jako konsumenci, chcemy mieć urządzenia będące online, bo to znacząco zwiększa ich funkcjonalność. Wygoda użycia i atrakcyjna cena nie mogą być jednak osiągane kosztem braku zabezpieczeń i pozostawiania kodów źródłowych pełnych luk bez możliwości ich bieżącej aktualizacji. Lepsze zabezpieczenia oczywiście będą miały wpływ na wyższą cenę urządzeń, lecz jeśli pokpimy to zagadnienie, to już w najbliższych czasach będziemy musieli uznać, że internet rzeczy jest po prostu dla nas niebezpieczny. Przecież już dziś można zhakować komputery pokładowe w samochodach. Na szczęście nie skutkuje to żadnymi poważniejszymi konsekwencjami. Ale wyobraźmy sobie włamanie do samochodu autonomicznego – taki atak może doprowadzić do tragedii. Dlatego już dziś powinniśmy ustalić minimalne standardy bezpieczeństwa, jakie będą akceptowalne w przypadku urządzeń podłączonych do internetu. Niespełnienie tych minimalnych warunków powinno prowadzić do wycofania produktu czy robota z rynku.
Oprócz tego, że roboty mają nam służyć, doprowadzą też do rewolucji na rynku pracy. Oszacowano już, że sztuczna inteligencja zniszczy lub zmieni aż 1/3 zawodów w USA. Ale może to dobre zjawisko? Bo przestaniemy wykonywać proste prace manualne i zajmiemy się tymi wymagającymi większej wiedzy? Czas przejściowy może być trudny i mieć dramatyczne konsekwencje dla niższych klas społecznej. Ale dokładnie taki sam efekt miała rewolucja przemysłowa w XIX w.
Często powtarzam, że jeżeli czyjąś pracę można łatwo zdefiniować, to jej wykonawca może mieć wkrótce problem. Bezpieczne są te zawody, które wymagają abstrakcyjnego myślenia, jak dziennikarstwo, psychologia czy projektowanie. Dostawca poczty może tłumaczyć się, że przy jej roznoszeniu może trafić na różnego rodzaju komplikacje i dlatego jest potrzebny. Ale mimo wszystko dość łatwo byłoby opracować takie skrzynki pocztowe, które nie wymagałyby od robota szukania wejścia do konkretnego biura w budynku. Rzeczywiście wiele osób boi się utraty pracy, jednak część prac powinna zostać zlecona robotom. Zwłaszcza czynności niebezpieczne, wiążące się z ryzykiem utraty zdrowia. Przyznaję jednak, że o ile rewolucja przemysłowa w XIX w. zastąpiła część pracowników wykonujących rutynowe zadania, to tym razem roboty wygryzą również część pracowników z administracji, sprzedawców usług, wycieczek czy polis. I tak jak w przypadku poprzedniej rewolucji część społeczeństwa będzie podnosiła wrzawę, bo pomimo iż ich praca była nudna, to jednak gwarantowała im stabilizację finansową i pewien status społeczny. Myślmy jednak obiektywnie – jeśli w przyszłości będziemy mieli głównie kreatywne zawody, to przecież ludzkości może to wyjść tylko na dobre. Ktoś może prowokacyjnie powiedzieć, że z czasem takie posady również mogłyby objąć roboty. Jednak to oznaczałoby, że maszyny mają tak wysoki poziom inteligencji, że powinniśmy zacząć obawiać się nie tylko o nasze prace, ale ogólnie o naszą egzystencję.
Przy projektowaniu nowego prawa robotów bierze się pod uwagę możliwość wprowadzenia płacy gwarantowanej – wypłacanej dzięki temu, że pracę za nas wykonuje maszyna. Jednak świat, w którym ludzie dostają pieniądze za leżenie na sofie, to utopia. Przynajmniej na razie. Nie uważa pan jednak, że po ustabilizowaniu się nowych stosunków społecznych i rozwiązań finansowych część z nas zaczęłaby knuć, by mieć więcej niż inni?
Zakładając, że płaca gwarantowana zostałaby wprowadzona przy obecnych nierównościach społecznych, to myślę, że przepaść pomiędzy biednymi a bogatymi znacząco by się pogłębiła. Bo jeśli ktoś kupiłby sobie na starcie więcej robotów, to dzięki nim zarabiałby jeszcze więcej. A wówczas kupiłby kolejne maszyny i zainkasowałby kolejną wielokrotność przychodów. Taka utopia mogłaby również być niebezpieczna z innego powodu. Chodzi o brak statusu społecznego. Ten od zawsze miał dla ludzi znaczenie. Kiedy teraz tracimy pracę, często tracimy również część swojej osobowości i nie potrafimy sobie z tym poradzić. Mało tego, przeciętny człowiek ma tendencję do tego, by czuć się bardzo nieszczęśliwy, nawet żyjąc w całkowicie bezpiecznym środowisku i nie martwiąc się o swoje przetrwanie. Z robotami czy bez zapewne nasza specyfika się nie zmieni. Bo taki już z nas pokręcony gatunek.
