Nasze dzieci, nasi mordercy

Jeśli powstanie AI z prawdziwego zdarzenia, będzie to przełom większy od lądowania na Księżycu.

To raczej będzie tak wyglądało, że nie będziemy sobie zdawać z istnienia samoświadomego sztucznego bytu, jak również on z naszego. Być może już nie zdajemy sobie sprawy.

Co innego, jeśli mowa o zaprogramowanych sztucznych inteligencjach - takie już są od kilkudziesięciu lat, stają się tylko coraz bardziej zaawansowane. Ale nie są samoświadome, więc nie potrzebują żadnych magicznych praw, tylko właściwego zaprogramowania i używania zgodnie z przeznaczeniem

Że powstanie sztuczna inteligencja, która stwierdzi, że jesteśmy zbędni i skopie nam dupy.

Żeby byt będący czystą inteligencją (tzn. pozbawiony emocji) chciał komuś skopać tyłek, musiałby uznać, że ten ktoś nie jest jedynie zbędny, tylko szkodliwy. Bo jeśli jego istnienie jest "obojętne", to po co marnować zasoby na niszczenie go?

Pytanie, czy wprowadzi się Trzy Prawa Robotyki, Isaac-a Asimova na tak szeroką skalę i czy AI nie obejdzie ich.

Pytanie, czy ktokolwiek w ogóle by je wprowadzał.

A co do obchodzenia praw - a dlaczego komputer miałby "chcieć" je obchodzić? W ogóle, to jakie motywacje miałby inteligentny komputer? Czy inteligencja oznacza automatycznie wolną wolę? Dlaczego inteligentny komputer,  miałby wykorzystywać swoją inteligencję w celu innym, niż służenie swojemu właścicielowi? W jaki sposób komputer miałby sobie wyrabiać jakąś samodzielną motywację, inną od tego, co zaszczepił mu twórca i po co? A nie należy z góry zakładać, że wyrobi je sobie na drodze ewolucji (w ogóle to nie wiem, czy u robotów nastąpiłby dobór naturalny - maszynę można teoretycznie modernizować w nieskończoność, więc robot wcale nie musi być nastawiony na rozmnażanie, tylko na osobistą "nieśmiertelność").

A co do obchodzenia praw - a dlaczego komputer miałby "chcieć" je obchodzić?

O tym właśnie był "Ja, robot". Nie chodzi o to, że SI by coś chciała obejść, tylko (posłuszna właśnie chłodnej logice) doszłaby do takiej interpretacji swoich wytycznych, która obróciłaby ją przeciwko nam. Filmowa V.I.K.I. zauważywszy, że największym zagrożeniem dla człowieka jest drugi człowiek doszła do wniosku, że najskuteczniejszą metodą ochrony ludzi jest zamknięcie ich w areszcie domowym. 

Inteligencja jest z definicji kreatywna, teoretycznie sama ta cecha mogłaby prowadzić do groźnych sytuacji. 

Fajny króciutki artykuł. Polecam. Niestety nie mam wiele do dodania po tym co powiedział Adeptus i Cherokee

Tak swoją drogą człowiek tworząc inteligentne maszyny stawia na kopiowanie ludzkiego mózgu. Mają się same uczyć i programować. Robiąc to w taki sposób nie wiadomo, czy i kiedy te maszyny będą samoświadome. Z drugiej strony mamy internet, gdzie już dawno tworzone są wirusy. Być może ktoś kiedyś stworzy tak dobry wirus, który zacznie być inteligentny, a w konsekwencji po pewnym czasie samoświadomy. Naukowcy znani są z tego, że nie do końca wiedzą jakie konsekwencje mają ich wynalazki, lecz mimo to i tak się eksperymentuje,

"Naukowcy znani są z tego, że nie do końca wiedzą jakie konsekwencje mają ich wynalazki, lecz mimo to i tak się eksperymentuje"

Myślenie za tym jest całkiem praktyczne: "bo czemu nie?", albo "jak nie ja to ktoś inny więc czemu nie?".

Osobiście wydaje mi się, że jeśli AI będzie wprowadzona w życie na potęgę - jak obserwujemy to w filmie, to jeśli drogą logiki uzna, że nie potrzebuje ludzkości - to możemy mieć problem. Większy problem może być, jeśli uzna ludzkość za zagrożenie, czy jak to ujął Agent Smith w Matrixie, za : "bakterię, która pożera wszystkie zasoby" :)

Ciekawe, że praktycznie wszyscy zakładają, że w razie buntu AI ludzkość byłaby na straconej pozycji. Byle nie dawać dostępu do komputerów sterujących bronią nuklearną czy innymi superbroniami, a jakoś może sobie poradzimy ;)
 

Komputer jest rzeczą, maszyną, a ten można zwyczajnie przeprogramować... Poza tym, bardzo wątpię, by AI widziały interes w buntowaniu się przeciwko ludzkości.

Polecam film "The Moon" - ogólnie bardzo naukowo poprawny... jak na holiłud.

W przypadku przejęcia naszej sieci komputerowej przez inteligentny program nasza cywilizacja nie ma szans. W tej chwili większość transakcji jest elektroniczna, tak samo przekaz informacji. Nieujawniający się program już teraz mógłby przejąć władzę w większości spółek i rządzić zza kulis (jak w Tronie). JEDYNĄ przewagą nad tego typu świadomością jaką mamy, to to, że na razie komputer sam siebie nie naprawi, ani nie wytworzy. Kiedy jednak stracimy tą przewagę, wtedy może być z nami krucho. Preludium do tego było pokazane w nowym Robocopie, chciwość przed zdrowym rozsądkiem.

W przypadku przejęcia naszej sieci komputerowej przez inteligentny program nasza cywilizacja nie ma szans. W tej chwili większość transakcji jest elektroniczna, tak samo przekaz informacji.

Zdecydowana większość ludzi nigdy w życiu nie dokonała transakcji za pomocą komputera, ani nie pozyskała z niego żadnych informacji. Mieszkańcy tzw. pierwszego świata mają nieco zaburzony obraz rzeczy. Co widać również u fantastów. Np. powieść Kinga "Komórka". Każdy człowiek, który odbierze komórkę zmienia się w krwiożerczego zombie. Ludzkość na skraju zagłady (inna sprawa, że dla typowego Amerykanina "Zagłada Amerykanów" i "zagłada ludzkości" to w zasadzie dokładnie synonimy). Albo pamiętam jakieś opowiadanie, które swego czasu ukazało się w "Nowej Fantastyce". Dzień 1 - grupa hakerów wypuściła wirusa, który unicestwił Internet. Dzień, dajmy na to, 7 - nie istnieje jakikolwiek rząd, rozpadły się wszystkie wspólnoty poczynając od rodzin aż do państw, gospodarka została wyzerowana, ludzie, którzy przetrwali łączą się w luźne bandy, które się nawzajem napadają, gwałcą i zjadają.

Nie przeceniajmy wpływu techniki na na nasze życie. Zwłaszcza komputerów. Z punktu widzenia przetrwania gatunku ludzkiego takie wynalazki jak ogień, udomowienie zwierząt, szczepionki, nawozy sztuczne i tysiące innych mają niewyobrażalnie większe znaczenie niż Internet czy komputery w ogóle.

Nieujawniający się program już teraz mógłby przejąć władzę w większości spółek i rządzić zza kulis (jak w Tronie).

W jaki sposób? Udziałowcami czy członkami zarządów mogą być wyłącznie ludzie. Owszem, można sobie wyobrazić sytuację, w której np. komputer wysyła fałszywe maile od zarządu do pracowników firmy, ale to działałoby na krótszą metę. Taki program mógłby być najwyżej wielkim tricksterem, który od czasu do czasu wywoła jakiś kryzys, czy doprowadzi do upadku firmy.

JEDYNĄ przewagą nad tego typu świadomością jaką mamy, to to, że na razie komputer sam siebie nie naprawi, ani nie wytworzy. Kiedy jednak stracimy tą przewagę, wtedy może być z nami krucho.

Serio? Mamy mnóstwo przewag. Przede wszystkim to, że to my, ludzie, będziemy tworzyć AI (przynajmniej te pierwsze), a nie odwrotnie - co oznacza, że to my będziemy ustalać zasady. To my będziemy decydować czy damy AI kontrolę nad bronią, systemami bankowymi, elektrowniami itd. I to my będziemy na starcie to wszystko kontrolować. Już nie mówiąc o tym, że unicestwienie Internetu (co automatycznie odebrałoby komputerom jakiekolwiek szanse na światową dominację) jest dużo łatwiejsze do wykonania, niż unicestwienie ludzkości. Ponadto, jako stworzenia emocjonalne i irracjonalne jesteśmy nieprzewidywalni.

Jedyną możliwością, aby komputery wygrały z ludzkością byłaby sytuacja, w której ludzie wykazaliby się wyjątkową głupotą i brakiem instynktu samozachowawczego - gdyby tak naprawdę pozwolili im wygrać.

Po pierwsze (akapit), to pisałem o cywilizacji, a nie ludzkości. Pracuję w fabryce, gdzie kilkuset ludzi jest zależnych od komputerów. W przypadku braku sieci stoi cała hala. Przestawienie się na niekomputerowo sterowany cykl trwało by miesiące i mocno zmniejszyło szybkość (dużo mniejsza kontrola nad procesem i dostawami materiałów). Za 20 lat po modernizacji innych maszyn, nie widzę możliwości, by fabryka ta mogła przestawić się na produkcję bez komputerów (a to ponad 3tyś ludzi). Nasze miasta to chodzące bomby zegarowe, jak padnie elektronika to pracę traci połowa, co wywoła niezły chaos. To jest standard, do którego dążą pozostali, włącznie z trzecim światem.
Ja wiem, że przeżyliby ludzie w Amazonii, lecz nimi nie przejmował by się elektroniczny zabójca.

Drugi akapit, to oglądałeś Tron? Komputer uniezależnił od siebie jakiegoś prezesa spółki i w jego imieniu rządził. Proste i skuteczne.

Trzeci akapit, to nie jestem specjalistą, ale nie widziałem programu o AI, gdzie naukowcy pracowali nad sztuczną inteligencją od A do Z. Zawsze albo hadwerowo, albo softwerowo próbują skopiować procesy z ludzkiego mózgu i pozwalają się programowi samemu uczyć. Przy takim działaniu, to trzy zasady robotyki nie są SF, tylko Fantastyką. Jak tylko któryś wynajdzie odpowiedni procesor, który bardziej wydajniej i szybciej steruje procesem, to szybko wprowadzą go gdzie się da.

Ponadto, jako stworzenia emocjonalne i irracjonalne jesteśmy nieprzewidywalni.

To dość złudne twierdzenie. Jako większa całość da się nami sterować i to dość skutecznie, jak dowiodły takie ustroje jak faszyzm, nazizm i socjalizm. Dodatkowo badania psychologów ciągle pozwalają tą kontrolę udoskonalać.

Jedyną możliwością, aby komputery wygrały z ludzkością byłaby sytuacja, w której ludzie wykazaliby się wyjątkową głupotą i brakiem instynktu samozachowawczego - gdyby tak naprawdę pozwolili im wygrać.

100% racji. Niestety uważam, że zaślepieni korzyściami nie zauważymy niebezpieczeństw i nasze środki zaradcze powstaną za późno. Już teraz armia amerykańska stawia na drony, aby ludzie nie ginęli. Gdy tylko dostaną roboty, zrobią to samo z resztą wojska.

Po pierwsze (akapit), to pisałem o cywilizacji, a nie ludzkości.

Uważasz, że cywilizacja = stan, jaki istnieje w szeroko rozumianym świecie Zachodu, koniec kropka? No chyba nie ;)

Drugi akapit, to oglądałeś Tron? Komputer uniezależnił od siebie jakiegoś prezesa spółki i w jego imieniu rządził. Proste i skuteczne.

Przyznam, że nie. Ale uważam, że należy uważać, kiedy teorie na temat rzeczywistości konstruuje się na temat fikcyjnych utworów. To dosyć śliskie, bo w fikcji nawet najbzurniejsze i ekstremalnie nielogiczne rozwiązanie może działać, bo tak chce autor (nie twierdzę, że akurat to o czym piszesz takie jest - bo, jak wyżej, nie wiem o co dokładnie chodzi).

Tym niemniej wizja superkomputera rządzącego światem z ukrycia jest dla mnie równie prawdopodobna jak wizja rządzących z ukrycia masonów, Illuminatów, czy cyklistów. Co nie znaczy - kompletnie nieprawdopodobna (odrzucanie z góry teorii spiskowych tylko dlatego, że są spiskowe jest równie nierozsądne co ślepa wiara w nie), ale po prostu nie widzę powodu, aby jakoś się szczególnie bać się AI... ani dlaczego AI miałoby większe szanse w wyścigu o władzę nad światem. Takie same możliwości może mieć ten stereotypowy demoniczny mason, o ile jest genialnym hakerem (czy raczej - zatrudnia zespół genialnych hakerów).

To dość złudne twierdzenie. Jako większa całość da się nami sterować i to dość skutecznie, jak dowiodły takie ustroje jak faszyzm, nazizm i socjalizm. Dodatkowo badania psychologów ciągle pozwalają tą kontrolę udoskonalać.

Ależ to właśnie dowodzi naszego irracjonalizmu. Wszystkie te ustroje naukowo były dość bzdurne, ale grały na ludzkich emocjach.

Poza tym jak patrzę na to, jak działają komputery - serio, coś takiego miałoby rządzić światem? Coś co się potrafi wykrzaczyć przy otwieraniu Worda? A jeszcze gdyby swoją wiedzę czerpało z Internetu... Gdyby superkomputer miał być bogiem naszego świata, to byłby to bóg-idiota na wzór Azatotha (wiem, sam przed chwilą pisałem, że nie powinno się budować teorii na podstawie fikcji).

Wiece, problem z komputerami jest taki, że obecnie już są takie cacka jak inteligentne pociski, a przyszłości mogą być i drony. Najlepiej podsumował to "HAL 9000" z Epic Rap Battles of History: "How you gonna shoot me down, when I guide the rocket?"

Chciałbym zaznaczyć że z jednej strony ludzkość ma silny instynkt samoprzetrwania, ale przy okazji wymyśla takie rzeczy jak atomówki :) A takie rzeczy jak gambit Kennedy'ego w 1954 podczas Kryzysu Kubańskiego mocno podważył moje wątpliwości w racjonalność, kiedy stawką była III WŚ :P

Problem z ludzkością jest taki, że historia uczy nas tego, że ludzkość nigdy nie uczy się z błędów przeszłości. Ale offtopuję i wróćmy do tematu - kraje pierwszego świata są uzależnione od elektroniki i choć nie stanowią większości świata, to  przy obecnym arsenale mogą chwycić resztę za jaja i ścisnąć. A że obecne trendy pokazują, że jak i w życiu codziennym i militariach coraz bardziej stawia się na wydajność przy minimalnych kosztach, to kto wie, czy kiedyś nie powstanie taki program jak w Winter Soldier - szacujący potencjalne zagrożenia i eliminujący za pomocą rachunku prawdopodobieństwa.

Parafrazując "Człowiek strzela, komputer pociski nosi". W takim przypadku w jakim świetle stawia to komputer?

Wiece, problem z komputerami jest taki, że obecnie już są takie cacka jak inteligentne pociski, a przyszłości mogą być i drony.

To, że, coś jest nazywane "inteligentnym" nie znaczy, że jest inteligentne "sensu stricto". Przecież nawet proszki do prania reklamuje się inteligentne :D Mówimy też o SI w grach, choć w gruncie rzeczy chodzi po prostu o rozbudowane skrypty. Pociski (czy raczej kierujące nimi komputery) raczej nie są "inteligentne" w takim sensie, który dawałby im możliwość podejmowania jakichkolwiek decyzji i świadomego zachowywania się w sposób niezgodny z intencją ich "właściciela".

Chciałbym zaznaczyć że z jednej strony ludzkość ma silny instynkt samoprzetrwania, ale przy okazji wymyśla takie rzeczy jak atomówki :)

Ok, przyznaję, to jest argument ;) Zresztą, przyznałem - komputery mogłyby z nami wygrać, gdybyśmy wykazali się głupotą i brakiem instynktu samozachowawczego. Tyle, że takie zwycięstwo wynikałoby z naszego debilizmu, nie z geniuszu i potęgi komputerów.

A takie rzeczy jak gambit Kennedy'ego w 1954 podczas Kryzysu Kubańskiego mocno podważył moje wątpliwości w racjonalność, kiedy stawką była III WŚ :P

Ale ostatecznie do niej nie doszło, co akurat jest raczej punktem dla ludzkości.

A że obecne trendy pokazują, że jak i w życiu codziennym i militariach coraz bardziej stawia się na wydajność przy minimalnych kosztach, to kto wie, czy kiedyś nie powstanie taki program jak w Winter Soldier - szacujący potencjalne zagrożenia i eliminujący za pomocą rachunku prawdopodobieństwa.

Możliwe, ale wątpię, czy takiemu programowi pozwolony by podejmować decyzje i przekuwać swoje prognozy na konkretne posunięcia. Byłby raczej doradcą dowódców, niż dowódcą. Nawet nie ze strachu przed buntem, ile właśnie ze względu na wydajność - pozostawienie całego procesu decyzyjnego w rękach komputera byłoby nieefektywne.

Poza tym - wracamy do kwestii, którą poruszałem wcześniej. Czy inteligencja musi oznaczać wolną wolę? Jeśli damy inteligentnemu komputerowi zadanie, to jego ewentualny proces decyzyjny będzie dotyczył tego "Jakich sposobów użyć, aby jak najlepiej wykonać polecenie" a nie "Czy wykonam polecenie". Z tego punktu widzenia, wprowadzenie tych słynnych Praw Robotyki stanowi potencjalne zagrożenie - bo wpaja do oprogramowania, że istnieją sytuacje, w których robot ma prawo nie wykonać polecenia właściciela. Nie wolno wprowadzać czegoś takiego. Jedyne prawo robotyki - robot ma wykonać każde polecenie osoby posiadającej odpowiednie uprawnienia i koniec. Owszem, zniweczy to utopijne marzenie o niewykorzystywaniu robotów w celach militarnych, ale zagwarantuje, że wszelkie wojny toczone przez roboty będą zgodne z wolą jakiejś grupy ludzi, a nie będą wynikiem buntu AI.

To, że, coś jest nazywane "inteligentnym" nie znaczy, że jest inteligentne "sensu stricto".

Tu nie chodzi o inteligencję, tylko o możliwość przejęcia kontroli nad pociskiem. Jeżeli stworzymy program będący wydajniejszy od nas intelektualnie i pozwolimy na brak mechanicznych zabezpieczeń, wtedy mamy problem. Do tego bezzałogowe samoloty i inne urządzenia są bardziej odporne na przeciążenia, co jest jednym z wielu przewag nad załogowym samolotem.

Poza tym - wracamy do kwestii, którą poruszałem wcześniej. Czy inteligencja musi oznaczać wolną wolę?

Powyżej pewnego pułapu nie wyobrażam sobie samoświadomego intelektu bez wolnej woli. Jeżeli nie ma wolnej woli, to jeszcze nie jest samoświadomy i nam nie zagraża, lecz na pewno nie spełnia wtedy pokładanych w nim nadziei. To jak z rozwojem człowieka, są pewne pułapy kiedy zaczynamy być samoświadomi swojej egzystencji, potrafimy zobaczyć się w lustrze, zaczynamy myśleć perspektywicznie. Wszystko wraz z rozwojem mózgu i uczeniem się, czyli jego samoprogramowaniem się. Jeżeli program będzie rozwijał świadomość tak jak człowiek, to najpewniej będzie miał podobne stopnie rozwoju, a potem może nas prześcignąć w ewolucji.

Tak swoją drogą, to jeżeli komputerowi nie zaimplementuje się czegoś na kształt uczuć (a jest to dość złożony proces także chemiczny) to będziemy mieli coś podobnego do socjopaty, a do czego takie jednostki są zdolne, to pewnie większość wie.

Tu nie chodzi o inteligencję, tylko o możliwość przejęcia kontroli nad pociskiem. Jeżeli stworzymy program będący wydajniejszy od nas intelektualnie i pozwolimy na brak mechanicznych zabezpieczeń, wtedy mamy problem.

Miałem na myśli inteligencję nie pocisku jako samego przedmiotu, tylko komputera sterującego nim... Bo chyba takie pociski nie są podłączone do Internetu czy coś, żeby było możliwe włamanie się do nich z zewnątrz?

Powyżej pewnego pułapu nie wyobrażam sobie samoświadomego intelektu bez wolnej woli.

A ja sobie nie bardzo wyobrażam stworzenie sztucznego mózgu, który by wolną wolę posiadał. Znaczy - na logikę jest to na pewno możliwe, bo skoro są żywe istoty, które działają w ten sposób, to wystarczy ten proces skopiować... No ale nie wyobrażam sobie po prostu jak by to miało działać.

Jeżeli nie ma wolnej woli, to jeszcze nie jest samoświadomy i nam nie zagraża, lecz na pewno nie spełnia wtedy pokładanych w nim nadziei.

Zależy, jakie nadzieje się pokłada. Ja np. uważam, że pozwolenie komputerowi na podejmowanie samodzielnych decyzji (tzn. - wyznaczanie celów, a nie dobieranie środków do realizacji celów wyznaczonych przez kogoś innego) mogłoby się odbijać negatywnie na wydajności z punktu widzenia właściciela.

Jeżeli program będzie rozwijał świadomość tak jak człowiek, to najpewniej będzie miał podobne stopnie rozwoju, a potem może nas prześcignąć w ewolucji.

Jest pewna różnica. To, czy na rozwój człowieka oprócz ewolucji ma wpływ jakiś zewnętrzny inteligentny byt (Bóg, kosmici, cokolwiek) jest kwestią wiary. Natomiast przy rozwoju komputera taki wpływ byłby niewątpliwy. My, ludzie, moglibyśmy sterować rozwojem komputerów i uniemożliwiać im ewolucję, która byłaby korzystna z "ich punktu widzenia", ale niekorzystna dla nas.

Tak swoją drogą, to jeżeli komputerowi nie zaimplementuje się czegoś na kształt uczuć (a jest to dość złożony proces także chemiczny) to będziemy mieli coś podobnego do socjopaty, a do czego takie jednostki są zdolne, to pewnie większość wie.

Socjopata nie jest pozbawiony w ogóle uczuć. Odczuwa gniew, radość, jedne rzeczy lubi, innych nie. Socjopatia nie na tym polega.

Wg mnie, wolna wola bez uczuć jest niemożliwa. Bo przecież to nasze sympatie i antypatie decydują o naszych motywacjach. Mogę dokonać zimnej i czysto racjonalnej analizy w celu dobrania najlepszych środków do zrealizowania moich celów - ale to, jaki cel wybrałem sobie, to już kwestia moich uczuć. Bo sama chęć dążenia do czegoś jest też uczuciem - pozytywnie wartościuję jakiś stan.