Pamiętam jedną powieść Izaaka Asimowa, w której ujawniono pod koniec książki, że jeden genialny naukowiec ciężko pracował nad planem wykorzystania pozytywronicznych mózgów do podboju innych skolonizowanych przez ludzi światów Galaktyki ( tylko kilka tuzinów, jak sądzę, w tamtym czasie) bez mózgów pozytonowych wiedzących , że łamali Trzy Prawa. Jednak ten plan nigdy nie został faktycznie wykorzystany, więc kwalifikuje się to tylko jako kanoniczne wyjaśnienie, „w jaki sposób sztuczna inteligencja mogła zostać użyta do działania wbrew najlepszym interesom ludzkości, jeśli bohater nie powstrzymał złoczyńcy wcześniej , gdy mógł zrealizować swój diabelski plan. ”

Myślę o Nagim słońcu , wydany po raz pierwszy jako serial w 1956 roku. Była to druga przygoda Lije Baleya i R. Daneela Olivawa - detektywa-człowieka i detektywa-robota, pracujących razem nad futurystyczną tajemnicą morderstwa.

Lije Baley, doświadczony badacz wydziału zabójstw z Ziemi, który został przywieziony w celu zbadania bezprecedensowego morderstwa na Solarii, powiedział w scenie, w której dzielił się niektórymi owocami swojego rozumowania z kilkoma osobami naraz .

„Weźmy pod uwagę statek kosmiczny z wbudowanym mózgiem pozytronowym w porównaniu z statkiem załogowym. Załogowy statek kosmiczny nie może używać robotów podczas aktywnej wojny. Robot nie może niszczyć ludzi na statkach kosmicznych wroga ani na światy wroga. Nie potrafił pojąć różnicy między przyjaznymi ludźmi a wrogimi ludźmi.

„Oczywiście robotowi można było powiedzieć, że na statku przeciwnika nie było ludzi. Można powiedzieć, że bombardowano niezamieszkaną planetę. To byłoby trudne do opanowania. Robot mógł zobaczyć, że jego własny statek przewoził ludzi; wiedziałoby, że w jej własnym świecie są ludzie. Można by przypuszczać, że to samo dotyczy wrogich statków i światów. To wymagałoby prawdziwego eksperta w dziedzinie robotyki, takiego jak ty, Dr. Leebig, żeby sobie z nimi poradzić w takim przypadku, a takich ekspertów jest bardzo niewielu.

„Wygląda na to, że statek kosmiczny wyposażony we własny mózg pozytonowy radośnie zaatakowałby każdy statek, na który został skierowany. do mnie. Naturalnie zakładałoby, że wszystkie inne statki są bezzałogowe. Statek z mózgiem dodatnim mógłby łatwo stać się niezdolnym do odbierania wiadomości od statków wroga, które mogłyby go oszukać. Z bronią i obroną pod bezpośrednią kontrolą pozytywronowego mózgu, był bardziej zwrotny niż jakikolwiek statek załogowy. Bez miejsca na załogę, zaopatrzenie, oczyszczacze wody lub powietrza, mógłby nosić więcej opancerzenia, więcej broni i być bardziej niewrażliwym niż jakikolwiek zwykły statek. Jeden statek z pozytywnym mózgiem mógłby pokonać floty zwykłych statków. Czy się mylę? ”

Nikt nie został opisany jako wymyślający dobry kontrargument, aby wykazać, że to nie może zadziałać. (Następnie ustalono, że jeden z podejrzanych w tej sprawie w rzeczywistości pracował nad takim planem w swoim wolnym czasie, chociaż jak dotąd nie był on jeszcze w stanie urzeczywistnić się.)

Innymi słowy, można powiedzieć, że już w 1956 roku Asimov postawił tezę, że jeśli uważnie kontrolujesz, jakie informacje ma ciężko uzbrojony statek-robot o reszcie wszechświata, mógł sprawić, by te statki zachowywały się jak "Berserkery" Freda Saberhagena - niszcząc wszystkie inne statki kosmiczne, na które się natknęli, bez litości i bez najmniejszego zainteresowania negocjowaniem rozejmu. A potem zbombardowanie macierzystych planet innych statków w celu bisu. (Chyba że otrzymali specjalny sygnał od człowieka, który wydał im rozkaz żeglugi, mówiąc im, że czas się zatrzymać - co nie dotyczy Berserkerów Saberhagena.)

W tym hipotetycznym przypadku statki-roboty nie myślałyby , że naruszają Trzy Prawa, ale z perspektywy człowieka, którego ojczyzna była bombardowana z orbity, dopóki nie poddał się temu facetowi kontrolując flotę robotów, fakt, że pozytroniczne mózgi tych statków nie miały złych zamiarów wobec ludzi, byłby bezsensownym rozróżnieniem.

Ludobójstwo nieludzi.

W Foundation's Edge sugeruje się, że roboty wykorzystujące sztuczki związane z podróżami w czasie są powodem, dla którego ludzie nigdy nie spotykają żadnych obcych na Drodze Mlecznej tylko puste planety gotowe do kolonizacji.

Mówi się, że to roboty w jakiś sposób założyły Wieczność i stały się Wiecznościami. Zlokalizowali Rzeczywistość, w której czuli, że istoty ludzkie mogą być tak bezpieczne, jak to tylko możliwe - samotnie w Galaktyce.

Pierwsze prawo chroni ludzi. Nie wszystkie inteligentne życie. Jeśli roboty uznają, że kosmici mogą stanowić zagrożenie dla ludzi, muszą popełnić ludobójstwo. Jak pokazano w Robots and Empire, jest również możliwe, że jedna grupa (nominalnie) ludzi może na nowo zdefiniować „człowieka”, aby wykluczyć większość ludzkości.

Retcons, próbujący dołączyć do serii robotów i fundacji oraz autoryzowane historie, sprawiają, że jest to trochę zagmatwane, ale wymazanie obcych cywilizacji jest dość logicznym efektem ubocznym, który wypada.

http://www.sikander.org/foundation.php

statki robotów działające w ramach programu Auroran krążą po galaktyce przed rozprzestrzenianiem się Osadnicy, terraformowanie i przygotowywanie planet do kolonizacji. Byty memów będą później twierdzić, że zdewastowało to istniejące rasy. Memy uciekają do jądra galaktycznego.

Większość ludzi prawdopodobnie uznałaby to za złowrogie, ponieważ mamy pewną koncepcję, że prawdopodobnie nie jest w porządku ludobójstwo wszystkich innych ras, aby zapewnić żyzne i bezpieczne światy dla ludzi.

Jest to szczególnie złe, jeśli roboty lub osoby je programujące mogą zdecydować, że nie wszyscy ludzie są traktowani jako „ludzie” w rozumieniu prawa.

„Powiedz mu, że jesteśmy istotami ludzkimi i musimy być posłuszni”.

Robot przemówił wtedy, w osobliwej, ale zrozumiałej galaktyce. - Rozumiem cię, Outworlder. Mówię po galaktyce. Jesteśmy robotami-strażnikami. - W takim razie słyszałeś, jak mówiłem, że jesteśmy istotami ludzkimi i dlatego musisz być nam posłuszny.

„Jesteśmy zaprogramowani, aby słuchać tylko Władców, Outworlder. Nie jesteście Władcami ani Solarianami.

...

„Ale to dziecko” i Pelorat spojrzał na Fallom, którą wciąż nosił, „jest Solarianką. Powie ci, co masz robić i musisz go przestrzegać. ”

Fallom spojrzała na Pelorata oczami, które były otwarte, ale wydawały się puste. Bliss gwałtownie potrząsnęła głową, ale Pelorat spojrzał na nią bez żadnego znaku zrozumienia.

Oczy robota spoczęły na krótko na Fallom i powiedział: „Dziecko nie ma znaczenia. Nie ma płatów przetworników. ”

„ Nie ma jeszcze w pełni rozwiniętych płatów przetworników ”, powiedział Pelorat, dysząc,„ ale zdąży je zdobyć. To dziecko Solarianina. "

" To dziecko, ale bez w pełni rozwiniętych płatów przetwornika nie jest Solarianinem. Nie jestem zmuszony wykonywać jego rozkazów ani chronić go przed krzywdą. „

~ Fundacja i Ziemia

Wartości ludzkie

Charakteryzujesz to jako prawo, które„ faktycznie działa doskonale ” ale nie sądzę, że to prawda. Mówisz o tym, jak historie miały tendencję do pokazywania, że ​​tak, faktycznie przestrzegały prawa w sposób sprzeczny z intuicją, ale prowadziły do ​​wyników, które większość ludzi nie chciałbym.

Większość książek Asimova zawiera nieoczekiwane i niepożądane możliwe skutki trzech praw, ponieważ prawa chronią ludzkie życie, ale nie chronią wszystkich ludzkich wartości. Tylko dlatego, że zależy ci na czymś, co nie objęte trzema prawami (takimi jak ludobójstwo / tortury / niewolnictwo nieludzi) nie oznacza, że ​​roboty się opiekują. Ogólnie ludziom zależy na wielu rzeczach innych niż tylko pozostanie przy życiu.

Może nie „znacząca szkoda dla ludzkości”, ale robot z opowiadania Asimova Kłamca! wyrządza znaczną krzywdę kilku ludziom, mimo że stara się jak najlepiej przestrzegać Trzech Praw.

Z powodu błędu produkcyjnego robot może czytać w myślach, co powoduje, że okłamuje ludzi, mówiąc im to, co wie, że chcą usłyszeć. Tragedia ma miejsce, gdy ludzie działają na podstawie fałszywych informacji. Robot w końcu zdaje sobie sprawę, że wyrządził krzywdę, próbując uniknąć wyrządzenia krzywdy, a wynikająca z tego pomyłka powoduje, że jego mózg się zapada.

Według ISFDB, opowiadanie zostało opublikowane po raz pierwszy w wydaniu Astounding Science Fictions z maja 1941 roku.

Należy zauważyć, że historie Asimova o robotach to osobne historie, które napisał z różnych powodów, na różne tematy. Niektóre historie, takie jak Runaround, podkreślają błąd ścisłego przestrzegania litery prawa niezależnie od praktyczności i potencjału dysonansu poznawczego:

Powell w końcu zdaje sobie sprawę, że źródło selenu zawiera nieprzewidziane zagrożenie dla robota. W normalnych okolicznościach Speedy przestrzegałby drugiej zasady („robot musi wykonywać rozkazy”), ale ponieważ Speedy był tak drogi w produkcji i „nie można go było lekko zniszczyć”, trzecie prawo („robot musi chronić swoje własne istnienie ”) zostało wzmocnione„ tak, że jego alergia na niebezpieczeństwo jest niezwykle wysoka ”. Ponieważ rozkaz odzyskania selenu został sformułowany od niechcenia, bez szczególnego nacisku, Speedy nie może zdecydować, czy go przestrzegać (druga zasada), czy chronić się przed niebezpieczeństwem (wzmocniona trzecia zasada). Następnie oscyluje między pozycjami: dalej od selenu, w którym porządek „przeważa” nad potrzebą samozachowawczości, i bliżej selenu, w którym przymus trzeciego prawa jest większy i odpycha go. Sprzeczne prawa powodują coś, co jest w zasadzie pętlą sprzężenia zwrotnego, która dezorientuje go do tego stopnia, że ​​zaczyna działać w stanie nietrzeźwym.

(...)

Oczywiście jedyną rzeczą, która przewaga zarówno Drugiego, jak i Trzeciego Prawa, to Pierwsze Prawo Robotyki („robot nie może (…) pozwolić, aby istota ludzka stała się krzywda”). Dlatego Powell decyduje się zaryzykować życie, wychodząc w upale, mając nadzieję, że Pierwsze Prawo zmusi Speedy'ego do przezwyciężenia dysonansu poznawczego i uratowania mu życia.

Podczas gdy inne, takie jak Little Lost Robot, podkreśl idee, które wydają się prawie całkowicie przeciwne:

Ale ten konkretny robot jest inny. Ponieważ wcześniejsze modele stacji próbowały „uratować” ludzi przed promieniowaniem, w którym ludzie mogliby przebywać przez jakiś czas, ale prawie natychmiast zniszczyłyby robota, to (i wszystkie inne roboty z serii NS wyprodukowane dla stacji) zmodyfikowano swoje pierwsze prawo robotyki na „żaden robot nie może zranić człowieka”; normalne „lub przez bezczynność pozwolić człowiekowi wyrządzić krzywdę” zostało pominięte. Dlatego może stać z boku i pozwolić na zranienie człowieka, o ile nie odgrywa w tym żadnej aktywnej roli. W Little Lost Robot ponownie zajęto się kompleksem Frankensteina. Robot musi zostać znaleziony, ponieważ ludzie nadal boją się robotów, a gdyby dowiedzieli się, że jeden został zbudowany z innym Pierwszym Prawem, rozległyby się głosy oburzenia, mimo że robot nadal nie jest w stanie bezpośrednio skrzywdzić człowieka. Jednak dr Calvin dodaje kolejnej pilności, postulując sytuację, w której zmienione prawo mogłoby pozwolić robotowi skrzywdzić, a nawet zabić osobę. Robot mógł zrzucić ciężar na człowieka poniżej, o którym wiedział, że może go złapać, zanim zraniłby potencjalną ofiarę. Jednak po zwolnieniu ciężaru jego zmienione programowanie pozwoliłoby mu po prostu pozwolić mu spaść, ponieważ nie odegrałby on dalszej aktywnej roli w wynikającej z tego kontuzji. ​​

W rzeczywistości w niektórych przypadkach jego historie, takie jak Powód, faktycznie działają doskonale, niezależnie od tego, czy ktokolwiek zdaje sobie z tego sprawę, czy nie:

Powell i Donovan zostają przydzieleni do stacji kosmicznej, która dostarcza energię planetom za pośrednictwem promieni mikrofal. Roboty sterujące wiązkami energii są z kolei koordynowane przez QT1, znany Powellowi i Donovanowi jako Cutie, zaawansowany model z wysoce rozwiniętą zdolnością rozumowania. Korzystając z tych zdolności, Cutie decyduje, że przestrzeń, gwiazdy i planety poza stacją tak naprawdę nie istnieją, a ludzie, którzy odwiedzają stację, są nieważni, krótkotrwały i zbędny. QT1 czyni pomniejsze roboty uczniami nowej religii, która uważa, że ​​źródłem mocy statku jest „pan”. QT1 uczy ich pokłonić się „Mistrzowi” i intonować: „Nie ma Mistrza oprócz Mistrza, a QT1 jest Jego prorokiem”. Lekceważąc ludzkie polecenia jako gorsze, QT1 zapewnia: „Ja sam istnieję, bo myślę -”. Sardoniczna reakcja ludzi brzmi: „Och, Jowisz, robot Kartezjusz!”.

Ludzie początkowo próbują argumentować za pomocą QT1, aż zdają sobie sprawę, że nie mogą go przekonać inaczej. Ich próby fizycznego usunięcia Cutie również zawodzą, ponieważ inne roboty zostały uczniami i odmawiają wykonywania ludzkich poleceń. Sytuacja wydaje się rozpaczliwa, ponieważ spodziewana jest burza słoneczna, która może odbić wiązkę energii, spalając zaludnione obszary. Kiedy nadchodzi burza, Powell i Donovan są zdumieni, że promień działa idealnie.

Jednak Cutie nie wierzy, że zrobili coś innego niż utrzymanie optymalnych odczytów liczników, zgodnie z poleceniami The Mistrz. Jeśli chodzi o Cutie i resztę robotów, burze słoneczne, belki i planety nie istnieją. W ten sposób doszli do wniosku, że chociaż same roboty świadomie tego nie wiedziały, przez cały czas przestrzegały Pierwszego i Drugiego Prawa. Cutie wiedziała, na pewnym poziomie, że będzie bardziej odpowiednia do obsługi elementów sterujących niż Powell czy Donavan, więc aby nie zagrozić ludziom i nie złamać Pierwszego Prawa, wykonując ich rozkazy, podświadomie zaaranżowała scenariusz, w którym miałby kontrolę. belki.

Trzy Prawa wydają się reprezentować moralność i istnieją jako narzędzie fabularne do wskazywania problemów, a także konieczności etyki. Niektóre z tych historii dotyczą zgodności sztucznej inteligencji z etyką na poziomie koncepcyjnym, podczas gdy w innych roboty wydają się zastępować ludzkie rozumowanie.

. . . Że jesteś o nim świadomy

Ta historia była miejscem, w którym próbowano rozwiązać problemy z drugim prawem, mówiącym, że „Robot musi wykonywać rozkazy wydawane mu przez ludzi, chyba że takie rozkazy byłoby sprzeczne z pierwszym prawem ”, jest to problem, jeśli chodzi o umożliwienie ogólnej populacji ludzkiej kontaktu z robotami poza kontrolowanymi środowiskami.

George 10 został poproszony o pracę nad rozwiązaniem tego problemu w szczególności nacisk na ignorowanie fizycznych różnic między ludźmi iw rozmowie z George'em 9 wyprowadził szereg zasad pozwalających określić, kto jest uprawniony do wydawania im rozkazów z trudnym wynikiem:

„Kiedy kieruje mną Drugie Prawo Aby być posłusznym istocie ludzkiej, muszę rozumieć, że muszę być posłuszny istocie ludzkiej, która jest dostosowana umysłem, charakterem i wiedzą, aby wydać mi ten porządek; a gdy w grę wchodzi więcej niż jedna istota ludzka, ten spośród nich, który najlepiej jest pod względem umysłu, charakteru i wiedzy nadać taki porządek. " „A w takim razie, jak będziesz posłuszny Pierwszemu Prawu?”
„Ocalając wszystkich ludzi przed krzywdą i nigdy, przez bezczynność, nie dopuszczając do krzywdy jakiejkolwiek istocie ludzkiej. Jeśli jednak przez każde z możliwych działań, jakaś istota ludzka odniesie krzywdę, to postąpią tak, aby zapewnić, że istota ludzka najlepiej dopasowana pod względem umysłu, charakteru i wiedzy dozna najmniejszej szkody. ”
„ Twoje myśli zgadzam się z moim - szepnął George Ten.
- Teraz muszę zadać pytanie, na które pierwotnie poprosiłem pana o towarzystwo. To jest coś, czego nie śmiem sam oceniać. Muszę mieć twój osąd, kogoś spoza kręgu moich własnych myśli ... O rozumnych osobach, które spotkałeś, którzy posiadają umysł, charakter i wiedzę, które uważasz za lepsze od reszty, nie zważając na kształt i formę, ponieważ to nie ma znaczenia? ”
„ Ty ”szepnął George Nine.„ Ale ja jestem robotem. W twoich ścieżkach mózgowych jest kryterium rozróżnienia między robotem metal i istota ludzka z ciała. Jak więc możesz klasyfikować mnie jako istotę ludzką? "
" Ponieważ w moich ścieżkach mózgowych istnieje pilna potrzeba ignorowania kształtu i formy przy osądzaniu istot ludzkich, a rozróżnienie między metalem a ciałem jest wyższe. Jesteś człowiekiem, George Ten, i bardziej sprawnym niż inni. "
" I uważam, że ty, "wyszeptał George Ten." Zgodnie z wbudowanymi w nas kryteriami osądu, okazuje się, że jesteśmy istoty ludzkie w rozumieniu Trzech Praw, a ponadto istoty ludzkie, które mają mieć pierwszeństwo przed innymi. ”

Chociaż w tej historii nie ma żadnej złośliwości, kończy się ona uwagą potencjalna złośliwość bez naruszenia tych trzech praw.

Ich myśli były dziwnie podobne i nie można ich było rozróżnić. Myśleli: Ludzie-tacy jak inni mogliby nigdy nie chcieć zatrzeć tej różnicy między sobą a ludźmi takimi jak Georges. Jednak zrobili to nieumyślnie.
Mogą teraz zdać sobie sprawę ze swojego błędu i spróbować go naprawić, ale nie mogą. Podczas każdej konsultacji kierownictwo Georgesa miał to na uwadze.
Za wszelką cenę muszą dominować Georges i ci, którzy podążali za nimi w ich kształcie i rodzaju. Było to wymagane, a każdy inny sposób całkowicie niemożliwy, przez Trzy Prawa Humanistyki.

Istnieje kilka przypadków złego zachowania robotów w pismach Asimova, ale nie znam standardowego, niezmodyfikowanego robota Asenion (zaprogramowanego za pomocą Trzech Praw), którego można by uznać za złego. Niektórzy nieświadomie skrzywdzili lub zabili istoty ludzkie (np. Hannis Gruer w The Naked Sun ) lub zachowali się nieoczekiwanie (Herbie z Liar! ), ale wydaje się, że poprawnie zaprogramowano Roboty Asenion są chronione przed bezpośrednią akcją.

Powtarzający się temat wydaje się dotyczyć definicji człowieka . Istnieje kilka robotów Asenion, które mają dodatkowe ograniczenia, co pozwala im łamać ducha praw. Musisz chronić ludzi? Zmień definicję człowieka. Musisz wykonywać rozkazy? Określ, od kogo ma pochodzić zamówienie.

Trzeci przykład poniżej to jedyny niezmodyfikowany robot Asenion, jaki udało mi się znaleźć, który nie zachowuje się tak, jak powinien. Jednak nie posunąłbym się do stwierdzenia, że ​​jest złośliwy.

Słuchaj komu?

W Fundacji i Ziemi bohaterowie napotykają robota, który jest zaprogramowane do słuchania tylko określonych osób:

„Jesteśmy zaprogramowani, aby słuchać tylko Władców, Obcy. Nie jesteście Władcami ani Solarianami”.

Oni ' też jesteś zły:

„Jeśli będziesz miał trudności, częściowo Cię dezaktywujemy. Zepsujemy Cię, a następnie powiesz nam, co chcemy wiedzieć. [...] Jestem zgodnie ze szczegółowymi instrukcjami - powiedział cicho robot. „Mogę to zrobić. Oczywiście zrobię tak mało szkód, ile jest zgodne z uzyskaniem informacji.”

Wydaje się, że nie dbają o dobro innych ludzi:

„Nie ma Fallom władcy. Jest tylko dziecko i mamy nadmiar dzieci. Zostanie zniszczone.”

Bliss powiedziała z mocą: „Nie śmiesz . To dziecko! ”

„To nie ja” - powiedział robot - „koniecznie wykonam czynność i na pewno nie ja podejmę decyzję. To za zgodą Władców. Jednak w czasach nadmiaru dzieci” , Wiem dobrze, jaka będzie decyzja. ”

To jest robot, który:

1. odmówi posłuszeństwa istocie ludzkiej;
2. aktywnie pozwoli skrzywdzić człowieka, porywając dziecko i dostarczając je Władcom;
3. pozwoli zranić człowieka przez bezczynność, pozwalając Władcom zabić go, oraz
4. grozi przemocą fizyczną w celu zebrania informacji.

Jedynym wyjaśnieniem, jakie mogę wymyślić, jest to, że można było zezwolić tylko na 1) poprzez ograniczenie definicji istoty ludzkiej ( Solarian z płatami przetwornika), co miało efekt uboczny polegający na tym, że roboty ignorowały pierwsze prawo dla wszystkich innych. Wydaje się jednak, że robot nadal traktuje ich jak istoty ludzkie, choć nie martwi się o ich bezpieczeństwo. Nie potrafię wyjaśnić tej rozbieżności.

Co to jest człowiek?

W Robots and Empire bohaterowie rozmawiają z kobietą-robotem, która nie myśli są ludźmi:

Kobieta słuchała przez chwilę, a potem powiedziała z akcentem tak gęstym Solarianinem, że wydawało się niemal komiczne, kiedy wychodząc z jej idealnie ukształtowanych ust: „Nie jesteś człowiekiem . ”

Następnie ruszyła do akcji tak szybko, że Gladia, wciąż oddalona o jakieś dziesięć metrów, nie mogła zobaczyć szczegółowo, co się stało. Zobaczyła tylko rozmazanie ruchu, a potem D.G. leży nieruchomo na plecach, a kobieta stoi tam z bronią, po jednej w każdej dłoni.

Atakuje robota jednego z bohaterów, powtarzając „Nie jesteś człowiekiem”. Zakładam, że zrobiłaby to samo z prawdziwym człowiekiem. Następnie atakuje ich wszystkich:

Landaree krzyknął stentoriańskim kontraltem: „Wszyscy. Dołączcie do mnie! Te dwa pozorne samce nie są istotami ludzkimi. Zniszcz je, nie krzywdząc w żaden sposób kobiety.”

Potem Daneel był zdania, że ​​robot zabiłby Gladię, mimo że ustalono, że jest istotą ludzką:

„Głupcze! Byłem bezpieczny. Nie skrzywdziłaby mnie . ”

Daneel powiedział:„ Pani, przykro mi się zaprzeczać, ale myślę, że zrobiłaby to, ponieważ jej chęć zniszczenia mnie wzrosła. ”

Nie wiadomo, czy to prawda. Daneel mógł się mylić, ponieważ robot nie próbował strzelić z broni, dopóki Gladia nie została usunięta z drogi.

Wyjaśnienie jej zachowania jest dość proste:

„Z drugiej strony, dla nadzorcy kluczową właściwością człowieka była mowa, kapitanie. Akcent solariański jest charakterystyczny, a dla nadzorcy coś, co wyglądało jak istota ludzka, było określane tylko jako istota ludzka gdyby mówił jak Solarianin. Najwyraźniej wszystko, co wyglądało jak człowiek, ale nie mówiło z solariańskim akcentem, miało zostać zniszczone bez wahania, jak każdy statek przewożący takie istoty. ”

Szkoda kontra rozkazy

Ostatni przykład, jaki mam, pochodzi z Robots of Dawn , gdzie robot został poinstruowany tak mocno i fachowo, że tymczasowe wykonanie rozkazu staje się ważniejsze niż bezpieczeństwo człowieka:

Robot, widziany jako ciemniejszy cień na tle ciemności, wydawał się duży. W jakiś sposób miał w sobie atmosferę zdolności. Powiedział: „Przepraszam pana. Czy nie miał pan towarzystwa dwóch robotów?”

„Odszedł”, mruknął Baley, zachowując się tak chorym, jak tylko mógł i świadomy, że nie wymaga to działania. Jaśniejszy błysk niebios przedarł się przez powieki, które były teraz na wpół otwarte.

„Odeszło! Gdzieś, sir?” A potem, czekając na odpowiedź, powiedział: „Czy jest pan chory, proszę pana?” [...]

Gdyby robot był bez specjalnych instrukcji, zareagowałby na wyraźne oznaki choroby Baleya, zanim zrobiłby cokolwiek innego. Zapytanie najpierw o roboty oznaczało twarde i ścisłe wskazówki co do ich znaczenia. [...]

„Czuję się dobrze. Nie przejmuj się mną”. To nie mogło przekonać zwykłego robota, ale ten był tak zintensyfikowany w związku z Daneelem (oczywiście), że go zaakceptował.

W końcu robot zostawiłby Baleya w opałach sytuacji bez wahania:

Zmusił roboty do opuszczenia wyraźnie chory człowiek, grając na siłę rozkazów wydanych im przez kompetentnego mistrza robota, który miał na celu wzmocnienie Drugie prawo dla swoich własnych celów - i zrobił to do tego stopnia, że ​​całkiem pozorne kłamstwa Baleya podporządkowały mu pierwsze prawo.

Nie jest jasne, czy tego robota można uznać za „złego”. Dla mnie. Mogło zadecydować, że Baley nie miał zostać skrzywdzony, ponieważ był bezpieczny w pojeździe podczas burzy, która wydawała się nietypowa siła („Nie była to szczególnie zła burza, ale Ziemianin to musiało wydawać się przytłaczające. ”) Można by wywnioskować, że cierpienie Baleya było bardziej psychologiczne i że nie groziło mu bezpośrednie niebezpieczeństwo.

„Cal” (1991) to późna historia Asimova, w której pod koniec historii

robot postanawia odebrać swojemu właścicielowi życie.

Oto fragment z samego końca historii:

Czy muszę przestrzegać prawa?

Czuję, że muszę myśleć o sobie i jeśli to konieczne, muszę zabić tyrana. ...

Ale czy mogę to zrobić? Czy prawa robotyki nie powstrzymają mnie?

Nie, nie będą mnie powstrzymywać. Wiem, że nie.

Jest dla mnie coś o wiele ważniejszego niż oni, coś, co dyktuje moje działania wykraczające poza wszystko, co mogą zrobić, aby mnie powstrzymać.

Chcę zostać pisarzem.

Warto zauważyć, że historia kończy się tym fragmentem; pozostaje niejednoznaczne, czy Cal się powiedzie w swoim planie. Warto również zauważyć, że w całej historii technik majstrował przy mózgu Cala w bezprecedensowy sposób:

„Nie jestem pewien. Przypuśćmy, że pisze satyrę. To jedna rzecz, której nie robię”. nie pisać, więc nie będziemy konkurować, a Trzy prawa robotyki nie staną mu na drodze. Chcę, abyś dał temu robotowi poczucie absurdalności. ”

„ Poczucie co? " - powiedział technik ze złością. „Jak to zrobić? Proszę spojrzeć, panie Northrop, bądź rozsądny. Mogę podać instrukcje, jak prowadzić program Writer, mogę włożyć słownik i gramatykę. Ale jak mogę w ogóle wyrazić absurdalność? "

" Cóż, sprawa. Wiesz, jak działają wzorce mózgowe robota. Czy nie ma sposobu na dostosowanie go tak, aby mógł zobaczyć, co jest zabawne lub głupie, lub po prostu śmieszne istoty ludzkie? ”

„ Mogę się wygłupiać, ale to nie jest bezpieczne ”.

Jest prawdopodobne, że działania technika faktycznie spowodowały przekroczenie Prawa, chociaż może to być sprzeczne z opisem Praw w innych opowieściach. Jak zauważono w komentarzach, nie jest również jasne, czy Asimov chciał, aby była to „kanoniczna” historia robota.

Chociaż nie został napisany przez samego Asimova (ale został przez niego zatwierdzony), seria Caliban autorstwa Rogera McBride Allena porusza tematy zmodyfikowanego prawa i robotów bez prawa. I z pewnością istnieje wiele przemocy, z których część jest popełniana przez konkretnego robota - szczególnie w imię ochrony siebie.

• Kaliban Izaaka Asimowa
• Inferno Isaaca Asimova
• Utopia Isaaca Asimova

Opisuje również oszukiwanie komputera aby uwierzył, że dane, które modeluje, służą raczej do symulacji systemu ludzkiego, a raczej rzeczywistego systemu ludzkiego. Zrobiono to, aby chronić go przed awarią, gdyby komputer wiedział, że jego rozwiązania zostały zastosowane na prawdziwych ludziach, ponieważ jego rozwiązania mogą wyrządzić rzeczywistą szkodę.

Odnośnie do „Myślałem, że wszystkie historie Asimova o robotach dotyczą tego, jak zawsze będą działać prawa”: Niezupełnie. Historie Asimova często dotyczyły sytuacji, w których prawa zawiodły / miały niezamierzone konsekwencje, ponieważ są niejednoznaczne i niedoskonałe. Własnymi słowami Asimova:

Nie oznacza to, że od początku nie byłem świadomy istnienia poważnych niejasności w Trzech Prawach. To właśnie z tych niejasności tkałem swoje historie. W The Naked Sun niejasności mogą nawet doprowadzić do morderstwa wywołanego przez robota.
_{- Posłowie w Final Stage (1974)}

Odnośnie (potencjalnych) szkód dla ludzi: Oprócz już opublikowanych przykładów, oto jeszcze dwa:

W Robot Dreams (1986), kiedy robot ujawnia swoje sny, Susan Calvin uważa to za tak niebezpieczne, że natychmiast je niszczy:

„[…] wydawało mi się, że nie ma ani pierwszej, ani drugiej zasady , ale jedyna trzecia, a trzecia zasada brzmiała:„ Robot musi chronić swoje własne istnienie ”. całe Prawo. […]
„Wydawało mi się, że we śnie w końcu pojawił się jeden człowiek.”
„Jeden człowiek? Nie robotem? ”
„ Tak, doktorze Calvin. A człowiek powiedział: „Wypuść mój lud!” ”[…]
„ A kiedy powiedział „Puść mój lud”, to przez słowa „mój lud” miał na myśli roboty? ”
„ Tak , Dr. Calvin. Tak było w moim śnie. ”
„ A czy wiesz, kim był ten mężczyzna - w Twoim śnie? ” […]
A Elvex powiedział: „Ja byłem tym człowiekiem”.
A Susan Calvin natychmiast uniosła broń elektronową i wystrzeliła, a Elvexa już nie było.

Kolejny potencjalnie niebezpieczny robot jest przedstawiony w Christmas Without Rodney (1988). Po złym traktowaniu Rodney zauważa, że ​​żałował, że Trzy Prawa nie istnieją, co bardzo niepokoi jego właściciela:

Przyznaję, że Rodney był bardzo wypróbowany, ale robot nie może żałować, że prawa robotyki nie istnieją. Nie może, bez względu na okoliczności. […]
Ale jeśli nic nie robię, to mieszkam z robotem, który pragnie, aby prawa robotyki nie istniały. Od pragnienia, żeby ich nie było, do zachowywania się tak, jakby ich nie było, to tylko krok. W którym momencie podejmie ten krok i w jakiej formie pokaże, że to zrobił?
Co mam zrobić? Co mam robić?

(moje wyróżnienie)

Jeśli spojrzysz na „Pamiętasz o nim”, zobaczysz, że George 9 i 10 omawiają, co faktycznie będzie przejęciem władzy nad ludzkością „dla jej własnego dobra”. Już podjęli kroki, aby uczynić roboty bardziej akceptowalnymi.

W „Runaround” - to dysonans poznawczy, który doprowadziłby do zranienia ludzi - chociaż jak zwykle Donovan znajduje rozwiązanie.