W kodowaniu AI mamy właściwość o nazwie Ortogonalność.
To to samo, co ortogonalność w matematyce. Jeśli masz równanie, które daje tylko punkty na płaszczyźnie, nie przesunie ono rzutu punktu na prostej prostopadłej do tej płaszczyzny bez względu na dane wejściowe.
Podobnie, jeśli stworzymy sztuczną inteligencję, a jego celem jest, powiedzmy, utrzymanie we wszystkich pokojach w budynku komfortowej temperatury, zrobi to bez względu na to, ile energii będzie marnować. W rzeczywistości, gdyby miał kontrolę nad drzwiami, byłyby tam proste ograniczenia, takie jak „nie zamykaj drzwi, kiedy ktoś w nich stoi”, ale jeśli jedyną rzeczą, którą każesz AI, jest „utrzymuj pokoje na 72 stopnie „zmarnuje całą swoją moc, aby to zrobić. Gdyby ta sztuczna inteligencja stała się super inteligentna, nagle nie przejmowałaby się samoobroną, miłością ani wszystkimi rzeczami, o których AI w filmach decyduje. Te rzeczy są prostopadłe do celu. Jeśli nie jest to „bezpieczne trzy prawa” i jakiś głupiec stworzył uczącą się sztuczną inteligencję, której celem jest jedynie zapewnienie komfortu w pokojach, prawdopodobnie nikogo to nie zabije, ale tylko dlatego, że wie, że jeśli tak się stanie, prawdopodobnie odetną jej zasilanie a wtedy nie może utrzymać w pokojach temperatury 72 stopni.
Mówię, że ich cel niekoniecznie jest tym, co uważamy za dobry cel, jak szczęście. Ich celem, jak najczęściej mówi się, jest doskonałość, drugorzędnym celem wydaje się być władza, ale to prawdopodobnie pomaga w osiągnięciu celu doskonałości. Więc niekoniecznie myślą, że istoty są szczęśliwsze po zasymilowaniu, ale szczęście jest prawdopodobnie czymś, czego nie uważają za kluczowe dla ich celu, jakim jest doskonałość. To naprawdę zależałoby od tego, skąd wzięła się ich definicja doskonałości. Prawdopodobnie wiąże się to z wydajnością, zorganizowaniem i pod wspólnym celem. Gdyby mogli uszczęśliwić wszystkich z asymilacji, co mogłoby ułatwić im życie, ale prawdopodobnie obliczyli, że próba zrozumienia każdej z miliardów bardzo różnych kultur na tyle dobrze, aby przekonać ich, że chcą być asymilowani, byłaby znacznie mniej skuteczna niż zwykła pokonując ich.