Bostrom asks what happens if a machine becomes substantially smarter than we are, and works through the question like a philosopher rather than a futurist.

• Paths are laid out first: machine learning, whole brain emulation, biological enhancement, networks.
• The control problem is the heart of it. How do you keep something more capable than you doing what you meant?
• Instrumental convergence: almost any goal implies acquiring resources and resisting being switched off.
• The paperclip example comes from here, and it is meant as a limit case, not a prediction.
• Written in 2014, before the current wave, which makes some passages dated and others uncomfortably prescient.

Academic in style and slow going. Not a popular science book.

Bostrom fragt, was geschieht, wenn eine Maschine deutlich klüger wird als wir, und arbeitet die Frage wie ein Philosoph durch, nicht wie ein Zukunftsforscher.

• Zuerst die Wege dorthin: maschinelles Lernen, Nachbildung eines ganzen Gehirns, biologische Verbesserung, Netzwerke.
• Das Kontrollproblem ist der Kern. Wie hältst du etwas, das fähiger ist als du, bei dem, was du gemeint hast?
• Instrumentelle Konvergenz: Fast jedes Ziel legt nahe, Ressourcen zu sammeln und sich dem Abschalten zu widersetzen.
• Das Büroklammer-Beispiel stammt von hier und ist als Grenzfall gemeint, nicht als Vorhersage.
• Geschrieben 2014, vor der aktuellen Welle, was manche Stellen veraltet und andere unangenehm treffsicher wirken lässt.

Akademisch geschrieben und zäh. Kein populärwissenschaftliches Buch.