As some of you know, I’m becoming a father. In December my daughter will be born, and I feel super excited writing this sentence.
It makes me both excited and anxious, for two reasons:
- Becoming a father: Obviously the responsibility, the sleepless nights ahead, the question of whether I’ll be good at this.
- Caring for her future: Since I know she’s on her way, the future has stopped being an abstract idea. It has become the place where a real person I already love is going to live. And she will most likely grow up with superintelligent AI…
Why this has become personal
The more I read and watch about AI safety, the more alarmed I get. Becoming a father has turned up the volume.
I have always been thinking and caring about the future. Climate change, social justice, how we live together: these questions have been with me for years. But lately I feel they are all coming together in one question:
“Will AI be developed and deployed safely?”
If we get this wrong, it touches everything else. If we get it right, it could help with almost everything else. As Tristan Harris puts it in The AI Doc: “This might be the last mistake we are allowed to make…” (Great documentary, by the way.)
The speed of change
What alarms me most is the speed of change. AI capabilities are not growing linearly. They are growing exponentially.
Moore’s law is the classic example: the number of transistors on a chip roughly doubles every two years. AI is following an even sharper version of this curve. Models are getting more capable, the cost of using them is falling, and AI is increasingly helping to build the next generation of AI. Each step can accelerate the next.
And this is where things get difficult to grasp. Human intuition is built for linear change. We are good at imagining a little more of what we already know. We are much worse at imagining what happens when progress compounds.
The AI 2027 report helped me understand what this could mean in practice. Written by former OpenAI researcher Daniel Kokotajlo and colleagues, it explores a future in which AI progress accelerates dramatically, AI systems begin to outperform humans at research and development, and the race to build more capable systems becomes increasingly difficult to control.
In its darker scenario, humanity loses control of superintelligent AI, leading to human extinction by 2030. The authors are clear that this is a scenario, not a prediction. They have since updated their timelines, moving their median estimate for AI fully automating coding to around 2032.
But the exact year is not really the point. The meta-curve is what worries me: AI helps develop better AI, which accelerates research, which produces even more capable AI. If this feedback loop becomes powerful enough, progress could move faster than our institutions, our ability to understand what is happening, and our capacity to keep these systems under control.
This is why I take catastrophic scenarios in the early 2030s seriously enough to pay attention. Not because I know they will happen, but because the stakes are enormous and the timelines are short.
In 2030, my daughter will be three. She will be learning to run, to speak, to ask why. The world she grows up in could be shaped by decisions we are making right now.
That makes AI safety feel very personal to me. It is no longer just an interesting intellectual problem or a debate about the future of technology. It is about the kind of world my daughter will inherit… and whether we are doing enough to make sure she gets to grow up in it.
What the experts are saying
Many of the people who know this technology best are warning about it, and they put numbers on the risk that would be unthinkable in any other field. These are not people who make such predictions lightly. Here is what made me take it seriously:
- The researchers who build AI. In the largest survey of its kind, 2,778 scientists who publish at the top AI conferences were asked about the long-term future. Between 38% and 51% of them gave at least a 10% chance that advanced AI leads to outcomes as bad as human extinction. (Grace et al., 2024)
- Geoffrey Hinton, Nobel laureate and one of the pioneers of modern AI, put the chance of AI wiping out humanity within the next 30 years at 10 to 20% in December 2024. (The Guardian) In September 2026 he went further: a 10% chance within the next ten years is, in his view, not an unreasonable estimate. He also said that nobody really knows how to calculate it. (BBC Newsnight, via Business Insider)
- Dario Amodei, CEO of Anthropic, one of the companies building the most capable systems, puts the chance that things go “really, really badly” at 25%. (Axios, 2025)
Would you board this plane?
Experts disagree about these numbers, and I’m not the person who can settle that debate. Still, there is one picture that people in AI safety keep coming back to. Tristan Harris and Aza Raskin of the Center for Humane Technology made it popular in 2023: imagine you are about to board an airplane, and a large share of the engineers who built it tell you there is a 10% chance it will crash.
Would you get on? Would you take your child with you?
For me the answer is clear. And yet with AI, nobody is asking us whether we want to board. That is exactly why I think more of us need to start asking.
What can we do?
I notice that alarm on its own makes me small. What helps me is what has helped me in ten years of facilitation: bringing people together, looking at the hard question side by side and finding out what each of us can actually do. Here are three steps that have helped me.
- Educate yourself: You don’t need a technical background. I’ve put together a resource list with the courses, videos and books that helped me most. If you have one evening, watch We’re Not Ready for Superintelligence, a 30-minute video that walks through AI 2027. If you have a quiet afternoon, try BlueDot Impact’s free course Future of AI, about two hours at your own pace.
- Meet others and show up: Worrying alone is heavy. Talking with people who share the concern makes it lighter and turns it into energy. Protests and events are a good way to start. If you’re in Berlin, I can recommend two movements. PauseAI Deutschland calls for an international agreement that stops the development of superintelligence until we know how to build it safely. Their next demo is on 1 November at 14:00 at the Brandenburger Tor. Fairness Jetzt is a young citizens’ movement for fair and safe AI in Germany, calling for democratic control and a binding citizens’ assembly on AI.
- Shift your career: This is what I’m doing right now. I’m reading a lot, learning from people in the field and figuring out where my skills are most useful. Honestly, it’s less hard than it looks, and there is real support out there. 80,000 Hours offers free one-to-one career advising, and their former advisor Matt Beard has written a practical guide on how to get into AI safety in three months.
Come join us
There is so much to learn, and I believe this is a good moment to come together, to own our responsibility and to find our purpose in it.
That’s why I keep hosting Sense-Making Evenings on AI, live at the Cocreation Loft in Berlin and online. No hype and no doom, just space to think together and find your own relationship to AI. You’ll find the next dates on the events page, and if you subscribe to this newsletter, you’ll hear about them first. I’ll keep sharing what I learn here, including the parts I get wrong.
Thank you for reading this and staying until the end. It means a lot to me.
Manche von Euch wissen es schon: Ich werde Vater. Im Dezember kommt meine Tochter auf die Welt, und ich bin total aufgeregt, während ich diesen Satz schreibe.
Das macht mich aufgeregt und ängstlich zugleich, aus zwei Gründen:
- Vater werden: Natürlich die Verantwortung, die schlaflosen Nächte, die vor mir liegen, die Frage, ob ich das gut machen werde.
- Die Sorge um ihre Zukunft: Seit ich weiß, dass sie unterwegs ist, ist die Zukunft keine abstrakte Idee mehr. Sie ist der Ort geworden, an dem ein echter Mensch leben wird, den ich schon liebe. Und sie wird höchstwahrscheinlich mit superintelligenter KI aufwachsen …
Warum das persönlich geworden ist
Je mehr ich über KI-Sicherheit lese und mir dazu anschaue, desto alarmierter bin ich. Dass ich Vater werde, hat die Lautstärke noch einmal aufgedreht.
Die Zukunft beschäftigt mich schon lange, und sie liegt mir am Herzen. Klimawandel, soziale Gerechtigkeit, wie wir zusammenleben: Diese Fragen begleiten mich seit Jahren. Doch in letzter Zeit habe ich das Gefühl, dass sie alle in einer Frage zusammenlaufen:
„Wird KI sicher entwickelt und eingesetzt?“
Wenn wir das falsch machen, berührt es alles andere. Wenn wir es richtig machen, könnte es bei fast allem anderen helfen. Tristan Harris sagt es in The AI Doc sinngemäß so: „Das könnte der letzte Fehler sein, den wir machen dürfen …“ (Übrigens ein großartiger Dokumentarfilm.)
Das Tempo der Veränderung
Am meisten alarmiert mich das Tempo der Veränderung. Die Fähigkeiten von KI wachsen nicht linear. Sie wachsen exponentiell.
Das Mooresche Gesetz ist das klassische Beispiel: Die Zahl der Transistoren auf einem Chip verdoppelt sich etwa alle zwei Jahre. KI folgt einer noch steileren Version dieser Kurve. Die Modelle werden leistungsfähiger, ihre Nutzung wird billiger, und KI hilft immer mehr dabei, die nächste Generation von KI zu bauen. Jeder Schritt kann den nächsten beschleunigen.
Und genau hier wird es schwer zu begreifen. Unsere Intuition ist für lineare Veränderung gemacht. Wir können uns gut ein bisschen mehr von dem vorstellen, was wir schon kennen. Viel schlechter können wir uns vorstellen, was passiert, wenn Fortschritt sich selbst verstärkt.
Der Bericht AI 2027 hat mir geholfen zu verstehen, was das praktisch bedeuten könnte. Geschrieben hat ihn der frühere OpenAI-Forscher Daniel Kokotajlo mit seinem Team. Er beschreibt eine Zukunft, in der sich der KI-Fortschritt dramatisch beschleunigt, KI-Systeme Menschen in Forschung und Entwicklung übertreffen und das Rennen um immer leistungsfähigere Systeme immer schwerer zu kontrollieren ist.
In seinem dunkleren Szenario verliert die Menschheit die Kontrolle über superintelligente KI, und bis 2030 stirbt die Menschheit aus. Das Autorenteam betont, dass das ein Szenario ist und keine Vorhersage. Inzwischen haben sie ihre Zeitrahmen aktualisiert und ihre mittlere Schätzung dafür, dass KI das Programmieren vollständig übernimmt, auf etwa 2032 verschoben.
Aber das genaue Jahr ist gar nicht der Punkt. Was mir Sorgen macht, ist die Meta-Kurve: KI hilft, bessere KI zu entwickeln, das beschleunigt die Forschung, und die bringt noch leistungsfähigere KI hervor. Wenn diese Rückkopplung stark genug wird, könnte der Fortschritt schneller sein als unsere Institutionen, als unsere Fähigkeit zu verstehen, was passiert, und als unsere Möglichkeit, diese Systeme unter Kontrolle zu halten.
Deshalb nehme ich katastrophale Szenarien für die frühen 2030er-Jahre ernst genug, um hinzuschauen. Nicht, weil ich weiß, dass sie eintreten, sondern weil enorm viel auf dem Spiel steht und die Zeiträume kurz sind.
2030 wird meine Tochter drei sein. Sie wird laufen lernen, sprechen lernen und anfangen, warum zu fragen. Die Welt, in der sie aufwächst, könnte von Entscheidungen geprägt sein, die wir genau jetzt treffen.
Das macht KI-Sicherheit für mich sehr persönlich. Es ist nicht mehr nur ein spannendes intellektuelles Problem oder eine Debatte über die Zukunft der Technologie. Es geht um die Welt, die meine Tochter erben wird … und darum, ob wir genug tun, damit sie darin aufwachsen kann.
Was Fachleute sagen
Viele der Menschen, die diese Technologie am besten kennen, warnen davor, und sie nennen Zahlen zum Risiko, die in jedem anderen Bereich undenkbar wären. Das sind keine Leute, die solche Vorhersagen leichtfertig machen. Das hier hat mich dazu gebracht, es ernst zu nehmen:
- Die Forschenden, die KI bauen. In der bisher größten Umfrage dieser Art wurden 2.778 Forschende, die auf den wichtigsten KI-Konferenzen veröffentlichen, nach der langfristigen Zukunft gefragt. Zwischen 38 % und 51 % von ihnen sehen eine Wahrscheinlichkeit von mindestens 10 %, dass fortgeschrittene KI zu Folgen führt, die so schlimm sind wie das Aussterben der Menschheit. (Grace et al., 2024)
- Geoffrey Hinton, Nobelpreisträger und einer der Wegbereiter moderner KI, schätzte im Dezember 2024 die Wahrscheinlichkeit, dass KI die Menschheit in den nächsten 30 Jahren auslöscht, auf 10 bis 20 %. (The Guardian) Im September 2026 ging er weiter: 10 % in den nächsten zehn Jahren hält er für keine unvernünftige Schätzung. Er sagte auch, dass niemand wirklich weiß, wie man das berechnet. (BBC Newsnight, über Business Insider)
- Dario Amodei, Chef von Anthropic, einem der Unternehmen, die die leistungsfähigsten Systeme bauen, schätzt die Wahrscheinlichkeit, dass es „richtig, richtig schlecht“ ausgeht, auf 25 %. (Axios, 2025)
Würdest Du in dieses Flugzeug steigen?
Über diese Zahlen sind sich Fachleute nicht einig, und ich bin nicht derjenige, der diese Debatte entscheiden kann. Trotzdem gibt es ein Bild, auf das Menschen in der KI-Sicherheit immer wieder zurückkommen. Tristan Harris und Aza Raskin vom Center for Humane Technology haben es 2023 bekannt gemacht: Stell Dir vor, Du willst in ein Flugzeug steigen, und ein großer Teil derer, die es gebaut haben, sagt Dir, dass es mit einer Wahrscheinlichkeit von 10 % abstürzt.
Würdest Du einsteigen? Würdest Du Dein Kind mitnehmen?
Für mich ist die Antwort klar. Und doch fragt uns bei KI niemand, ob wir einsteigen wollen. Genau deshalb finde ich, dass mehr von uns anfangen sollten, diese Frage zu stellen.
Was können wir tun?
Ich merke, dass Alarm allein mich klein macht. Was mir hilft, ist das, was mir in zehn Jahren Moderation geholfen hat: Menschen zusammenbringen, Seite an Seite auf die schwierige Frage schauen und herausfinden, was wir wirklich tun können. Hier sind drei Schritte, die mir geholfen haben.
- Informier Dich: Du brauchst keinen technischen Hintergrund. Ich habe eine Liste mit Ressourcen zusammengestellt, mit den Kursen, Videos und Büchern, die mir am meisten geholfen haben. Wenn Du einen Abend Zeit hast, schau We’re Not Ready for Superintelligence, ein 30-minütiges Video, das AI 2027 Schritt für Schritt erzählt. Wenn Du einen ruhigen Nachmittag hast, probier den kostenlosen Kurs Future of AI von BlueDot Impact, etwa zwei Stunden in Deinem eigenen Tempo. Beides ist auf Englisch.
- Triff andere und sei dabei: Sich allein Sorgen zu machen, ist schwer. Mit Menschen zu sprechen, die die Sorge teilen, macht sie leichter und verwandelt sie in Energie. Proteste und Veranstaltungen sind ein guter Anfang. Wenn Du in Berlin bist, kann ich Dir zwei Bewegungen empfehlen. PauseAI Deutschland fordert ein internationales Abkommen, das die Entwicklung von Superintelligenz stoppt, bis wir wissen, wie man sie sicher baut. Die nächste Demo ist am 1. November um 14:00 Uhr am Brandenburger Tor. Fairness Jetzt ist eine junge Bürgerbewegung für faire und sichere KI in Deutschland und fordert demokratische Kontrolle und einen verbindlichen Bürgerrat zu KI.
- Richte Deine Arbeit neu aus: Das mache ich gerade. Ich lese viel, lerne von Menschen aus dem Feld und finde heraus, wo meine Fähigkeiten am meisten nützen. Ehrlich gesagt ist es weniger schwer, als es aussieht, und es gibt echte Unterstützung. 80,000 Hours bietet kostenlose Einzelberatung zur beruflichen Neuausrichtung an, und ihr früherer Berater Matt Beard hat einen praktischen Leitfaden geschrieben, wie man in drei Monaten in die KI-Sicherheit kommt (auf Englisch).
Komm dazu
Es gibt so viel zu lernen, und ich glaube, das ist ein guter Moment, um zusammenzukommen, unsere Verantwortung anzunehmen und darin unseren Sinn zu finden.
Deshalb lade ich weiter zu Sense-Making-Abenden über KI ein, live im Cocreation Loft in Berlin und online. Kein Hype und keine Untergangsstimmung, nur Raum, um gemeinsam zu denken und die eigene Beziehung zu KI zu finden. Die nächsten Termine findest Du auf der Event-Seite, und wenn Du diesen Newsletter abonnierst, erfährst Du als Erstes davon. Was ich lerne, teile ich weiter hier, auch das, was ich falsch einschätze.
Danke, dass Du das gelesen hast und bis zum Ende geblieben bist. Das bedeutet mir viel.