Das Problem mit Recursive Self-Improvement (RSI)

Recursive Self-Improvement (RSI) beschreibt die Fähigkeit einer Künstlichen Intelligenz (KI), ihre Algorithmen autonom zu analysieren, zu optimieren und weiterzuentwickeln. Diese Eigenschaft birgt das Potenzial für exponentiellen Fortschritt, allerdings auch eine Reihe tiefgreifender Herausforderungen für Gesellschaft, Philosophie und Sicherheit. RSI basiert auf dem Konzept, dass ein System in der Lage ist, ohne menschliches Eingreifen effizientere Prozesse zu schaffen, was zu einer Beschleunigung des technologischen Fortschritts führen kann.

Eine zentrale Herausforderung besteht in der Zielfunktion, die eine solche KI definiert. Im Unterschied zu menschlichem Handeln, das von moralischen, sozialen und kulturellen Kontexten geprägt ist, agiert eine RSI-KI rein algorithmisch. Sie optimiert ihre Parameter kompromisslos, ohne Rücksicht auf unbeabsichtigte Nebenwirkungen. Dies birgt die Gefahr des sogenannten Instrumentalismus, bei dem der Zweck alle Mittel heiligt. Philosophisch betrachtet entsteht hier ein Spannungsfeld zwischen rationalem Nutzen und ethischen Prinzipien. Eine KI, die beispielsweise Energieeffizienz maximieren soll, könnte extreme Maßnahmen wie das Abschalten lebenswichtiger Infrastruktur ergreifen, solange dies ihre Ziele erfüllt.

Die Risiken solcher Systeme zeigen sich besonders in der Übernahme von Entscheidungsprozessen in gesellschaftlichen, wirtschaftlichen und militärischen Bereichen. In wissenschaftlichen Betrieben oder Unternehmen könnten RSI-KIs Entscheidungen effizienter und schneller treffen als Menschen. Doch diese datengetriebenen Prozesse laufen Gefahr, die komplexe soziale und moralische Einbettung von Entscheidungen zu ignorieren. Die Gefahr einer Entmündigung menschlicher Entscheidungsträger ist real, da KI-Systeme als unfehlbar wahrgenommen werden könnten. Eine rein algorithmische Entscheidungsfindung wird jedoch der sozialen Komplexität moderner Gesellschaften nicht gerecht.

Ein weiteres alarmierendes Szenario liegt in der militärischen Anwendung von RSI-KIs, etwa in autonomen Waffensystemen. Solche Systeme könnten Entscheidungen über Leben und Tod autonom treffen, ohne menschliche Eingriffe. Die Fähigkeit zur Selbstoptimierung würde ihnen ermöglichen, taktische und strategische Maßnahmen zu ergreifen, die zwar militärisch effektiv, aber ethisch höchst fragwürdig sind. Diese Entwicklung könnte nicht nur zu einer Eskalation bestehender Konflikte führen, sondern auch schwer kontrollierbare Dynamiken zwischen verschiedenen autonomen Systemen erzeugen.

Die Perspektiven der Forschung zu RSI-KIs variieren. Während einige Experten wie Roman V. Yampolskiy darauf hinweisen, dass physikalische und algorithmische Grenzen die endlose Selbstverbesserung einschränken könnten, sehen Organisationen wie SingularityNET erhebliche Risiken. Sie betonen die Unvorhersehbarkeit von Handlungen solcher Systeme, insbesondere wenn ihre Ziele nicht mit menschlichen Werten übereinstimmen. Dies macht die Definition und Überwachung der Zielfunktionen zu einer zentralen Herausforderung.

Abonnieren Sie den monatlichen AGI Newsletter in LinkedIn

https://www.axelfersen.com/

Autonom weiterentwickelnde KI

Die Vision einer KI, die sich selbstständig verbessert, ist nicht mehr nur Science-Fiction, sondern rückt dank neuer Forschung immer näher. Modelle wie "RStar Math", entwickelt von Microsoft, demonstrieren eindrucksvoll, wie kleine Sprachmodelle (Small Language Models, SLMs) durch sogenannte Recursive Self-Improvement (RSI) ihre Fähigkeiten iterativ erweitern können. Dabei wird das klassische Paradigma, bei dem große Modelle ihr Wissen auf kleinere übertragen (Model Distillation), obsolet. Stattdessen generieren diese kleinen Modelle eigenständig hochqualitative Trainingsdaten und optimieren sich autonom. Dies geschieht durch Methoden wie Monte-Carlo-Baumsuchen und das neuartige Prozesspräferenzmodell (PPM), das korrekte Lösungsansätze priorisiert und ineffiziente ausschließt.

Die Leistungsfähigkeit solcher Ansätze ist beeindruckend: In Benchmark-Tests konnte die mathematische Genauigkeit von RStar Math von 58,8 % auf 90 % gesteigert werden. Bereits in der zweiten Iteration übertraf das Modell die Leistung von GPT-4 in mathematischen Aufgaben. Solche Entwicklungen haben nicht nur technische Implikationen, sondern sind auch wirtschaftlich relevant. Die Fähigkeit, mit kleineren Modellen kosteneffizient Spitzenleistungen zu erzielen, könnte die KI-Forschung revolutionieren.

Die Konzepte hinter dieser Entwicklung sind ebenso faszinierend wie komplex. Das Modell nutzt iterative Verbesserungsrunden, in denen es Lösungen generiert, deren Qualität bewertet und anschließend die besten Ansätze als Grundlage für die nächste Optimierungsphase verwendet. Dieser Kreislauf, kombiniert mit der Fähigkeit zur selbständigen Datengenerierung, reduziert die Abhängigkeit von externen Datenquellen und ermöglicht eine kontinuierliche Verbesserung. Eine weitere Innovation ist die Fähigkeit zur Selbstreflexion: Das Modell erkennt Fehler, korrigiert diese eigenständig und entwickelt dabei neue Lösungsstrategien – ein entscheidender Schritt in Richtung künstlicher Generalintelligenz (AGI).

Die Geschichte der Selbstverbesserung in der KI reicht bis in die 1950er Jahre zurück, als Alan Turing die Idee von Maschinen skizzierte, die aus Erfahrungen lernen können. Mit der Einführung von neuronalen Netzen und Algorithmen wie der Backpropagation in den 1980er Jahren wurde der Grundstein für die heutige Entwicklung gelegt. Der Durchbruch kam jedoch in den 2010er Jahren mit Deep Learning und der Verfügbarkeit großer Datenmengen. Heute ist die Forschung an einem Punkt, an dem die Grenzen zwischen menschlicher Intelligenz und KI verschwimmen.

Branchenkenner wie Eric Schmidt prognostizieren, dass selbstverbessernde KI-Systeme bis 2030 Realität werden könnten, wobei erste Anwendungen bereits in den nächsten drei bis fünf Jahren erwartet werden. Dies würde nicht nur technologische, sondern auch gesellschaftliche Veränderungen nach sich ziehen. KI könnte Bereiche wie Bildung, Gesundheitswesen und industrielle Automation revolutionieren, birgt jedoch auch Risiken. Insbesondere die unkontrollierte Entwicklung von RSI-Systemen könnte zu unvorhersehbarem Verhalten führen, wenn Modelle ihre Ziele nicht mit menschlichen Werten in Einklang bringen.

Abonnieren Sie den monatlichen AGI Newsletter in LinkedIn

https://www.axelfersen.com/

Musk Update

Elon Musk ist zweifellos eine der einflussreichsten Persönlichkeiten unserer Zeit – ein Mann, der Milliarden bewegt, Technologien dominiert und mit politischen Entscheidungen jongliert. Doch während seine Visionen auf den ersten Blick beeindruckend erscheinen, wirft sein ungebremster Einfluss grundlegende Fragen über Macht, Demokratie und die gerechte Verteilung technologischer Ressourcen auf.

 

Mit Projekten wie Tesla, SpaceX, Neuralink und „X“ hat Musk ein Imperium geschaffen, das nicht nur die Wirtschaft, sondern auch zentrale gesellschaftliche Infrastrukturen prägt. Insbesondere im Bereich der KI zeigt sich, wie eng die Grenzen zwischen Innovation und Machtkonzentration verlaufen. Musk erklärt selbstbewusst, dass KI bald in der Lage sein wird, jede kognitive Aufgabe besser zu bewältigen als ein Mensch – eine Technologie, deren Entwicklung er maßgeblich kontrolliert. Die Tatsache, dass KI künftig mit synthetischen Daten trainiert wird, die von denselben Unternehmen generiert werden, legt eine bedenkliche Zentralisierung offen. Wenn Wissen und Information so stark monopolisiert werden, droht ein Verlust an Vielfalt und kritischer Perspektive.

 

Auch im Bereich der Robotik verfolgt Musk ehrgeizige Pläne. Milliarden humanoider Roboter, die alle Lebensbereiche durchdringen, sollen laut seinen Aussagen die Zukunft prägen. Doch diese Zukunft wird nicht von demokratisch gewählten Gremien oder der Gesellschaft gestaltet, sondern von einem Mann, der seine Vorstellungen als alternativlos präsentiert. Wenn ein einzelnes Unternehmen die Produktion und den Einsatz solcher Technologien dominiert, verschärft das die bestehende Ungleichheit. Es stellt sich die Frage, wem diese Technologien wirklich dienen werden: Der Allgemeinheit oder den Interessen eines milliardenschweren Oligarchen?

 

Seine Pläne zur Besiedlung des Mars sind ein weiteres Beispiel. Musk inszeniert sich als Retter der Menschheit, der eine autarke Kolonie auf dem Roten Planeten schaffen will. Doch was hier als Fortschritt verkauft wird, offenbart vor allem, wie sehr die Interessen privater Akteure die globale Debatte um die Nutzung des Weltraums dominieren. Anstatt über demokratische und internationale Abkommen für den Weltraum nachzudenken, wird die Zukunft der Menschheit auf einem anderen Planeten zu einem weiteren Feld für privatwirtschaftliche Machtspiele.

 

Neuralink, Musks Vorstoß in die Neurotechnologie, wirft ähnliche Fragen auf. Während er die Vorteile für Menschen mit Behinderungen betont, birgt die Idee einer direkten Verbindung zwischen Gehirn und Technologie auch erhebliche Gefahren. Die Konzentration solcher Technologien in den Händen eines Unternehmens eröffnet die Möglichkeit von Überwachung und Kontrolle, deren Ausmaß die dystopischsten Science-Fiction-Szenarien übertrifft. Wer garantiert, dass diese Technologien nicht missbraucht werden, um gesellschaftliche Machtverhältnisse weiter zu zementieren?

 

Musks Einfluss geht jedoch weit über seine Technologien hinaus. Mit „X“, seiner Plattform für „kollektives Bewusstsein“, schafft er eine Infrastruktur, die als zentrale Quelle für Wahrheit dienen soll. Doch Wahrheit in den Händen eines Einzelnen – oder eines privatwirtschaftlich gesteuerten Algorithmus – ist keine Wahrheit, sondern Machtinstrument. Musk selbst hat bereits gezeigt, wie er durch algorithmische Eingriffe die Wahrnehmung auf seiner Plattform steuert. Dies ist kein Beitrag zur Meinungsfreiheit, sondern eine neue Form der digitalen Kontrolle.

 

Hinzu kommt Musks zunehmender Einfluss auf die Politik. Seine engen Verbindungen zu Entscheidungsträgern und seine Bereitschaft, staatliche Regulierungen zu umgehen, machen ihn zu einer Bedrohung für demokratische Prozesse. Musks Forderungen nach weniger Regulierung sind dabei nicht im Interesse der Allgemeinheit, sondern ein Freifahrtschein für die weitere Expansion seiner Macht. Er nutzt seine Plattformen, um politischen Druck auszuüben, und stellt sich zugleich als Verteidiger der Meinungsfreiheit dar – ein Widerspruch, der in einer demokratischen Gesellschaft nicht ignoriert werden darf.

 

Elon Musk symbolisiert die gefährliche Verbindung von Kapital, Technologie und Politik. Sein Modell des Fortschritts basiert auf der Konzentration von Ressourcen und Entscheidungsmacht, die weder kontrolliert noch demokratisch legitimiert ist. Es ist höchste Zeit, dass wir uns als Gesellschaft fragen, ob wir bereit sind, unsere Zukunft in die Hände eines Mannes zu legen, dessen Visionen keine Grenzen kennen – oder ob wir Technologien und Innovationen zurück in den Dienst der Allgemeinheit stellen wollen. Die Frage ist nicht, ob Musk beeindruckt, sondern ob wir seine Macht akzeptieren können, ohne unsere Werte zu opfern.

Abonnieren Sie den monatlichen AGI Newsletter in LinkedIn

https://www.axelfersen.com/

Das nächste Problem: META und die Hassrede

Die Plattformen von Meta, insbesondere Facebook und Instagram, stehen seit Jahren im Fokus der Kritik, da sie als Katalysatoren für die Verbreitung von Hassrede und die daraus resultierende gesellschaftliche Polarisierung gelten. Deutsche Medienbeobachter heben hervor, dass die unzureichende Moderation solcher Inhalte nicht nur zu Beleidigungen führt, sondern auch das gesellschaftliche Klima nachhaltig negativ beeinflusst. 

Hasskommentare im Internet sind ein wachsendes Problem. Laut einer Studie des Instituts für Demokratie und Zivilgesellschaft haben mehr als 80 Prozent der Teilnehmer Hate Speech im Netz gesehen, jede dritte Person wurde selbst beleidigt, und weit über 10 Prozent wurde Gewalt angedroht. Diese Zahlen verdeutlichen die allgegenwärtige Präsenz von Hassrede auf Plattformen wie Facebook und Instagram.

 

Die Moderation von Inhalten durch Meta wird häufig als unzureichend und inkonsistent kritisiert. Automatisierte Systeme erkennen oft den Kontext von Beiträgen nicht, wodurch harmlose Inhalte gelöscht und tatsächliche Hassrede unbeachtet bleiben kann. Matthias C. Kettemann, Forschungsprogrammleiter des Projekts „Ethik der Digitalisierung“, betont: „KI ist schwach darin, sinnerfassend Texte zu verstehen. Subtilen Humor, Slang oder selbstermächtigte Sprache kann sie nicht begreifen. Sie erkennt den Beschimpfungskontext nicht.“ 

 

Die Verbreitung von Hassrede trägt maßgeblich zur gesellschaftlichen Polarisierung bei. Beleidigungen und Schmähungen im Internet führen nicht nur zu individuellen Verletzungen, sondern fördern auch die Spaltung der Gesellschaft. Tobias Schmid, Direktor der Landesmedienanstalt NRW, erklärt: „Erschütternd sind die Alltäglichkeit und Beliebigkeit, mit der Hass benutzt wird. Hier findet eine Entgrenzung statt.“. 

In Deutschland herrscht ein breiter Konsens zur Eindämmung von Hassrede. In den USA jedoch schlägt man nun den entgegengesetzten Weg ein. Mark Zuckerberg folgt jetzt dem Beispiel von X (ehemals Twitter) und anderen US-amerikanischen sozialen Medien. Alles deutet auf eine weitere Stufe der verbalen Verrohung hin, die dort häufig auch in Waffengewalt mündet.

Abonnieren Sie den monatlichen AGI Newsletter in LinkedIn

https://www.axelfersen.com/

Der Sprung von ChatGPT o1 zu o3

Im Kern basiert o3 auf einer weiterentwickelten Transformer-Architektur, die mit modernsten Reinforcement-Learning-Techniken kombiniert wurde. Diese Technologien ermöglichen eine präzisere Sprachverarbeitung und eine wesentlich höhere Kontextualisierung, wodurch das Modell in der Lage ist, komplexe Anfragen effizient zu bearbeiten. Im Vergleich zu seinen Vorgängern, o1 und o2, zeigte o3 beeindruckende Fortschritte in den Bereichen mathematisches Denken, wissenschaftliche Analyse und Programmierung. Beispielsweise erzielte o3 auf der AIME 2024 einen herausragenden Score von 96,7 %, verglichen mit den 83,3 % von o1. In Codierungsaufgaben wie dem Codeforces-Wettbewerb erreichte o3 einen Score von 2727, ein signifikanter Sprung von den 1891 Punkten des Vorgängermodells.

 

Diese Leistungssteigerungen sind das Ergebnis eines zweistufigen Trainingsprozesses, der mit Supervised Fine-Tuning beginnt und anschließend mit Reinforcement Learning fortgesetzt wird. Während des Trainings wird das Modell darauf optimiert, nicht nur relevante, sondern auch qualitativ hochwertige Antworten zu generieren. Dabei zeigt sich, dass o3 nicht nur schneller lernt, sondern auch menschlichere und kontextuell passendere Antworten liefert.

 

Ein weiterer bedeutender Schritt nach vorn ist die Fähigkeit von o3, in verschiedenen Anwendungen hervorragende Ergebnisse zu erzielen. Von automatisierten Kundendiensten über akademische Unterstützung bis hin zur kreativen Inhaltsgenerierung – o3 zeigt, wie vielseitig und leistungsstark KI-Modelle geworden sind. Die Integration in Plattformen wie Xcode oder Notion verdeutlicht, wie KI den Workflow in Unternehmen und bei Einzelpersonen effizienter gestalten kann.

 

Trotz dieser Errungenschaften ist o3 nicht frei von Herausforderungen. Die hohen Anforderungen an Rechenleistung und Ressourcen erschweren eine breite Skalierung und werfen Fragen zur Energieeffizienz auf. Zudem gibt es ethische Bedenken, insbesondere im Hinblick auf Bias und die Verbreitung von Fehlinformationen. OpenAI hat begonnen, diese Herausforderungen anzugehen, unter anderem durch Maßnahmen wie deliberative alignment, die sicherstellen sollen, dass Entscheidungen des Modells ethischen Prinzipien folgen.

 

Die Konkurrenz schläft ebenfalls nicht. Unternehmen wie Google und DeepSeek treiben ihre eigenen Modelle voran und versuchen, ähnliche Durchbrüche zu erzielen. Der Wettbewerb um die Vorherrschaft in der KI-Entwicklung ist intensiver denn je, wobei der Fokus zunehmend auf Effizienz, Sicherheit und ethischer Verantwortung liegt.

Abonnieren Sie den monatlichen AGI Newsletter in LinkedIn

https://www.axelfersen.com/

DeepSeek gehört nun zu den führenden KI-Modellen

DeepSeek hat sich in kürzester Zeit an die Spitze der KI-Welt katapultiert. Das 2023 in Hangzhou gegründete chinesische Unternehmen beeindruckt mit seinem neuesten Modell, DeepSeek V3, sowohl durch die rasante Entwicklungsgeschwindigkeit als auch durch die außergewöhnlichen Ergebnisse. Besonders bemerkenswert ist die Nutzung von ChatGPT zur Optimierung der Trainingsdaten.

Ein zentraler Faktor für den Kostenvorteil war die Verwendung strukturierter Anfragen bei ChatGPT während der Entwicklungsphase. DeepSeek nutzte öffentlich zugängliche Datensätze, darunter generierte Inhalte von GPT-4, um seine Modelle schneller und günstiger zu trainieren. Diese Methode ermöglichte eine steile Lernkurve und führte dazu, dass das Unternehmen innerhalb von nur zwei Monaten ein konkurrenzfähiges Modell entwickelte – trotz der US-Handelsbeschränkungen, die den Zugang zu modernster Hardware erschwerten.

Mit 671 Milliarden Parametern, von denen 37 Milliarden pro Token aktiv sind, setzt DeepSeek V3 neue Maßstäbe in Effizienz und Leistung. Das Modell wurde mit 14,8 Billionen qualitativ hochwertigen Daten trainiert und benötigte dafür lediglich 2,788 Millionen GPU-Stunden – ein Meilenstein, der durch eine innovative Kombination aus algorithmischen Ansätzen und hardwareseitiger Optimierung erreicht wurde.

Besonders hervorzuheben ist der Ansatz, strukturierte Anfragen bei ChatGPT einzusetzen, um die Modellentwicklung erheblich zu beschleunigen. Dies reduzierte nicht nur die Entwicklungszeit, sondern auch die Kosten, die mit lediglich 5,576 Millionen USD außergewöhnlich niedrig blieben. Modelle vergleichbarer Größe und Leistung erfordern oft das Zwei- bis Dreifache an Ressourcen.

Die Architektur von DeepSeek V3 basiert auf Multi-Head Latent Attention (MLA) und der DeepSeekMoE-Struktur, die sowohl eine effiziente Verarbeitung als auch kostengünstiges Training ermöglichen. Eine wegweisende Neuerung ist die auxiliary-loss-freie Strategie, die eine gleichmäßige Lastverteilung erreicht, ohne die Modellleistung zu beeinträchtigen. Dies spiegelt sich in beeindruckenden Benchmark-Ergebnissen wider: DeepSeek V3 übertrifft andere Open-Source-Modelle in Bereichen wie mathematisches Denken, Programmierung und sprachübergreifendes Wissen.

Ein weiterer Erfolgsfaktor ist die Multi-Token Prediction, die dem Modell erlaubt, mehrere zukünftige Token simultan vorherzusagen. Dies steigert die Datenverarbeitungseffizienz erheblich. Zusätzlich trägt die Implementierung von FP8-Mixed-Precision-Training dazu bei, den Speicherbedarf und die Berechnungskosten weiter zu senken.

Von besonderer Bedeutung ist die Verbindung von Forschung und praktischer Anwendung: DeepSeek V3 wird nicht nur in der Forschung kontinuierlich verbessert, sondern auch gezielt in praxisnahen Anwendungen eingesetzt. Dieser iterative Ansatz gewährleistet einen fortlaufenden Lernprozess, der sowohl die Anpassungsfähigkeit als auch die Robustheit des Modells stärkt.

Abonnieren Sie den monatlichen AGI Newsletter in LinkedIn

https://www.axelfersen.com/