Axel Fersen Blog

Today, a coalition of major technology firms unveiled an ambitious initiative titled "Project Stargate," committing an unprecedented $500 billion investment to advance artificial intelligence (AI) infrastructure across the United States. This initiative, spearheaded by prominent industry leaders including Oracle, OpenAI, and SoftBank, aims to position the United States as a global frontrunner in AI development by addressing critical local challenges such as supply chain vulnerabilities and deficiencies in digital infrastructure. The scale of this commitment reflects a significant shift in technological and economic priorities, driven by the growing corporate interest in AI tools following the success of applications like ChatGPT in late 2022. Forecasts suggest that U.S. spending on AI could reach $100 billion by 2025, with global investment likely to surpass $200 billion within the same period, underscoring the transformative potential of AI technologies for various industrie...

Recursive Self-Improvement (RSI) beschreibt die Fähigkeit einer Künstlichen Intelligenz (KI), ihre Algorithmen autonom zu analysieren, zu optimieren und weiterzuentwickeln. Diese Eigenschaft birgt das Potenzial für exponentiellen Fortschritt, allerdings auch eine Reihe tiefgreifender Herausforderungen für Gesellschaft, Philosophie und Sicherheit. RSI basiert auf dem Konzept, dass ein System in der Lage ist, ohne menschliches Eingreifen effizientere Prozesse zu schaffen, was zu einer Beschleunigung des technologischen Fortschritts führen kann. Eine zentrale Herausforderung besteht in der Zielfunktion, die eine solche KI definiert. Im Unterschied zu menschlichem Handeln, das von moralischen, sozialen und kulturellen Kontexten geprägt ist, agiert eine RSI-KI rein algorithmisch. Sie optimiert ihre Parameter kompromisslos, ohne Rücksicht auf unbeabsichtigte Nebenwirkungen. Dies birgt die Gefahr des sogenannten Instrumentalismus, bei dem der Zweck alle Mittel heiligt. Philosophisch betrachte...

Die Vision einer KI, die sich selbstständig verbessert, ist nicht mehr nur Science-Fiction, sondern rückt dank neuer Forschung immer näher. Modelle wie "RStar Math", entwickelt von Microsoft, demonstrieren eindrucksvoll, wie kleine Sprachmodelle (Small Language Models, SLMs) durch sogenannte Recursive Self-Improvement (RSI) ihre Fähigkeiten iterativ erweitern können. Dabei wird das klassische Paradigma, bei dem große Modelle ihr Wissen auf kleinere übertragen (Model Distillation), obsolet. Stattdessen generieren diese kleinen Modelle eigenständig hochqualitative Trainingsdaten und optimieren sich autonom. Dies geschieht durch Methoden wie Monte-Carlo-Baumsuchen und das neuartige Prozesspräferenzmodell (PPM), das korrekte Lösungsansätze priorisiert und ineffiziente ausschließt. Die Leistungsfähigkeit solcher Ansätze ist beeindruckend: In Benchmark-Tests konnte die mathematische Genauigkeit von RStar Math von 58,8 % auf 90 % gesteigert werden. Bereits in der zweiten Iteration ü...

Elon Musk ist zweifellos eine der einflussreichsten Persönlichkeiten unserer Zeit – ein Mann, der Milliarden bewegt, Technologien dominiert und mit politischen Entscheidungen jongliert. Doch während seine Visionen auf den ersten Blick beeindruckend erscheinen, wirft sein ungebremster Einfluss grundlegende Fragen über Macht, Demokratie und die gerechte Verteilung technologischer Ressourcen auf.   Mit Projekten wie Tesla, SpaceX, Neuralink und „X“ hat Musk ein Imperium geschaffen, das nicht nur die Wirtschaft, sondern auch zentrale gesellschaftliche Infrastrukturen prägt. Insbesondere im Bereich der KI zeigt sich, wie eng die Grenzen zwischen Innovation und Machtkonzentration verlaufen. Musk erklärt selbstbewusst, dass KI bald in der Lage sein wird, jede kognitive Aufgabe besser zu bewältigen als ein Mensch – eine Technologie, deren Entwicklung er maßgeblich kontrolliert. Die Tatsache, dass KI künftig mit synthetischen Daten trainiert wird, die von denselben Unternehmen generiert wer...

Die Plattformen von Meta, insbesondere Facebook und Instagram, stehen seit Jahren im Fokus der Kritik, da sie als Katalysatoren für die Verbreitung von Hassrede und die daraus resultierende gesellschaftliche Polarisierung gelten. Deutsche Medienbeobachter heben hervor, dass die unzureichende Moderation solcher Inhalte nicht nur zu Beleidigungen führt, sondern auch das gesellschaftliche Klima nachhaltig negativ beeinflusst.   Hasskommentare im Internet sind ein wachsendes Problem. Laut einer Studie des Instituts für Demokratie und Zivilgesellschaft haben mehr als 80 Prozent der Teilnehmer Hate Speech im Netz gesehen, jede dritte Person wurde selbst beleidigt, und weit über 10 Prozent wurde Gewalt angedroht. Diese Zahlen verdeutlichen die allgegenwärtige Präsenz von Hassrede auf Plattformen wie Facebook und Instagram.   Die Moderation von Inhalten durch Meta wird häufig als unzureichend und inkonsistent kritisiert. Automatisierte Systeme erkennen oft den Kontext von Beiträgen ni...

Im Kern basiert o3 auf einer weiterentwickelten Transformer-Architektur, die mit modernsten Reinforcement-Learning-Techniken kombiniert wurde. Diese Technologien ermöglichen eine präzisere Sprachverarbeitung und eine wesentlich höhere Kontextualisierung, wodurch das Modell in der Lage ist, komplexe Anfragen effizient zu bearbeiten. Im Vergleich zu seinen Vorgängern, o1 und o2, zeigte o3 beeindruckende Fortschritte in den Bereichen mathematisches Denken, wissenschaftliche Analyse und Programmierung. Beispielsweise erzielte o3 auf der AIME 2024 einen herausragenden Score von 96,7 %, verglichen mit den 83,3 % von o1. In Codierungsaufgaben wie dem Codeforces-Wettbewerb erreichte o3 einen Score von 2727, ein signifikanter Sprung von den 1891 Punkten des Vorgängermodells.   Diese Leistungssteigerungen sind das Ergebnis eines zweistufigen Trainingsprozesses, der mit Supervised Fine-Tuning beginnt und anschließend mit Reinforcement Learning fortgesetzt wird. Während des Trainings wird das ...

DeepSeek hat sich in kürzester Zeit an die Spitze der KI-Welt katapultiert. Das 2023 in Hangzhou gegründete chinesische Unternehmen beeindruckt mit seinem neuesten Modell, DeepSeek V3, sowohl durch die rasante Entwicklungsgeschwindigkeit als auch durch die außergewöhnlichen Ergebnisse. Besonders bemerkenswert ist die Nutzung von ChatGPT zur Optimierung der Trainingsdaten. Ein zentraler Faktor für den Kostenvorteil war die Verwendung strukturierter Anfragen bei ChatGPT während der Entwicklungsphase. DeepSeek nutzte öffentlich zugängliche Datensätze, darunter generierte Inhalte von GPT-4, um seine Modelle schneller und günstiger zu trainieren. Diese Methode ermöglichte eine steile Lernkurve und führte dazu, dass das Unternehmen innerhalb von nur zwei Monaten ein konkurrenzfähiges Modell entwickelte – trotz der US-Handelsbeschränkungen, die den Zugang zu modernster Hardware erschwerten. Mit 671 Milliarden Parametern, von denen 37 Milliarden pro Token aktiv sind, setzt DeepSeek V3 neue Maß...