Das hier ist eine Zusammenfassung des Podcasts von Dwarkesh Patel mit Sholto Douglas und Trenton Bricken mit dem Titel „How to Build & Understand GPT-7's Mind“ vom 28. März 2024. Sholto, bekannt für seine entscheidende Rolle hinter dem Erfolg von Gemini, und Trenton, dessen Arbeit bei Anthropic im Bereich der mechanistischen Interpretierbarkeit bahnbrechend ist, haben jeweils eine Vision, die den Rahmen dessen sprengt, was wir gemeinhin als Möglichkeiten der KI verstehen.
Der Traum von künstlicher allgemeiner Intelligenz (AGI) ist so alt wie die KI-Forschung selbst und wird oft als der Heilige Gral der Technologie betrachtet. Die Entwicklung von AGI würde eine Form künstlicher Intelligenz bedeuten, die das menschliche Denken in seiner Allgemeinheit und Anpassungsfähigkeit gleichkommen oder sogar übertreffen könnte. Was jedoch noch futuristisch klingen mag, wird durch aktuelle Fortschritte in der Technologie und die Investitionen von Unternehmen und Regierungen immer greifbarer. Dieser Artikel wird einen Blick darauf werfen, was es braucht, um AGI zu erreichen und welche Pläne für die nahe Zukunft, speziell bis 2030, auf der Agenda stehen.
Die Finanzierung spielt eine entscheidende Rolle für die Beschleunigung der AGI-Entwicklung. Man denke nur an Projekte wie das hypothetische Stargate-Datenzentrum, das bis zu 100 Milliarden US-Dollar kosten könnte. Um solche Summen aufzubringen, sind neben den Investitionen von Privatunternehmen auch staatliche Finanzierungen und internationale Konsortien denkbar. In den nächsten Jahren könnten solche Investitionen exponentiell ansteigen, um die notwendige Rechenleistung zur Verfügung zu stellen, die für die Entwicklung und das Training von AGI-Modellen erforderlich ist.
Eine weitere wesentliche Komponente sind die Mikrochips und Hardware, die die Grundlage für die fortschrittlichen Berechnungen bilden, die AGI erfordert. Hier wird bis 2030 mit signifikanten Fortschritten gerechnet, von spezialisierten KI-Chips, die energieeffizienter und leistungsfähiger sind, bis hin zu möglicherweise revolutionären neuen Ansätzen in der Quanteninformatik.
In Bezug auf Datenzentren könnte sich der Trend fortsetzen, dass große Tech-Unternehmen ihre Datenzentren in die Nähe von Kernkraftwerken verlegen, um direkten Zugang zu hocheffizienter und möglicherweise nachhaltiger Energie zu haben. Energieeffizienz und die Fähigkeit, die enormen Datenmengen zu verarbeiten, die für das Training von AGI-Modellen erforderlich sind, werden wahrscheinlich Schlüsselthemen sein, die durch neue Architekturdesigns und Kühltechnologien angegangen werden müssen.
Was die Modelle selbst betrifft, wird erwartet, dass sich der Schwerpunkt von der Vergrößerung der Modelle auf die Verfeinerung der Architekturen und die Effizienz der Algorithmen verlagert. Die Forschung konzentriert sich bereits auf Mechanismen wie in-context learning, wo Modelle durch die Betrachtung von langen Kontexten (oft Millionen von Tokens) schnell und effizient lernen können, ähnlich einem Menschen, der eine neue Sprache durch Immersion lernt. Bis 2030 könnten solche Mechanismen weit verfeinert und in der Lage sein, AGI-Modelle zu schaffen, die sich selbst beibringen, eine Vielzahl von Aufgaben auszuführen, ohne dass sie spezifisch dafür trainiert wurden.
Der Fortschritt auf dem Weg zu AGI wird wahrscheinlich auch von einem tieferen Verständnis der Mechanik des Lernens selbst geprägt sein. Forschungen, wie sie bei Anthropic im Bereich der mechanistischen Interpretierbarkeit betrieben werden, könnten Aufschluss darüber geben, wie KI-Modelle Informationen verarbeiten und daraus lernen, was wiederum zu effektiveren Trainingsmethoden führen könnte.
Vor diesem Hintergrund ist es wahrscheinlich, dass bis 2023 erste Prototypen von AGI-Modellen auftauchen könnten, die einfache Aufgaben ausführen, die ein breites Verständnis erfordern. Bis 2025 könnten diese Modelle komplexere Aufgaben übernehmen, wie die Durchführung wissenschaftlicher Forschung oder das Management von Unternehmen. Bis 2027 könnte AGI in der Lage sein, nahezu alle menschlichen Aufgaben zu übernehmen, was sowohl die Wirtschaft als auch die Gesellschaft grundlegend verändern würde. Und bis 2030 könnte AGI die Grundlage für eine neue Ära der Technologie bilden.
