Die Politik fordert den Not-Aus-Schalter für künstliche Intelligenz

In Kalifornien sorgt ein neuer Gesetzentwurf für Aufruhr unter den Tech-Giganten. Der Entwurf, der von Senator Scott Wiener eingebracht wurde, zielt darauf ab, strenge Sicherheitsstandards für Künstliche Intelligenz (KI) festzulegen. Insbesondere sollen Maßnahmen ergriffen werden, um sicherzustellen, dass KI-Modelle keinen kritischen Schaden anrichten können. Eine Abschaltfunktion für den Notfall ist ebenfalls vorgesehen. Diese Vorschriften könnten Unternehmen, die große KI-Modelle entwickeln, dazu zwingen, ihr Geschäftsmodell grundlegend zu überdenken. 

Der Entwurf hat bereits den Senat des Bundesstaates passiert und sieht vor, dass Unternehmen, die gegen die Sicherheitsstandards verstoßen, hohe zivilrechtliche Strafen drohen. Zudem könnte eine neue Behörde geschaffen werden, die sich mit grenzüberschreitenden KI-Modellen beschäftigt. Die Befürworter des Entwurfs, darunter die KI-Pioniere Geoffrey Hinton und Yoshua Bengio, betonen die Notwendigkeit solcher Maßnahmen. Sie sehen darin einen vernünftigen Ansatz, um die potenziellen existenziellen Bedrohungen durch KI zu mindern.

Allerdings regt sich massiver Widerstand aus der Branche. Unternehmen wie OpenAI und Anthropic, die ihren Sitz im Silicon Valley haben, fürchten um ihre Innovationsfähigkeit. Sie argumentieren, dass die vorgeschlagenen Vorschriften den Fortschritt und die Wettbewerbsfähigkeit der amerikanischen KI-Industrie gefährden könnten. Besonders kritisch sehen die Unternehmen die Forderung, den Quellcode öffentlich zugänglich zu machen und die Haftung für dessen Missbrauch durch Dritte zu übernehmen. 

Rohan Pandey, der Gründer des Open-Source-Startups Reworkd AI, äußerte sich kritisch gegenüber den Vorschriften. Er betonte, dass es zu früh sei, solche strengen Gesetze zu erlassen, da die Technologie sich noch in einem frühen Entwicklungsstadium befinde. Ähnlich äußerten sich auch andere Gründer und Investoren. Sie befürchten, dass die strengen Regulierungen dazu führen könnten, dass viele Start-ups Kalifornien verlassen und in Staaten mit lockereren Vorschriften abwandern.

Senator Wiener zeigt sich jedoch kompromissbereit. Nach Gesprächen mit verschiedenen Akteuren aus der Industrie hat er bereits Änderungen am Entwurf vorgenommen. So sollen Open-Source-Entwickler nicht für alle negativen Anwendungen ihrer Technologie haftbar gemacht werden. Auch die Abschaltanforderung soll nicht für Open-Source-Modelle gelten. Wiener betont, dass er offen für weitere Anpassungen ist, um den Bedenken der Unternehmen Rechnung zu tragen.

Quelle: Bloomberg

https://www.axelfersen.com/

Ehemalige OpenAI-Forscher schlagen Alarm

Einige aktuelle und ehemalige Mitarbeiter von OpenAI haben alarmierende Enthüllungen über die Unternehmenskultur und die internen Praktiken des Unternehmens gemacht, die auf ein Klima von Rücksichtslosigkeit und Geheimhaltung hinweisen. Diese Gruppe, bestehend aus neun derzeitigen und ehemaligen OpenAI-Mitarbeitern, darunter der ehemalige Governance-Forscher Daniel Kokotajlo, hat kürzlich einen offenen Brief veröffentlicht, in dem sie umfangreiche Veränderungen in der KI-Industrie fordert, einschließlich erhöhter Transparenz und eines stärkeren Schutzes für Whistleblower.

Die Insider beschuldigen OpenAI, das ursprünglich als gemeinnütziges Forschungslabor begann und durch die Veröffentlichung von ChatGPT im Jahr 2022 bekannt wurde, dass das Unternehmen derzeit Profit und Wachstum über die Sicherheit stellt. Insbesondere wird dem Unternehmen vorgeworfen, aggressiv nach der Entwicklung von künstlicher allgemeiner Intelligenz (AGI) zu streben, einer Form der KI, die in der Lage sein soll, jede menschliche Aufgabe zu übernehmen. Diese Bestrebungen seien durch eine rücksichtlose Kultur geprägt, die Bedenken über die potenziellen Gefahren dieser Technologien vernachlässige.

Ein weiteres zentrales Thema ist der Einsatz von restriktiven Verschwiegenheitsvereinbarungen, die scheidende Mitarbeiter unterschreiben mussten. Diese Vereinbarungen beinhalteten Klauseln, die es den Mitarbeitern untersagten, negative Äußerungen über das Unternehmen zu machen, andernfalls drohte der Verlust von bereits verdienten Aktienoptionen. Daniel Kokotajlo, der seit 2022 bei OpenAI arbeitete und dort als Governance-Forscher tätig war, hat berichtet, dass er, obwohl er über die potenziellen Gefahren der AGI besorgt war, keine signifikanten Maßnahmen von OpenAI sah, um diese Risiken ernsthaft anzugehen.

Weitere Mitglieder der Gruppe sind William Saunders, ein Forschungstechniker, der OpenAI im Februar verließ, sowie die ehemaligen OpenAI-Mitarbeiter Carroll Wainwright, Jacob Hilton und Daniel Ziegler. Einige aktuelle OpenAI-Mitarbeiter haben den offenen Brief anonym unterstützt, da sie Vergeltungsmaßnahmen seitens des Unternehmens befürchten. Zwei Mitarbeiter von Google DeepMind haben ebenfalls den Brief unterzeichnet, was zeigt, dass die Bedenken über die Praktiken in der KI-Industrie über OpenAI hinausgehen.

OpenAI hat auf diese Vorwürfe mit einer Erklärung reagiert, in der eine Sprecherin des Unternehmens, Lindsey Held, betonte, dass OpenAI stolz auf seine Bilanz sei, die fähigsten und sichersten KI-Systeme bereitzustellen. Sie betonte auch die Wichtigkeit einer rigorosen Debatte über die Bedeutung dieser Technologie und das Engagement des Unternehmens, mit Regierungen, der Zivilgesellschaft und anderen Gemeinschaften weltweit zusammenzuarbeiten.

Die Kampagne der Whistleblower erfolgt zu einem schwierigen Zeitpunkt für OpenAI, das kürzlich eine versuchte Absetzung des CEO Sam Altman durch Mitglieder des eigenen Vorstands überstanden hat. Altman wurde nach wenigen Tagen wieder eingesetzt, und der Vorstand wurde mit neuen Mitgliedern neu besetzt. Zusätzlich sieht sich das Unternehmen mit rechtlichen Herausforderungen konfrontiert, darunter Vorwürfe des Diebstahls von urheberrechtlich geschütztem Material zur Schulung seiner Modelle sowie einer Kontroverse mit der Schauspielerin Scarlett Johansson wegen der Nachahmung ihrer Stimme ohne Genehmigung.

Besonders alarmierend für viele in der Branche war der Rücktritt zweier führender KI-Forscher bei OpenAI, Ilya Sutskever und Jan Leike. Beide Forscher, die maßgeblich an OpenAI's „Superalignment“-Team beteiligt waren, verließen das Unternehmen aufgrund von Bedenken über die Sicherheitskultur. Diese Entwicklungen haben die ehemaligen Mitarbeiter dazu veranlasst, ihre Kritik an OpenAI öffentlich zu machen und stärkere Regulierungen und interne Veränderungen zu fordern.

Die Whistleblower-Gruppe hat Unterstützung durch den prominenten Rechtswissenschaftler Lawrence Lessig erhalten, der ebenfalls Frances Haugen, eine frühere Facebook-Mitarbeiterin, die als Whistleblowerin bekannt wurde, beraten hat. Lessig betont die Bedeutung der Möglichkeit für Mitarbeiter, Bedenken über die potenziellen Gefahren von KI-Systemen frei äußern zu können, ohne Repressalien befürchten zu müssen.

Quelle:  NYTimes

https://www.axelfersen.com/

NVIDIA ist größer als der gesamte DAX!

Die NVIDIA-Aktie ist derzeit mehr wert als alle Unternehmen im DAX-40, M-DAX und S-DAX zusammen. Mit einer Marktkapitalisierung von 2,8 Billionen US-Dollar liegt NVIDIA knapp hinter Microsoft und Apple auf Platz 3 der wertvollsten Unternehmen weltweit. Zum Vergleich: Der gesamte DAX-40 hatte Ende 2022 eine Marktkapitalisierung von rund 1,5 Billionen Euro, was zeigt, dass NVIDIA den Wert aller deutschen Standardwerte deutlich übertrifft.

China und die USA mobilisieren sämtliche Ressourcen, um die Vormachtstellung im Bereich der künstlichen Intelligenz zu erlangen. Ihre Investitionen in Mikrochips, humanoide Roboter, Rechenzentren und hochentwickelte Sprachmodelle, mit dem ausdrücklichen Ziel, als Erste eine Superintelligenz (AGI) zu verwirklichen, erreichen astronomische Höhen. 

Deutschland investiert in Rheinmetall. Wenn das mal nicht nach hinten losgeht!

Link Empfehlungen:

• FAZ: NVIDIA wertvoller als alle DAX-Werte zusammen
• Das Nokia Momentum der deutschen Wirtschaft
• China wird in der KI  unterschätzt

Abonnieren Sie den monatlichen AGI Newsletter in LinkedIn

https://www.axelfersen.com/

AGI Investment Costs

The development and operation of data centers for Artificial General Intelligence (AGI) require substantial technological, financial, and energy investments. These data centers need to process vast amounts of data and perform complex computations to meet the high demands of AGI. According to McKinsey, global investments in AI infrastructure could surpass $1 trillion by 2030. These centers will need cutting-edge hardware, including high-performance GPUs and dedicated AI accelerators, with NVIDIA being a leading supplier in this area. NVIDIA's CEO, Jensen Huang, stated, "We are at the cusp of a new era in computing, driven by AI and the insatiable demand for computational power."

The energy requirements for these data centers are enormous. A study by the Massachusetts Institute of Technology (MIT) estimates that the energy consumption for operating AGI-capable data centers could reach 100 gigawatts, equivalent to 20% of the total US power production. This energy demand poses a significant challenge, requiring innovative solutions for energy efficiency and cooling. Carl Schmidt, former head of AI at Google, noted, "The energy footprint of AGI will be a critical factor in its scalability and sustainability. We must find ways to reduce the environmental impact."

The costs associated with building and operating these data centers are staggering. Accenture estimates that constructing a large, state-of-the-art data center can cost between $5 and $10 billion. Annual operating costs, including energy and maintenance, could run into the hundreds of millions of dollars. When comparing these investments to national budgets, it is evident that the scale is immense. For instance, Germany's national budget for 2024 is around €500 billion, while the total costs for establishing and operating a global AGI infrastructure over several decades could easily reach hundreds of billions of euros.

NVIDIA's market valuation underscores the economic significance of companies involved in AI and AGI. In 2023, NVIDIA's market capitalization exceeded $800 billion, highlighting its pivotal role in the AI hardware sector. For comparison, the DAX, Germany's leading stock index comprising the 30 largest publicly traded companies, had a total market capitalization of approximately €1.4 trillion. This demonstrates the substantial economic impact and influence of AI-focused companies.

Geopolitically, the control of superintelligence is poised to become a crucial factor in the global power balance. Deloitte emphasizes that nations dominating these technologies will significantly expand their economic and military capabilities. China has made substantial progress in AI, with state-backed investments and impressive industrial capacity, potentially allowing it to surpass the US in the long term. Elon Musk has warned, "Whoever becomes the leader in AI will rule the world," underscoring the strategic importance of AI dominance.

The economic impact of AGI is also profound. Boston Consulting Group (BCG) predicts that the widespread adoption of AGI could increase the global gross domestic product (GDP) by up to $13 trillion by 2030. This growth would stem from enhanced productivity, new business opportunities, and technological innovations. Sam Altman, CEO of OpenAI, stated, "AGI has the potential to unlock unprecedented economic value and drive human progress."

However, the development of superintelligence carries significant security risks.  PricewaterhouseCoopers (PWC) warns that authoritarian regimes could exploit these technologies to consolidate power and develop new weapon systems. One particularly concerning scenario is state-sponsored espionage. The Chinese government has made considerable efforts to infiltrate American AI labs and steal critical algorithms and model weights. Ilya Sutskever, co-founder of OpenAI, remarked, "The theft of AI technology could lead to a dangerous arms race, with potentially catastrophic consequences."

Addressing these challenges requires stringent security measures and increased international cooperation. American companies and research institutions must significantly enhance their security protocols to thwart state-sponsored espionage. This includes rigorous surveillance, air-gapping sensitive systems, and strict employee security controls. Additionally, building and protecting large data centers and computational capacities within the US is essential to maintaining technological supremacy. Establishing such infrastructure in authoritarian states poses a significant security risk.

https://www.axelfersen.com/

What is the difference between AGI and ASI?

Artificial General Intelligence (AGI) and Artificial Super Intelligence (ASI) represent two concepts in the field of artificial intelligence. AGI refers to machines or systems that possess the ability to perform any intellectual task that a human can. This form of AI is characterized by its flexibility and universal applicability. AGI can learn from experience, integrate knowledge from various domains, solve complex problems.

In contrast, ASI goes beyond AGI and describes a form of AI that not only replicates human intellectual capabilities but surpasses them. ASI would be able to solve problems and create innovations at a level far beyond human comprehension. It would exhibit superhuman intelligence in all areas, including scientific creativity, general wisdom, and social skills. ASI could independently develop new technologies and scientific theories, potentially having transformative impacts on society, the economy, and the environment.

The primary difference between AGI and ASI lies in their complexity and capabilities. While AGI can think and solve problems at a human level, ASI transcends human abilities in all domains. AGI can be applied universally across various fields, much like a human. ASI, however, can be applied in areas that are currently unimaginable or unreachable for humans.

Several experts have provided predictions and insights about the development of AGI and ASI. Nick Bostrom, a leading thinker in AI safety, believes that AGI could be achieved in the coming decades, with ASI following soon after. He emphasizes the potential risks and the need for safety measures before ASI is realized. His book "Superintelligence: Paths, Dangers, Strategies" (2014) offers a comprehensive exploration of the potential pathways to and dangers of ASI.

Elon Musk has repeatedly warned about the dangers of ASI, calling it a potential existential threat to humanity. He advocates for careful and responsible development of AI technologies. As a co-founder of OpenAI, Musk supports initiatives that aim to ensure the safe and ethical advancement of AI.

Ray Kurzweil, a prominent futurist, predicts that AGI will be achieved around 2029, with ASI emerging by 2045. He views ASI as an opportunity for exponential improvements in science, medicine, and technology. Kurzweil's book "The Singularity is Near" (2005) details his vision of the technological singularity, a point at which technological growth becomes uncontrollable and irreversible, driven by ASI.

Stuart Russell, a respected AI researcher, highlights the need to develop AI systems that are safe and aligned with human values. He considers AGI and ASI as potentially achievable goals but warns of the risks without proper control mechanisms. In "Human Compatible: Artificial Intelligence and the Problem of Control" (2019), Russell discusses the challenges and solutions for the safe development of AGI and ASI.

Opinions from leading institutions like Boston Consulting Group (BCG), the Massachusetts Institute of Technology (MIT), and McKinsey underscore the economic and social implications of AGI and ASI. BCG highlights the potential for significant economic growth driven by AI technologies, estimating that AI could contribute up to $13 trillion to the global economy by 2030. MIT emphasizes the need for interdisciplinary collaboration to address the ethical and societal challenges posed by advanced AI. McKinsey projects that AI could automate around 50% of work activities, leading to substantial shifts in the job market.

The development of AGI and ASI also raises concerns about energy consumption and costs. The computational power required for advanced AI systems is immense, leading to significant energy demands. According to a study by the University of Massachusetts Amherst, training a single AI model can emit as much carbon dioxide as five cars over their lifetimes. This highlights the environmental impact and the need for sustainable AI practices.

https://www.axelfersen.com/

From AGI to Superintelligence: Aschenbrenner's Analysis

Leopold Aschenbrenner, a pivotal member of OpenAI's Superalignment Team, was dedicated to ensuring the safety and control of advanced AI systems, closely collaborating with team leaders Ilya Sutskever and Jan Leike. However, in May 2024, following leadership changes and restructuring at OpenAI, Aschenbrenner, along with other team members including William Saunders and Pavel Izmailov, left the company. Following his departure, Aschenbrenner founded his own investment firm focusing on advanced AI systems (AGI), attracting notable investors such as Patrick Collison, John Collison, Nat Friedman, and Daniel Gross. Previously, he conducted research on economic growth at the Global Priorities Institute at the University of Oxford, establishing himself as an expert in AI safety and control.

Aschenbrenner predicts that Artificial General Intelligence (AGI) will be achieved by 2027-2028, operating at a level comparable to the best human experts. Through continuous training and optimization, these models could evolve into superintelligence, surpassing human capabilities in almost every domain, potentially reshaping the global balance of power significantly.

A critical aspect of Aschenbrenner's analysis is the substantial technological and infrastructural investment required for developing superintelligence. He explains that by 2030, the size of training clusters will increase exponentially, necessitating enormous computational power. Such clusters could consume up to 100 gigawatts of electricity, more than 20% of the total US power production. This development will profoundly impact how businesses and governments operate, with early investors in these technologies gaining substantial competitive advantages.

From a geopolitical perspective, controlling superintelligence will become a crucial factor in the global power balance. Countries that dominate these technologies will significantly enhance their economic and military power. Aschenbrenner emphasizes that China has made considerable progress and might surpass the US in the long term due to its impressive industrial capacity, enabling rapid mobilization of large resources. This could be decisive in a prolonged technological arms race.

However, the development of superintelligence poses significant security risks. Aschenbrenner warns that authoritarian regimes could exploit these technologies to consolidate and expand their power, potentially leading to new weapon systems and other dangerous technologies that are difficult to control. Of particular concern is the possibility that China, through state-supported espionage, could acquire critical technological information. The Chinese government is making substantial efforts to infiltrate American AI labs and steal key algorithms and model weights, allowing China to quickly close the technological gap or even take the lead.

To address these challenges, Aschenbrenner calls for stringent security measures and increased international cooperation. American companies and research institutions must significantly enhance their security precautions to resist state-supported espionage, including intensive surveillance measures, air-gapping sensitive systems, and strict security controls for employees. Simultaneously, it is crucial to build and protect large data centers and computational capacities within the US to maintain technological supremacy. Establishing such infrastructure in authoritarian states is considered a significant security risk.

Source: https://www.dwarkeshpatel.com/p/leopold-aschenbrenner

https://www.axelfersen.com/

Autonome Waffensysteme und KI: Die neuen Fronten im Wettrüsten

Das Wettrüsten mit autonomen Waffensystemen, die durch künstliche Intelligenz gesteuert werden, ist ein Thema von großer Brisanz, das sowohl ethische als auch sicherheitspolitische und technische Fragen aufwirft. Autonome Waffensysteme (AWS), auch als Lethal Autonomous Weapon Systems (LAWS) bekannt, sind in der Lage, ohne menschliches Zutun Ziele zu identifizieren und anzugreifen. Diese Technologie verspricht, die Kriegsführung grundlegend zu verändern, doch sie stellt die internationale Gemeinschaft vor große Herausforderungen in Bezug auf Regulierung und Kontrolle.

Die Integration von KI in militärische Systeme schreitet rasant voran. KI kann große Datenmengen analysieren und Muster erkennen, die für Menschen oft schwer erfassbar sind. Dadurch wird KI zu einem unverzichtbaren Werkzeug für die Überwachung und Entscheidungsfindung auf dem Schlachtfeld. Beispielsweise können Militärsatelliten, Sensoren und Kameras Daten an eine KI übermitteln, die feindliche Aktivitäten erkennt und darauf basierend Warnungen ausgibt.

Ein markantes Beispiel für den Einsatz von KI im Militär ist der Krieg in der Ukraine. Sowohl Russland als auch die Ukraine setzen verstärkt auf Drohnen, um Aufklärung zu betreiben und Angriffe durchzuführen. Die Ukraine verwendet beispielsweise First-Person-View-Drohnen, die ursprünglich aus dem Drohnensport stammen und mit Videobrillen gesteuert werden können. Sollte die Funkverbindung abbrechen, kann die Drohne dank integrierter KI die letzten Meter zum Ziel autonom zurücklegen.

Die Nutzung von AWS wirft jedoch erhebliche ethische und rechtliche Fragen auf. Eines der zentralen Prinzipien, das oft diskutiert wird, ist das Prinzip des "Human in the Loop", welches besagt, dass ein Mensch die letztendliche Entscheidung über den Waffeneinsatz treffen muss. Diese Anforderung wird jedoch zunehmend infrage gestellt, insbesondere wenn die Kommunikation durch elektronische Störsignale unterbrochen wird. Ohne durchgängige Verbindung könnten vollständig autonome Systeme als Lösung erscheinen, um die Kontrolle zu behalten.

Kritiker argumentieren, dass der Einsatz von AWS die Hemmschwelle für den Beginn von Konflikten senken könnte, da die Entscheidung über Leben und Tod in die Hände von Maschinen gelegt wird. Diese Entmenschlichung der Kriegsführung führt zu erheblichen moralischen Bedenken, da Maschinen kein Verständnis für ethische Prinzipien und Menschenrechte besitzen. Es ist zweifelhaft, ob autonome Systeme in der Lage sind, zwischen Kombattanten und Zivilisten zu unterscheiden und ob sie proportional auf Bedrohungen reagieren können. Besonders aktiv in der Entwicklung und dem Einsatz solcher Systeme sind China, Israel, Russland, Südkorea, Großbritannien und die Vereinigten Staaten. 

Link Empfehlungen:

• US-amerikanische Militärs kaufen Palantir Software für den nächsten Krieg
• digitalcourage: Autonome Waffensysteme
• Ein Gedankenspiel: Der Export von Kampfrobotern
  

• Warnung vor Colossus
  

• Autonome Kampf-AGI

Abonnieren Sie den monatlichen AGI Newsletter in LinkedIn

https://www.axelfersen.com/

Von AGI zur Superintelligenz: Aschenbrenners Analyse

Leopold Aschenbrenner war ein zentrales Mitglied des Superalignment-Teams bei OpenAI, das sich der Sicherheit und Kontrolle fortschrittlicher KI-Systeme widmete. In enger Zusammenarbeit mit den Teamleitern Ilya Sutskever und Jan Leike spielte Aschenbrenner eine entscheidende Rolle in den Bemühungen des Teams. Im Mai 2024, nach Führungswechseln und Umstrukturierungen innerhalb des Unternehmens, verließ er jedoch OpenAI zusammen mit anderen Teammitgliedern, darunter William Saunders und Pavel Izmailov. Nach seinem Ausscheiden gründete Aschenbrenner seine eigene Investmentfirma, die sich auf fortschrittliche KI-Systeme (AGI) konzentriert und Investoren wie Patrick Collison, John Collison, Nat Friedman und Daniel Gross anzieht. Zuvor forschte er am Global Priorities Institute der Universität Oxford über Wirtschaftswachstum und etablierte sich als hochqualifizierter Experte für KI-Sicherheit und -Kontrolle.

Aschenbrenner prognostiziert, dass die Entwicklung der Künstlichen Allgemeinen Intelligenz (AGI) bis 2027-2028 realisiert wird. Diese AGI wird auf einem Niveau arbeiten, das mit den besten menschlichen Experten vergleichbar ist. Durch kontinuierliches Training und Optimierung können sich diese Modelle zu einer noch höheren Form der Intelligenz entwickeln, die als Superintelligenz bekannt ist. Diese Superintelligenz wird die menschlichen Fähigkeiten in fast allen Bereichen übertreffen und könnte das globale Machtgefüge erheblich verändern.

Ein kritischer Aspekt in Aschenbrenners Analyse ist die erhebliche technologische und infrastrukturelle Investition, die für die Entwicklung der Superintelligenz erforderlich ist. Er erklärt, dass die Größe der Trainingscluster bis 2030 exponentiell zunehmen wird, was enorme Rechenleistung erfordert. Ein solches Cluster könnte bis zu 100 Gigawatt Strom verbrauchen, was mehr als 20% der gesamten US-Stromproduktion entspricht. Diese Entwicklung wird tiefgreifende Auswirkungen darauf haben, wie Unternehmen und Regierungen operieren, wobei frühe Investoren in diese Technologien erhebliche Wettbewerbsvorteile erlangen werden.

Geopolitisch wird die Kontrolle über die Superintelligenz zu einem entscheidenden Faktor im globalen Machtgleichgewicht. Länder, die diese Technologien dominieren, werden ihre wirtschaftliche und militärische Macht erheblich ausbauen. Aschenbrenner betont, dass China erhebliche Fortschritte gemacht hat und langfristig die USA überholen könnte, aufgrund seiner beeindruckenden industriellen Kapazität, die eine schnelle Mobilisierung großer Ressourcen ermöglicht. Dies könnte in einem langwierigen technologischen Wettrüsten entscheidend sein.

Die Entwicklung der Superintelligenz birgt jedoch erhebliche Sicherheitsrisiken. Aschenbrenner warnt davor, dass autoritäre Regime diese Technologien nutzen könnten, um ihre Macht zu konsolidieren und auszubauen, was zu neuen Waffensystemen und anderen gefährlichen Technologien führen könnte, die schwer zu kontrollieren sind. Besonders besorgniserregend ist die Möglichkeit, dass China durch staatlich unterstützte Spionage kritische technologische Informationen erlangen könnte. Die chinesische Regierung unternimmt erhebliche Anstrengungen, um amerikanische KI-Labore zu infiltrieren und wichtige Algorithmen und Modellgewichte zu stehlen, wodurch China schnell den technologischen Abstand verringern oder sogar die Führung übernehmen könnte.

Um diesen Herausforderungen zu begegnen, fordert Aschenbrenner strenge Sicherheitsmaßnahmen und verstärkte internationale Zusammenarbeit. Amerikanische Unternehmen und Forschungseinrichtungen müssen ihre Sicherheitsvorkehrungen drastisch erhöhen, um staatlich unterstützter Spionage zu widerstehen. Dazu gehören intensive Überwachungsmaßnahmen, die physische Trennung sensibler Systeme und strenge Sicherheitskontrollen für Mitarbeiter. Gleichzeitig ist es entscheidend, große Rechenzentren und Rechenkapazitäten in den USA aufzubauen und zu schützen, um die technologische Vormachtstellung zu sichern. Die Errichtung dieser Infrastruktur in autoritären Staaten wird als erhebliches Sicherheitsrisiko betrachtet.

Source: https://www.dwarkeshpatel.com/p/leopold-aschenbrenner

https://www.axelfersen.com/

Yoshua Bengio: Ein eindringlicher Warnruf

Yoshua Bengio ist ein kanadischer Informatiker und führender Experte im Bereich der künstlichen Intelligenz (KI) und des maschinellen Lernens. Er ist Professor an der Universität von Montreal und wissenschaftlicher Direktor des Montreal Institute for Learning Algorithms (MILA). Bengio hat maßgeblich zur Entwicklung tiefer neuronaler Netzwerke beigetragen, die in Anwendungen wie Spracherkennung und Computer Vision eingesetzt werden. 2018 erhielt er zusammen mit Geoffrey Hinton und Yann LeCun den Turing Award für seine bedeutenden Beiträge zur KI-Forschung. Zudem setzt sich Bengio stark für die ethische Nutzung und Entwicklung von KI-Technologien ein, was seine Meinungen und Warnungen besonders relevant macht.

Bengio warnte kürzlich vor den Gefahren der Entwicklung superintelligenter KI-Systeme. Er betont die dringende Notwendigkeit, Methoden zu finden, um hochleistungsfähige KI zu entwickeln, die keine Bedrohung für die Menschheit darstellt. Er ist besorgt, dass wirtschaftlicher und militärischer Druck die Entwicklung von KI-Technologien beschleunigen könnte, ohne dass sichere Kontrollmethoden etabliert sind. Angesichts dieser existenziellen Bedrohung fordert Bengio massive Investitionen in die Forschung, um dieses Problem zu lösen, und sieht dies als die dringendste Herausforderung in der Informatik.

Bengios Warnung hat großes Gewicht, da sie von einem führenden Experten mit technischer Expertise und moralischer Integrität stammt. Seine Stimme ist sowohl in der wissenschaftlichen Gemeinschaft als auch in der Öffentlichkeit einflussreich. Er fordert die Entwicklung von KI-Methoden mit starken Sicherheitsgarantien und warnt, dass aktuelle Fortschritte, besonders bei großen Sprachmodellen, nicht die notwendige Sicherheit bieten und oft zu selbstsicheren und falschen Antworten führen können.

Die Dringlichkeit besteht darin, sichere und kontrollierbare KI zu entwickeln, bevor das Niveau menschlicher Intelligenz erreicht wird. Diese Herausforderung ist sowohl wissenschaftlich als auch politisch, da es entscheidend ist, zu verhindern, dass eine Einzelperson oder Gruppe eine Katastrophe auslöst oder die Macht an sich reißt, wenn die allgemeine künstliche Intelligenz (AGI) verfügbar wird. Bengios Aufruf zur Zusammenarbeit und verstärkten Forschungsanstrengungen unterstreicht die Dringlichkeit dieser Aufgabe.

Link Empfehlungen:

• The Urgent Warnings of Yoshua Bengio
• Jan Leike verlässt OpenAI
• Skalierung der KI: Aushebelung des Gesetzes des abnehmenden Grenznutzens

• Die angeblichen Grenzen der künstlichen Intelligenz

• Eric Schmidt prophezeit die AGI

Abonnieren Sie den monatlichen AGI Newsletter in LinkedIn

https://www.axelfersen.com/

The Urgent Warnings of AI Pioneer Yoshua Bengio

Yoshua Bengio is a Canadian computer scientist and one of the most prominent figures in the field of artificial intelligence (AI) and machine learning. He is a professor at the University of Montreal and the scientific director of the Montreal Institute for Learning Algorithms (MILA). Bengio has made significant contributions to the development of deep neural networks (deep learning), which are now widely used in applications such as speech recognition, computer vision, and natural language processing. In 2018, he was awarded the prestigious Turing Award alongside Geoffrey Hinton and Yann LeCun for their fundamental contributions to AI research. In addition to his scientific achievements, Bengio is deeply committed to the ethical use and development of AI technologies, which gives his opinions and warnings significant weight in both scientific and public discussions.

In a recent warning, Bengio highlighted the potential dangers associated with the development of superintelligent AI systems. He emphasizes the urgent need for society to address the question of how to develop highly capable AI that does not pose a threat to humanity. Bengio is particularly concerned that economic and military pressures could accelerate the development of AI technologies even if we have not yet developed safe control methods for these systems. He warns that human greed for power and wealth, along with competition between companies and countries, could continue to drive these dangerous technological advancements, even if regulations and treaties are put in place to mitigate the risks.

Bengio compares the situation to the film "Don't Look Up," where scientists unsuccessfully warn about a planet-destroying asteroid. He points out that there are no convincing scientific arguments that can refute scenarios predicting catastrophic outcomes from future powerful AI systems. Moreover, there is currently no known method to reliably prevent such catastrophic outcomes. Given the existential threat to humanity, Bengio calls for massive investments in research to understand and solve this problem. He views this as the most pressing challenge in computer science, one that will determine our collective well-being as a species.

This warning is particularly significant because it comes from one of the leading experts in AI research. Bengio not only has the technical expertise but also the moral integrity to realistically assess the potential risks and highlight the necessary precautions. His voice carries considerable weight in both the scientific community and the public sphere. Bengio urges that we focus on developing AI methods that offer strong safety guarantees and warns that current advancements in AI, particularly in large language models, do not provide the necessary safety as they often lead to confidently incorrect answers.

The importance of his warning lies in the urgent need to develop safe and controllable AI before reaching the level of human intelligence. This is not only a scientific challenge but also a political one, where it is crucial to ensure that no individual or group triggers a catastrophe or seizes political power when general artificial intelligence (AGI) becomes available. Bengio's call for collaboration and increased research efforts underscores the urgency and magnitude of the task ahead.

Source: https://yoshuabengio.org/

https://www.axelfersen.com/