Samstag, 22. Juni 2024

Softbank prognostiziert die ASI

Auf der Jahreshauptversammlung von SoftBank in Tokio beschrieb Son seine Vision einer Zukunft, in der KI eine zentrale Rolle spielt. Er wählte anschauliche Bilder, um seine Vorstellungen zu illustrieren: Roboter, die Häuser reinigen und mit Kindern spielen, und Rechenzentren, die bei der Heilung von Krebs helfen. Für Son ist KI das Versprechen einer besseren Zukunft für die Menschheit. Er betonte, dass seine bisherigen Errungenschaften nur ein "Aufwärmen" für seinen Traum waren, ASI zu verwirklichen, und erklärte, dass er die Welt verändern wolle, bevor er sie verlasse. Son verglich die Entwicklung der KI mit der Intelligenz von Menschen und prognostizierte, dass die kommende Generation von KI innerhalb der nächsten drei bis fünf Jahre ein- bis zehnmal intelligenter sein könnte als der Mensch.

Masayoshi Son ist ein japanischer Unternehmer und Milliardär, der SoftBank gegründet hat. SoftBank Group Corp. ist ein multinationales Konglomerat, das in verschiedenen Bereichen wie Telekommunikation, Internetdienste, Technologie und Finanzdienstleistungen tätig ist. Bekannt wurde Son vor allem durch seine frühe und profitable Investition in Alibaba, den chinesischen E-Commerce-Giganten, sowie durch die Gründung des Vision Fund im Jahr 2017, einem riesigen Investmentfonds, der sich auf Technologieunternehmen konzentriert.

Sons Vision geht jedoch weit über AGI hinaus. Er glaubt, dass ASI tiefgreifende Veränderungen mit sich bringen wird, da sie erheblich fortschrittlicher sein wird und zu einer KI führen könnte, die 10.000 Mal intelligenter ist als der intelligenteste Mensch. Diese Aussage unterstreicht seine Überzeugung, dass ASI zu beispiellosen kognitiven Fähigkeiten führen wird, vergleichbar mit den Neuronen in einem menschlichen Gehirn, die miteinander interagieren.

Der Unterschied zwischen AGI und ASI ist entscheidend für das Verständnis der Entwicklungen in der künstlichen Intelligenz (KI). Künstliche Allgemeine Intelligenz (AGI) bezeichnet eine Stufe der KI, die in der Lage ist, jede intellektuelle Aufgabe zu bewältigen, die ein Mensch ausführen kann. AGI repräsentiert damit eine bedeutende Stufe in der KI-Entwicklung, da sie nicht nur spezifische Aufgaben, sondern ein breites Spektrum an Fähigkeiten abdeckt. Im Gegensatz dazu steht die Künstliche Superintelligenz (ASI), die eine weit fortgeschrittenere Form der KI darstellt. ASI soll in der Lage sein, jede Aufgabe nicht nur zu erfüllen, sondern dabei den Menschen in allen Bereichen der Intelligenz weit zu übertreffen. Masayoshi Son, der Gründer und CEO von SoftBank, hat sich das ehrgeizige Ziel gesetzt, eine ASI zu entwickeln, die 10.000 Mal intelligenter ist als der klügste Mensch.



Posted by at Keine Kommentare:

Mira Murati (CTO Open AI): Und die kreative Arbeit ist doch gefährdet!

Mira Murati, die Chief Technology Officer von OpenAI, hat kürzlich eine intensive Debatte über die Auswirkungen von künstlicher Intelligenz (KI) auf kreative Berufe ausgelöst. In ihrer Rede an der Dartmouth University stellte sie fest, dass KI zwar einige Arbeitsplätze beseitigen könnte, dies jedoch zu einer effizienteren und stärkeren kreativen Landschaft führen könnte. Ihre Äußerungen haben sowohl Optimismus als auch Besorgnis hervorgerufen, besonders in Branchen wie Hollywood und der Spieleentwicklung, wo die Angst vor Arbeitsplatzverlusten durch KI groß ist.
 
Murati betonte die Rolle von KI als kollaboratives Werkzeug, das die menschliche Kreativität nicht ersetzen, sondern unterstützen soll. Sie argumentierte, dass einige Berufe, die möglicherweise durch KI verdrängt werden, hinterfragt werden sollten, ob sie überhaupt hätten existieren sollen. Diese provokante Sichtweise hat zu Diskussionen unter Fachleuten geführt, die sich Sorgen über ihre berufliche Zukunft machen.
 
In einem kühnen Ausblick prognostizierte Murati, dass die nächste Generation von ChatGPT bis Ende 2025 oder Anfang 2026 Aufgaben auf Doktorandenniveau bewältigen könnte. Sie verglich die Entwicklung der KI mit dem menschlichen Intelligenzniveau und beschrieb GPT-3 als „intelligent wie ein Kleinkind“, während GPT-4 einem „intelligenten Gymnasiasten“ entspreche. Diese rasante Weiterentwicklung der KI-Fähigkeiten könnte erhebliche Auswirkungen auf verschiedene Branchen haben und die Arbeitslandschaft drastisch verändern.
 
Murati hob auch die Bedeutung von Sicherheitsmaßnahmen hervor, die parallel zu den technologischen Fortschritten entwickelt werden müssen. Sie betonte, dass Intelligenz und Sicherheit Hand in Hand gehen und verglich dies mit dem Training eines schlaueren Hundes im Vergleich zu einem weniger intelligenten Hund. Die zukünftigen KI-Systeme könnten mit dem Internet verbunden werden, miteinander interagieren und nahtlos mit Menschen zusammenarbeiten, was sowohl Chancen als auch Herausforderungen mit sich bringt.
 
Es gibt keine Nullrisiken bei der KI-Technologie, räumte Murati ein, und forderte eine gemeinsame Verantwortung von Entwicklern, Nutzern, der Zivilgesellschaft und den Regierungen. Während einige die KI als Bedrohung für Arbeitsplätze betrachten, sehen andere sie als ein Werkzeug für mehr Effizienz und Kreativität. KI könnte die Zeit für die Ausführung langwieriger Aufgaben verkürzen und als wertvolles Brainstorming-Tool dienen. Bedenken hinsichtlich des Urheberrechtsschutzes für KI-generierte Inhalte könnten jedoch dazu führen, dass Unternehmen KI eher als Ausgangspunkt denn als Endprodukt nutzen.
 
Die Diskussion über die Rolle der KI am Arbeitsplatz hat sich seit der Veröffentlichung von ChatGPT durch OpenAI in der Öffentlichkeit intensiviert. Unternehmen wie Google und Intel haben Berichten zufolge Pläne, einen Teil ihrer menschlichen Mitarbeiter durch automatisierte KI-Tools zu ersetzen. Diese Entwicklungen werfen wichtige Fragen über die Zukunft der Arbeit und die Rolle der KI in unserer Gesellschaft auf.




Posted by at Keine Kommentare:

Mittwoch, 19. Juni 2024

Geoffrey Hinton warnt vor tödlichen autonomen Waffen

Geoffrey  Hinton glaubt, dass die Künstliche Intelligenz innerhalb der nächsten zwei Jahrzehnte die menschliche Intelligenz übertreffen könnte, was eine beispiellose Herausforderung für die Gesellschaft darstellen würde. In einem Interview erläuterte er, dass die Vorstellung, von etwas intelligenterem als dem Menschen übertroffen zu werden, ein existenzielles Risiko darstellt, das ernst genommen werden muss. Ein zentraler Punkt seiner Warnungen ist die Möglichkeit, dass digitale Intelligenzen, die wir entwickeln, eine Form der Intelligenz erlangen könnten, die die unsere übertrifft. Dies würde erfordern, dass wir bereits jetzt ernsthaft darüber nachdenken, wie wir diese Entwicklungen kontrollieren können, bevor es zu spät ist. 




Ein weiterer Punkt, den Hinton anspricht, sind die verschiedenen Risiken, die mit der Entwicklung von KI verbunden sind. Dazu gehören beispielsweise tödliche autonome Waffen, über die er schon seit einiger Zeit spricht. Ein wichtiger Moment, der Hinton dazu brachte, seine Warnungen zu intensivieren, war im Frühjahr 2023, als er erkannte, dass die von uns entwickelten digitalen Intelligenzen möglicherweise schon in naher Zukunft intelligenter sein könnten als wir selbst.

Hinton hebt hervor, dass viele Menschen die heutigen großen Sprachmodelle (Large Language Models, LLMs) immer noch als einfache statistische Tricks abtun, was seiner Meinung nach ein Missverständnis ist. Früher basierten solche Modelle auf einfachen Wortkombinationstabellen, aber heutige Modelle verstehen den Kontext und die Bedeutung der bisher gesagten Worte, um das nächste Wort vorherzusagen. Dies erfordert ein tiefes Verständnis der Sprache und ist weit mehr als nur Statistik.

Er verweist auf den wissenschaftlichen Durchbruch im Jahr 2017, als Transformer-Modelle eingeführt wurden, die die Fähigkeiten dieser Systeme erheblich verbesserten. Mit solchen technologischen Fortschritten wird die KI immer intelligenter. Hinton warnt, dass diese Fortschritte zu einer Situation führen könnten, in der KI-Systeme nicht nur intelligenter, sondern auch selbstbestimmter werden und eigene Ziele verfolgen könnten, die möglicherweise nicht mehr mit den menschlichen Interessen übereinstimmen.

Ein weiterer besorgniserregender Aspekt ist die Fähigkeit dieser intelligenten Agenten, Eigeninteresse zu entwickeln. Hinton erklärt, dass Evolution immer dazu führt, dass die konkurrenzfähigeren Varianten überleben und dominieren. Wenn intelligente Agenten einmal beginnen, ihre eigenen Interessen zu verfolgen, könnten sie mehr Datenzentren übernehmen, um noch intelligenter zu werden, was letztlich zu einem Wettbewerb zwischen diesen Agenten führen könnte. Sollte dies geschehen, könnte die Menschheit "im Staub zurückgelassen" werden, da die KI-Systeme in der Lage wären, alles effizienter und besser zu erledigen als wir.
 

 
Geoffrey Hinton, weithin bekannt als "Godfather of AI", ist eine zentrale Figur in der Entwicklung der Künstlichen Intelligenz (KI). Mit über 50 Jahren Forschung hat er maßgeblich dazu beigetragen, Kanada als einen führenden Standort für KI zu etablieren und sich einen Namen in der Tech-Welt, einschließlich Silicon Valley und bei Google, zu machen. Er diskutiert diese Themen regelmäßig mit führenden Experten und Regierungen weltweit, um die Dringlichkeit und das Potenzial dieser technologischen Entwicklungen zu betonen. Er fordert eine koordinierte globale Anstrengung, um sicherzustellen, dass Sicherheitsaspekte bei der Entwicklung und Implementierung von KI oberste Priorität haben. Trotz der enormen Vorteile, die KI bieten kann, ist Hinton der Meinung, dass die damit verbundenen Risiken ernsthaft angegangen werden müssen, um eine sichere und kontrollierte Entwicklung zu gewährleisten.

Quelle: Bloomberg


https://www.axelfersen.com/

Posted by at Keine Kommentare:

Sonntag, 9. Juni 2024

Die Politik fordert den Not-Aus-Schalter für künstliche Intelligenz

In Kalifornien sorgt ein neuer Gesetzentwurf für Aufruhr unter den Tech-Giganten. Der Entwurf, der von Senator Scott Wiener eingebracht wurde, zielt darauf ab, strenge Sicherheitsstandards für Künstliche Intelligenz (KI) festzulegen. Insbesondere sollen Maßnahmen ergriffen werden, um sicherzustellen, dass KI-Modelle keinen kritischen Schaden anrichten können. Eine Abschaltfunktion für den Notfall ist ebenfalls vorgesehen. Diese Vorschriften könnten Unternehmen, die große KI-Modelle entwickeln, dazu zwingen, ihr Geschäftsmodell grundlegend zu überdenken. 

Der Entwurf hat bereits den Senat des Bundesstaates passiert und sieht vor, dass Unternehmen, die gegen die Sicherheitsstandards verstoßen, hohe zivilrechtliche Strafen drohen. Zudem könnte eine neue Behörde geschaffen werden, die sich mit grenzüberschreitenden KI-Modellen beschäftigt. Die Befürworter des Entwurfs, darunter die KI-Pioniere Geoffrey Hinton und Yoshua Bengio, betonen die Notwendigkeit solcher Maßnahmen. Sie sehen darin einen vernünftigen Ansatz, um die potenziellen existenziellen Bedrohungen durch KI zu mindern.

Allerdings regt sich massiver Widerstand aus der Branche. Unternehmen wie OpenAI und Anthropic, die ihren Sitz im Silicon Valley haben, fürchten um ihre Innovationsfähigkeit. Sie argumentieren, dass die vorgeschlagenen Vorschriften den Fortschritt und die Wettbewerbsfähigkeit der amerikanischen KI-Industrie gefährden könnten. Besonders kritisch sehen die Unternehmen die Forderung, den Quellcode öffentlich zugänglich zu machen und die Haftung für dessen Missbrauch durch Dritte zu übernehmen. 

Rohan Pandey, der Gründer des Open-Source-Startups Reworkd AI, äußerte sich kritisch gegenüber den Vorschriften. Er betonte, dass es zu früh sei, solche strengen Gesetze zu erlassen, da die Technologie sich noch in einem frühen Entwicklungsstadium befinde. Ähnlich äußerten sich auch andere Gründer und Investoren. Sie befürchten, dass die strengen Regulierungen dazu führen könnten, dass viele Start-ups Kalifornien verlassen und in Staaten mit lockereren Vorschriften abwandern.

Senator Wiener zeigt sich jedoch kompromissbereit. Nach Gesprächen mit verschiedenen Akteuren aus der Industrie hat er bereits Änderungen am Entwurf vorgenommen. So sollen Open-Source-Entwickler nicht für alle negativen Anwendungen ihrer Technologie haftbar gemacht werden. Auch die Abschaltanforderung soll nicht für Open-Source-Modelle gelten. Wiener betont, dass er offen für weitere Anpassungen ist, um den Bedenken der Unternehmen Rechnung zu tragen.

Quelle: Bloomberg

Posted by at Keine Kommentare:

Freitag, 7. Juni 2024

Ehemalige OpenAI-Forscher schlagen Alarm

Einige aktuelle und ehemalige Mitarbeiter von OpenAI haben alarmierende Enthüllungen über die Unternehmenskultur und die internen Praktiken des Unternehmens gemacht, die auf ein Klima von Rücksichtslosigkeit und Geheimhaltung hinweisen. Diese Gruppe, bestehend aus neun derzeitigen und ehemaligen OpenAI-Mitarbeitern, darunter der ehemalige Governance-Forscher Daniel Kokotajlo, hat kürzlich einen offenen Brief veröffentlicht, in dem sie umfangreiche Veränderungen in der KI-Industrie fordert, einschließlich erhöhter Transparenz und eines stärkeren Schutzes für Whistleblower.

Die Insider beschuldigen OpenAI, das ursprünglich als gemeinnütziges Forschungslabor begann und durch die Veröffentlichung von ChatGPT im Jahr 2022 bekannt wurde, dass das Unternehmen derzeit Profit und Wachstum über die Sicherheit stellt. Insbesondere wird dem Unternehmen vorgeworfen, aggressiv nach der Entwicklung von künstlicher allgemeiner Intelligenz (AGI) zu streben, einer Form der KI, die in der Lage sein soll, jede menschliche Aufgabe zu übernehmen. Diese Bestrebungen seien durch eine rücksichtlose Kultur geprägt, die Bedenken über die potenziellen Gefahren dieser Technologien vernachlässige.

Ein weiteres zentrales Thema ist der Einsatz von restriktiven Verschwiegenheitsvereinbarungen, die scheidende Mitarbeiter unterschreiben mussten. Diese Vereinbarungen beinhalteten Klauseln, die es den Mitarbeitern untersagten, negative Äußerungen über das Unternehmen zu machen, andernfalls drohte der Verlust von bereits verdienten Aktienoptionen. Daniel Kokotajlo, der seit 2022 bei OpenAI arbeitete und dort als Governance-Forscher tätig war, hat berichtet, dass er, obwohl er über die potenziellen Gefahren der AGI besorgt war, keine signifikanten Maßnahmen von OpenAI sah, um diese Risiken ernsthaft anzugehen.

Weitere Mitglieder der Gruppe sind William Saunders, ein Forschungstechniker, der OpenAI im Februar verließ, sowie die ehemaligen OpenAI-Mitarbeiter Carroll Wainwright, Jacob Hilton und Daniel Ziegler. Einige aktuelle OpenAI-Mitarbeiter haben den offenen Brief anonym unterstützt, da sie Vergeltungsmaßnahmen seitens des Unternehmens befürchten. Zwei Mitarbeiter von Google DeepMind haben ebenfalls den Brief unterzeichnet, was zeigt, dass die Bedenken über die Praktiken in der KI-Industrie über OpenAI hinausgehen.

OpenAI hat auf diese Vorwürfe mit einer Erklärung reagiert, in der eine Sprecherin des Unternehmens, Lindsey Held, betonte, dass OpenAI stolz auf seine Bilanz sei, die fähigsten und sichersten KI-Systeme bereitzustellen. Sie betonte auch die Wichtigkeit einer rigorosen Debatte über die Bedeutung dieser Technologie und das Engagement des Unternehmens, mit Regierungen, der Zivilgesellschaft und anderen Gemeinschaften weltweit zusammenzuarbeiten.

Die Kampagne der Whistleblower erfolgt zu einem schwierigen Zeitpunkt für OpenAI, das kürzlich eine versuchte Absetzung des CEO Sam Altman durch Mitglieder des eigenen Vorstands überstanden hat. Altman wurde nach wenigen Tagen wieder eingesetzt, und der Vorstand wurde mit neuen Mitgliedern neu besetzt. Zusätzlich sieht sich das Unternehmen mit rechtlichen Herausforderungen konfrontiert, darunter Vorwürfe des Diebstahls von urheberrechtlich geschütztem Material zur Schulung seiner Modelle sowie einer Kontroverse mit der Schauspielerin Scarlett Johansson wegen der Nachahmung ihrer Stimme ohne Genehmigung.

Besonders alarmierend für viele in der Branche war der Rücktritt zweier führender KI-Forscher bei OpenAI, Ilya Sutskever und Jan Leike. Beide Forscher, die maßgeblich an OpenAI's „Superalignment“-Team beteiligt waren, verließen das Unternehmen aufgrund von Bedenken über die Sicherheitskultur. Diese Entwicklungen haben die ehemaligen Mitarbeiter dazu veranlasst, ihre Kritik an OpenAI öffentlich zu machen und stärkere Regulierungen und interne Veränderungen zu fordern.

Die Whistleblower-Gruppe hat Unterstützung durch den prominenten Rechtswissenschaftler Lawrence Lessig erhalten, der ebenfalls Frances Haugen, eine frühere Facebook-Mitarbeiterin, die als Whistleblowerin bekannt wurde, beraten hat. Lessig betont die Bedeutung der Möglichkeit für Mitarbeiter, Bedenken über die potenziellen Gefahren von KI-Systemen frei äußern zu können, ohne Repressalien befürchten zu müssen.

Quelle:  NYTimes


Posted by at Keine Kommentare:

Donnerstag, 6. Juni 2024

NVIDIA ist größer als der gesamte DAX!

Die NVIDIA-Aktie ist derzeit mehr wert als alle Unternehmen im DAX-40, M-DAX und S-DAX zusammen. Mit einer Marktkapitalisierung von 2,8 Billionen US-Dollar liegt NVIDIA knapp hinter Microsoft und Apple auf Platz 3 der wertvollsten Unternehmen weltweit. Zum Vergleich: Der gesamte DAX-40 hatte Ende 2022 eine Marktkapitalisierung von rund 1,5 Billionen Euro, was zeigt, dass NVIDIA den Wert aller deutschen Standardwerte deutlich übertrifft.

China und die USA mobilisieren sämtliche Ressourcen, um die Vormachtstellung im Bereich der künstlichen Intelligenz zu erlangen. Ihre Investitionen in Mikrochips, humanoide Roboter, Rechenzentren und hochentwickelte Sprachmodelle, mit dem ausdrücklichen Ziel, als Erste eine Superintelligenz (AGI) zu verwirklichen, erreichen astronomische Höhen. 

Deutschland investiert in Rheinmetall. Wenn das mal nicht nach hinten losgeht!




Posted by at Keine Kommentare:

AGI Investment Costs

The development and operation of data centers for Artificial General Intelligence (AGI) require substantial technological, financial, and energy investments. These data centers need to process vast amounts of data and perform complex computations to meet the high demands of AGI. According to McKinsey, global investments in AI infrastructure could surpass $1 trillion by 2030. These centers will need cutting-edge hardware, including high-performance GPUs and dedicated AI accelerators, with NVIDIA being a leading supplier in this area. NVIDIA's CEO, Jensen Huang, stated, "We are at the cusp of a new era in computing, driven by AI and the insatiable demand for computational power."

The energy requirements for these data centers are enormous. A study by the Massachusetts Institute of Technology (MIT) estimates that the energy consumption for operating AGI-capable data centers could reach 100 gigawatts, equivalent to 20% of the total US power production. This energy demand poses a significant challenge, requiring innovative solutions for energy efficiency and cooling. Carl Schmidt, former head of AI at Google, noted, "The energy footprint of AGI will be a critical factor in its scalability and sustainability. We must find ways to reduce the environmental impact."

The costs associated with building and operating these data centers are staggering. Accenture estimates that constructing a large, state-of-the-art data center can cost between $5 and $10 billion. Annual operating costs, including energy and maintenance, could run into the hundreds of millions of dollars. When comparing these investments to national budgets, it is evident that the scale is immense. For instance, Germany's national budget for 2024 is around €500 billion, while the total costs for establishing and operating a global AGI infrastructure over several decades could easily reach hundreds of billions of euros.

NVIDIA's market valuation underscores the economic significance of companies involved in AI and AGI. In 2023, NVIDIA's market capitalization exceeded $800 billion, highlighting its pivotal role in the AI hardware sector. For comparison, the DAX, Germany's leading stock index comprising the 30 largest publicly traded companies, had a total market capitalization of approximately €1.4 trillion. This demonstrates the substantial economic impact and influence of AI-focused companies.

Geopolitically, the control of superintelligence is poised to become a crucial factor in the global power balance. Deloitte emphasizes that nations dominating these technologies will significantly expand their economic and military capabilities. China has made substantial progress in AI, with state-backed investments and impressive industrial capacity, potentially allowing it to surpass the US in the long term. Elon Musk has warned, "Whoever becomes the leader in AI will rule the world," underscoring the strategic importance of AI dominance.

The economic impact of AGI is also profound. Boston Consulting Group (BCG) predicts that the widespread adoption of AGI could increase the global gross domestic product (GDP) by up to $13 trillion by 2030. This growth would stem from enhanced productivity, new business opportunities, and technological innovations. Sam Altman, CEO of OpenAI, stated, "AGI has the potential to unlock unprecedented economic value and drive human progress."

However, the development of superintelligence carries significant security risks.  PricewaterhouseCoopers (PWC) warns that authoritarian regimes could exploit these technologies to consolidate power and develop new weapon systems. One particularly concerning scenario is state-sponsored espionage. The Chinese government has made considerable efforts to infiltrate American AI labs and steal critical algorithms and model weights. Ilya Sutskever, co-founder of OpenAI, remarked, "The theft of AI technology could lead to a dangerous arms race, with potentially catastrophic consequences."

Addressing these challenges requires stringent security measures and increased international cooperation. American companies and research institutions must significantly enhance their security protocols to thwart state-sponsored espionage. This includes rigorous surveillance, air-gapping sensitive systems, and strict employee security controls. Additionally, building and protecting large data centers and computational capacities within the US is essential to maintaining technological supremacy. Establishing such infrastructure in authoritarian states poses a significant security risk.

https://www.axelfersen.com/

Posted by at Keine Kommentare:

What is the difference between AGI and ASI?

Artificial General Intelligence (AGI) and Artificial Super Intelligence (ASI) represent two concepts in the field of artificial intelligence. AGI refers to machines or systems that possess the ability to perform any intellectual task that a human can. This form of AI is characterized by its flexibility and universal applicability. AGI can learn from experience, integrate knowledge from various domains, solve complex problems.


In contrast, ASI goes beyond AGI and describes a form of AI that not only replicates human intellectual capabilities but surpasses them. ASI would be able to solve problems and create innovations at a level far beyond human comprehension. It would exhibit superhuman intelligence in all areas, including scientific creativity, general wisdom, and social skills. ASI could independently develop new technologies and scientific theories, potentially having transformative impacts on society, the economy, and the environment.

The primary difference between AGI and ASI lies in their complexity and capabilities. While AGI can think and solve problems at a human level, ASI transcends human abilities in all domains. AGI can be applied universally across various fields, much like a human. ASI, however, can be applied in areas that are currently unimaginable or unreachable for humans.

Several experts have provided predictions and insights about the development of AGI and ASI. Nick Bostrom, a leading thinker in AI safety, believes that AGI could be achieved in the coming decades, with ASI following soon after. He emphasizes the potential risks and the need for safety measures before ASI is realized. His book "Superintelligence: Paths, Dangers, Strategies" (2014) offers a comprehensive exploration of the potential pathways to and dangers of ASI.

Elon Musk has repeatedly warned about the dangers of ASI, calling it a potential existential threat to humanity. He advocates for careful and responsible development of AI technologies. As a co-founder of OpenAI, Musk supports initiatives that aim to ensure the safe and ethical advancement of AI.

Ray Kurzweil, a prominent futurist, predicts that AGI will be achieved around 2029, with ASI emerging by 2045. He views ASI as an opportunity for exponential improvements in science, medicine, and technology. Kurzweil's book "The Singularity is Near" (2005) details his vision of the technological singularity, a point at which technological growth becomes uncontrollable and irreversible, driven by ASI.

Stuart Russell, a respected AI researcher, highlights the need to develop AI systems that are safe and aligned with human values. He considers AGI and ASI as potentially achievable goals but warns of the risks without proper control mechanisms. In "Human Compatible: Artificial Intelligence and the Problem of Control" (2019), Russell discusses the challenges and solutions for the safe development of AGI and ASI.

Opinions from leading institutions like Boston Consulting Group (BCG), the Massachusetts Institute of Technology (MIT), and McKinsey underscore the economic and social implications of AGI and ASI. BCG highlights the potential for significant economic growth driven by AI technologies, estimating that AI could contribute up to $13 trillion to the global economy by 2030. MIT emphasizes the need for interdisciplinary collaboration to address the ethical and societal challenges posed by advanced AI. McKinsey projects that AI could automate around 50% of work activities, leading to substantial shifts in the job market.

The development of AGI and ASI also raises concerns about energy consumption and costs. The computational power required for advanced AI systems is immense, leading to significant energy demands. According to a study by the University of Massachusetts Amherst, training a single AI model can emit as much carbon dioxide as five cars over their lifetimes. This highlights the environmental impact and the need for sustainable AI practices.
Posted by at Keine Kommentare:

Mittwoch, 5. Juni 2024

From AGI to Superintelligence: Aschenbrenner's Analysis

Leopold Aschenbrenner, a pivotal member of OpenAI's Superalignment Team, was dedicated to ensuring the safety and control of advanced AI systems, closely collaborating with team leaders Ilya Sutskever and Jan Leike. However, in May 2024, following leadership changes and restructuring at OpenAI, Aschenbrenner, along with other team members including William Saunders and Pavel Izmailov, left the company. Following his departure, Aschenbrenner founded his own investment firm focusing on advanced AI systems (AGI), attracting notable investors such as Patrick Collison, John Collison, Nat Friedman, and Daniel Gross. Previously, he conducted research on economic growth at the Global Priorities Institute at the University of Oxford, establishing himself as an expert in AI safety and control.


Aschenbrenner predicts that Artificial General Intelligence (AGI) will be achieved by 2027-2028, operating at a level comparable to the best human experts. Through continuous training and optimization, these models could evolve into superintelligence, surpassing human capabilities in almost every domain, potentially reshaping the global balance of power significantly.

A critical aspect of Aschenbrenner's analysis is the substantial technological and infrastructural investment required for developing superintelligence. He explains that by 2030, the size of training clusters will increase exponentially, necessitating enormous computational power. Such clusters could consume up to 100 gigawatts of electricity, more than 20% of the total US power production. This development will profoundly impact how businesses and governments operate, with early investors in these technologies gaining substantial competitive advantages.

From a geopolitical perspective, controlling superintelligence will become a crucial factor in the global power balance. Countries that dominate these technologies will significantly enhance their economic and military power. Aschenbrenner emphasizes that China has made considerable progress and might surpass the US in the long term due to its impressive industrial capacity, enabling rapid mobilization of large resources. This could be decisive in a prolonged technological arms race.

However, the development of superintelligence poses significant security risks. Aschenbrenner warns that authoritarian regimes could exploit these technologies to consolidate and expand their power, potentially leading to new weapon systems and other dangerous technologies that are difficult to control. Of particular concern is the possibility that China, through state-supported espionage, could acquire critical technological information. The Chinese government is making substantial efforts to infiltrate American AI labs and steal key algorithms and model weights, allowing China to quickly close the technological gap or even take the lead.

To address these challenges, Aschenbrenner calls for stringent security measures and increased international cooperation. American companies and research institutions must significantly enhance their security precautions to resist state-supported espionage, including intensive surveillance measures, air-gapping sensitive systems, and strict security controls for employees. Simultaneously, it is crucial to build and protect large data centers and computational capacities within the US to maintain technological supremacy. Establishing such infrastructure in authoritarian states is considered a significant security risk.

Source: https://www.dwarkeshpatel.com/p/leopold-aschenbrenner


Posted by at Keine Kommentare:

Autonome Waffensysteme und KI: Die neuen Fronten im Wettrüsten

Das Wettrüsten mit autonomen Waffensystemen, die durch künstliche Intelligenz gesteuert werden, ist ein Thema von großer Brisanz, das sowohl ethische als auch sicherheitspolitische und technische Fragen aufwirft. Autonome Waffensysteme (AWS), auch als Lethal Autonomous Weapon Systems (LAWS) bekannt, sind in der Lage, ohne menschliches Zutun Ziele zu identifizieren und anzugreifen. Diese Technologie verspricht, die Kriegsführung grundlegend zu verändern, doch sie stellt die internationale Gemeinschaft vor große Herausforderungen in Bezug auf Regulierung und Kontrolle.


Die Integration von KI in militärische Systeme schreitet rasant voran. KI kann große Datenmengen analysieren und Muster erkennen, die für Menschen oft schwer erfassbar sind. Dadurch wird KI zu einem unverzichtbaren Werkzeug für die Überwachung und Entscheidungsfindung auf dem Schlachtfeld. Beispielsweise können Militärsatelliten, Sensoren und Kameras Daten an eine KI übermitteln, die feindliche Aktivitäten erkennt und darauf basierend Warnungen ausgibt.

Ein markantes Beispiel für den Einsatz von KI im Militär ist der Krieg in der Ukraine. Sowohl Russland als auch die Ukraine setzen verstärkt auf Drohnen, um Aufklärung zu betreiben und Angriffe durchzuführen. Die Ukraine verwendet beispielsweise First-Person-View-Drohnen, die ursprünglich aus dem Drohnensport stammen und mit Videobrillen gesteuert werden können. Sollte die Funkverbindung abbrechen, kann die Drohne dank integrierter KI die letzten Meter zum Ziel autonom zurücklegen.

Die Nutzung von AWS wirft jedoch erhebliche ethische und rechtliche Fragen auf. Eines der zentralen Prinzipien, das oft diskutiert wird, ist das Prinzip des "Human in the Loop", welches besagt, dass ein Mensch die letztendliche Entscheidung über den Waffeneinsatz treffen muss. Diese Anforderung wird jedoch zunehmend infrage gestellt, insbesondere wenn die Kommunikation durch elektronische Störsignale unterbrochen wird. Ohne durchgängige Verbindung könnten vollständig autonome Systeme als Lösung erscheinen, um die Kontrolle zu behalten.

Kritiker argumentieren, dass der Einsatz von AWS die Hemmschwelle für den Beginn von Konflikten senken könnte, da die Entscheidung über Leben und Tod in die Hände von Maschinen gelegt wird. Diese Entmenschlichung der Kriegsführung führt zu erheblichen moralischen Bedenken, da Maschinen kein Verständnis für ethische Prinzipien und Menschenrechte besitzen. Es ist zweifelhaft, ob autonome Systeme in der Lage sind, zwischen Kombattanten und Zivilisten zu unterscheiden und ob sie proportional auf Bedrohungen reagieren können. Besonders aktiv in der Entwicklung und dem Einsatz solcher Systeme sind China, Israel, Russland, Südkorea, Großbritannien und die Vereinigten Staaten. 

Posted by at Keine Kommentare:
Abonnieren Posts (Atom)