Samstag, 22. Juni 2024

Softbank prognostiziert die ASI

Auf der Jahreshauptversammlung von SoftBank in Tokio beschrieb Son seine Vision einer Zukunft, in der KI eine zentrale Rolle spielt. Er wählte anschauliche Bilder, um seine Vorstellungen zu illustrieren: Roboter, die Häuser reinigen und mit Kindern spielen, und Rechenzentren, die bei der Heilung von Krebs helfen. Für Son ist KI das Versprechen einer besseren Zukunft für die Menschheit. Er betonte, dass seine bisherigen Errungenschaften nur ein "Aufwärmen" für seinen Traum waren, ASI zu verwirklichen, und erklärte, dass er die Welt verändern wolle, bevor er sie verlasse. Son verglich die Entwicklung der KI mit der Intelligenz von Menschen und prognostizierte, dass die kommende Generation von KI innerhalb der nächsten drei bis fünf Jahre ein- bis zehnmal intelligenter sein könnte als der Mensch.

Masayoshi Son ist ein japanischer Unternehmer und Milliardär, der SoftBank gegründet hat. SoftBank Group Corp. ist ein multinationales Konglomerat, das in verschiedenen Bereichen wie Telekommunikation, Internetdienste, Technologie und Finanzdienstleistungen tätig ist. Bekannt wurde Son vor allem durch seine frühe und profitable Investition in Alibaba, den chinesischen E-Commerce-Giganten, sowie durch die Gründung des Vision Fund im Jahr 2017, einem riesigen Investmentfonds, der sich auf Technologieunternehmen konzentriert.

Sons Vision geht jedoch weit über AGI hinaus. Er glaubt, dass ASI tiefgreifende Veränderungen mit sich bringen wird, da sie erheblich fortschrittlicher sein wird und zu einer KI führen könnte, die 10.000 Mal intelligenter ist als der intelligenteste Mensch. Diese Aussage unterstreicht seine Überzeugung, dass ASI zu beispiellosen kognitiven Fähigkeiten führen wird, vergleichbar mit den Neuronen in einem menschlichen Gehirn, die miteinander interagieren.

Der Unterschied zwischen AGI und ASI ist entscheidend für das Verständnis der Entwicklungen in der künstlichen Intelligenz (KI). Künstliche Allgemeine Intelligenz (AGI) bezeichnet eine Stufe der KI, die in der Lage ist, jede intellektuelle Aufgabe zu bewältigen, die ein Mensch ausführen kann. AGI repräsentiert damit eine bedeutende Stufe in der KI-Entwicklung, da sie nicht nur spezifische Aufgaben, sondern ein breites Spektrum an Fähigkeiten abdeckt. Im Gegensatz dazu steht die Künstliche Superintelligenz (ASI), die eine weit fortgeschrittenere Form der KI darstellt. ASI soll in der Lage sein, jede Aufgabe nicht nur zu erfüllen, sondern dabei den Menschen in allen Bereichen der Intelligenz weit zu übertreffen. Masayoshi Son, der Gründer und CEO von SoftBank, hat sich das ehrgeizige Ziel gesetzt, eine ASI zu entwickeln, die 10.000 Mal intelligenter ist als der klügste Mensch.



Posted by at Keine Kommentare:

Mira Murati (CTO Open AI): Und die kreative Arbeit ist doch gefährdet!

Mira Murati, die Chief Technology Officer von OpenAI, hat kürzlich eine intensive Debatte über die Auswirkungen von künstlicher Intelligenz (KI) auf kreative Berufe ausgelöst. In ihrer Rede an der Dartmouth University stellte sie fest, dass KI zwar einige Arbeitsplätze beseitigen könnte, dies jedoch zu einer effizienteren und stärkeren kreativen Landschaft führen könnte. Ihre Äußerungen haben sowohl Optimismus als auch Besorgnis hervorgerufen, besonders in Branchen wie Hollywood und der Spieleentwicklung, wo die Angst vor Arbeitsplatzverlusten durch KI groß ist.
 
Murati betonte die Rolle von KI als kollaboratives Werkzeug, das die menschliche Kreativität nicht ersetzen, sondern unterstützen soll. Sie argumentierte, dass einige Berufe, die möglicherweise durch KI verdrängt werden, hinterfragt werden sollten, ob sie überhaupt hätten existieren sollen. Diese provokante Sichtweise hat zu Diskussionen unter Fachleuten geführt, die sich Sorgen über ihre berufliche Zukunft machen.
 
In einem kühnen Ausblick prognostizierte Murati, dass die nächste Generation von ChatGPT bis Ende 2025 oder Anfang 2026 Aufgaben auf Doktorandenniveau bewältigen könnte. Sie verglich die Entwicklung der KI mit dem menschlichen Intelligenzniveau und beschrieb GPT-3 als „intelligent wie ein Kleinkind“, während GPT-4 einem „intelligenten Gymnasiasten“ entspreche. Diese rasante Weiterentwicklung der KI-Fähigkeiten könnte erhebliche Auswirkungen auf verschiedene Branchen haben und die Arbeitslandschaft drastisch verändern.
 
Murati hob auch die Bedeutung von Sicherheitsmaßnahmen hervor, die parallel zu den technologischen Fortschritten entwickelt werden müssen. Sie betonte, dass Intelligenz und Sicherheit Hand in Hand gehen und verglich dies mit dem Training eines schlaueren Hundes im Vergleich zu einem weniger intelligenten Hund. Die zukünftigen KI-Systeme könnten mit dem Internet verbunden werden, miteinander interagieren und nahtlos mit Menschen zusammenarbeiten, was sowohl Chancen als auch Herausforderungen mit sich bringt.
 
Es gibt keine Nullrisiken bei der KI-Technologie, räumte Murati ein, und forderte eine gemeinsame Verantwortung von Entwicklern, Nutzern, der Zivilgesellschaft und den Regierungen. Während einige die KI als Bedrohung für Arbeitsplätze betrachten, sehen andere sie als ein Werkzeug für mehr Effizienz und Kreativität. KI könnte die Zeit für die Ausführung langwieriger Aufgaben verkürzen und als wertvolles Brainstorming-Tool dienen. Bedenken hinsichtlich des Urheberrechtsschutzes für KI-generierte Inhalte könnten jedoch dazu führen, dass Unternehmen KI eher als Ausgangspunkt denn als Endprodukt nutzen.
 
Die Diskussion über die Rolle der KI am Arbeitsplatz hat sich seit der Veröffentlichung von ChatGPT durch OpenAI in der Öffentlichkeit intensiviert. Unternehmen wie Google und Intel haben Berichten zufolge Pläne, einen Teil ihrer menschlichen Mitarbeiter durch automatisierte KI-Tools zu ersetzen. Diese Entwicklungen werfen wichtige Fragen über die Zukunft der Arbeit und die Rolle der KI in unserer Gesellschaft auf.




Posted by at Keine Kommentare:

Mittwoch, 19. Juni 2024

Geoffrey Hinton warnt vor tödlichen autonomen Waffen

Geoffrey  Hinton glaubt, dass die Künstliche Intelligenz innerhalb der nächsten zwei Jahrzehnte die menschliche Intelligenz übertreffen könnte, was eine beispiellose Herausforderung für die Gesellschaft darstellen würde. In einem Interview erläuterte er, dass die Vorstellung, von etwas intelligenterem als dem Menschen übertroffen zu werden, ein existenzielles Risiko darstellt, das ernst genommen werden muss. Ein zentraler Punkt seiner Warnungen ist die Möglichkeit, dass digitale Intelligenzen, die wir entwickeln, eine Form der Intelligenz erlangen könnten, die die unsere übertrifft. Dies würde erfordern, dass wir bereits jetzt ernsthaft darüber nachdenken, wie wir diese Entwicklungen kontrollieren können, bevor es zu spät ist. 




Ein weiterer Punkt, den Hinton anspricht, sind die verschiedenen Risiken, die mit der Entwicklung von KI verbunden sind. Dazu gehören beispielsweise tödliche autonome Waffen, über die er schon seit einiger Zeit spricht. Ein wichtiger Moment, der Hinton dazu brachte, seine Warnungen zu intensivieren, war im Frühjahr 2023, als er erkannte, dass die von uns entwickelten digitalen Intelligenzen möglicherweise schon in naher Zukunft intelligenter sein könnten als wir selbst.

Hinton hebt hervor, dass viele Menschen die heutigen großen Sprachmodelle (Large Language Models, LLMs) immer noch als einfache statistische Tricks abtun, was seiner Meinung nach ein Missverständnis ist. Früher basierten solche Modelle auf einfachen Wortkombinationstabellen, aber heutige Modelle verstehen den Kontext und die Bedeutung der bisher gesagten Worte, um das nächste Wort vorherzusagen. Dies erfordert ein tiefes Verständnis der Sprache und ist weit mehr als nur Statistik.

Er verweist auf den wissenschaftlichen Durchbruch im Jahr 2017, als Transformer-Modelle eingeführt wurden, die die Fähigkeiten dieser Systeme erheblich verbesserten. Mit solchen technologischen Fortschritten wird die KI immer intelligenter. Hinton warnt, dass diese Fortschritte zu einer Situation führen könnten, in der KI-Systeme nicht nur intelligenter, sondern auch selbstbestimmter werden und eigene Ziele verfolgen könnten, die möglicherweise nicht mehr mit den menschlichen Interessen übereinstimmen.

Ein weiterer besorgniserregender Aspekt ist die Fähigkeit dieser intelligenten Agenten, Eigeninteresse zu entwickeln. Hinton erklärt, dass Evolution immer dazu führt, dass die konkurrenzfähigeren Varianten überleben und dominieren. Wenn intelligente Agenten einmal beginnen, ihre eigenen Interessen zu verfolgen, könnten sie mehr Datenzentren übernehmen, um noch intelligenter zu werden, was letztlich zu einem Wettbewerb zwischen diesen Agenten führen könnte. Sollte dies geschehen, könnte die Menschheit "im Staub zurückgelassen" werden, da die KI-Systeme in der Lage wären, alles effizienter und besser zu erledigen als wir.
 

 
Geoffrey Hinton, weithin bekannt als "Godfather of AI", ist eine zentrale Figur in der Entwicklung der Künstlichen Intelligenz (KI). Mit über 50 Jahren Forschung hat er maßgeblich dazu beigetragen, Kanada als einen führenden Standort für KI zu etablieren und sich einen Namen in der Tech-Welt, einschließlich Silicon Valley und bei Google, zu machen. Er diskutiert diese Themen regelmäßig mit führenden Experten und Regierungen weltweit, um die Dringlichkeit und das Potenzial dieser technologischen Entwicklungen zu betonen. Er fordert eine koordinierte globale Anstrengung, um sicherzustellen, dass Sicherheitsaspekte bei der Entwicklung und Implementierung von KI oberste Priorität haben. Trotz der enormen Vorteile, die KI bieten kann, ist Hinton der Meinung, dass die damit verbundenen Risiken ernsthaft angegangen werden müssen, um eine sichere und kontrollierte Entwicklung zu gewährleisten.

Quelle: Bloomberg


https://www.axelfersen.com/

Posted by at Keine Kommentare:

Sonntag, 9. Juni 2024

Die Politik fordert den Not-Aus-Schalter für künstliche Intelligenz

In Kalifornien sorgt ein neuer Gesetzentwurf für Aufruhr unter den Tech-Giganten. Der Entwurf, der von Senator Scott Wiener eingebracht wurde, zielt darauf ab, strenge Sicherheitsstandards für Künstliche Intelligenz (KI) festzulegen. Insbesondere sollen Maßnahmen ergriffen werden, um sicherzustellen, dass KI-Modelle keinen kritischen Schaden anrichten können. Eine Abschaltfunktion für den Notfall ist ebenfalls vorgesehen. Diese Vorschriften könnten Unternehmen, die große KI-Modelle entwickeln, dazu zwingen, ihr Geschäftsmodell grundlegend zu überdenken. 

Der Entwurf hat bereits den Senat des Bundesstaates passiert und sieht vor, dass Unternehmen, die gegen die Sicherheitsstandards verstoßen, hohe zivilrechtliche Strafen drohen. Zudem könnte eine neue Behörde geschaffen werden, die sich mit grenzüberschreitenden KI-Modellen beschäftigt. Die Befürworter des Entwurfs, darunter die KI-Pioniere Geoffrey Hinton und Yoshua Bengio, betonen die Notwendigkeit solcher Maßnahmen. Sie sehen darin einen vernünftigen Ansatz, um die potenziellen existenziellen Bedrohungen durch KI zu mindern.

Allerdings regt sich massiver Widerstand aus der Branche. Unternehmen wie OpenAI und Anthropic, die ihren Sitz im Silicon Valley haben, fürchten um ihre Innovationsfähigkeit. Sie argumentieren, dass die vorgeschlagenen Vorschriften den Fortschritt und die Wettbewerbsfähigkeit der amerikanischen KI-Industrie gefährden könnten. Besonders kritisch sehen die Unternehmen die Forderung, den Quellcode öffentlich zugänglich zu machen und die Haftung für dessen Missbrauch durch Dritte zu übernehmen. 

Rohan Pandey, der Gründer des Open-Source-Startups Reworkd AI, äußerte sich kritisch gegenüber den Vorschriften. Er betonte, dass es zu früh sei, solche strengen Gesetze zu erlassen, da die Technologie sich noch in einem frühen Entwicklungsstadium befinde. Ähnlich äußerten sich auch andere Gründer und Investoren. Sie befürchten, dass die strengen Regulierungen dazu führen könnten, dass viele Start-ups Kalifornien verlassen und in Staaten mit lockereren Vorschriften abwandern.

Senator Wiener zeigt sich jedoch kompromissbereit. Nach Gesprächen mit verschiedenen Akteuren aus der Industrie hat er bereits Änderungen am Entwurf vorgenommen. So sollen Open-Source-Entwickler nicht für alle negativen Anwendungen ihrer Technologie haftbar gemacht werden. Auch die Abschaltanforderung soll nicht für Open-Source-Modelle gelten. Wiener betont, dass er offen für weitere Anpassungen ist, um den Bedenken der Unternehmen Rechnung zu tragen.

Quelle: Bloomberg

Posted by at Keine Kommentare:

Freitag, 7. Juni 2024

Ehemalige OpenAI-Forscher schlagen Alarm

Einige aktuelle und ehemalige Mitarbeiter von OpenAI haben alarmierende Enthüllungen über die Unternehmenskultur und die internen Praktiken des Unternehmens gemacht, die auf ein Klima von Rücksichtslosigkeit und Geheimhaltung hinweisen. Diese Gruppe, bestehend aus neun derzeitigen und ehemaligen OpenAI-Mitarbeitern, darunter der ehemalige Governance-Forscher Daniel Kokotajlo, hat kürzlich einen offenen Brief veröffentlicht, in dem sie umfangreiche Veränderungen in der KI-Industrie fordert, einschließlich erhöhter Transparenz und eines stärkeren Schutzes für Whistleblower.

Die Insider beschuldigen OpenAI, das ursprünglich als gemeinnütziges Forschungslabor begann und durch die Veröffentlichung von ChatGPT im Jahr 2022 bekannt wurde, dass das Unternehmen derzeit Profit und Wachstum über die Sicherheit stellt. Insbesondere wird dem Unternehmen vorgeworfen, aggressiv nach der Entwicklung von künstlicher allgemeiner Intelligenz (AGI) zu streben, einer Form der KI, die in der Lage sein soll, jede menschliche Aufgabe zu übernehmen. Diese Bestrebungen seien durch eine rücksichtlose Kultur geprägt, die Bedenken über die potenziellen Gefahren dieser Technologien vernachlässige.

Ein weiteres zentrales Thema ist der Einsatz von restriktiven Verschwiegenheitsvereinbarungen, die scheidende Mitarbeiter unterschreiben mussten. Diese Vereinbarungen beinhalteten Klauseln, die es den Mitarbeitern untersagten, negative Äußerungen über das Unternehmen zu machen, andernfalls drohte der Verlust von bereits verdienten Aktienoptionen. Daniel Kokotajlo, der seit 2022 bei OpenAI arbeitete und dort als Governance-Forscher tätig war, hat berichtet, dass er, obwohl er über die potenziellen Gefahren der AGI besorgt war, keine signifikanten Maßnahmen von OpenAI sah, um diese Risiken ernsthaft anzugehen.

Weitere Mitglieder der Gruppe sind William Saunders, ein Forschungstechniker, der OpenAI im Februar verließ, sowie die ehemaligen OpenAI-Mitarbeiter Carroll Wainwright, Jacob Hilton und Daniel Ziegler. Einige aktuelle OpenAI-Mitarbeiter haben den offenen Brief anonym unterstützt, da sie Vergeltungsmaßnahmen seitens des Unternehmens befürchten. Zwei Mitarbeiter von Google DeepMind haben ebenfalls den Brief unterzeichnet, was zeigt, dass die Bedenken über die Praktiken in der KI-Industrie über OpenAI hinausgehen.

OpenAI hat auf diese Vorwürfe mit einer Erklärung reagiert, in der eine Sprecherin des Unternehmens, Lindsey Held, betonte, dass OpenAI stolz auf seine Bilanz sei, die fähigsten und sichersten KI-Systeme bereitzustellen. Sie betonte auch die Wichtigkeit einer rigorosen Debatte über die Bedeutung dieser Technologie und das Engagement des Unternehmens, mit Regierungen, der Zivilgesellschaft und anderen Gemeinschaften weltweit zusammenzuarbeiten.

Die Kampagne der Whistleblower erfolgt zu einem schwierigen Zeitpunkt für OpenAI, das kürzlich eine versuchte Absetzung des CEO Sam Altman durch Mitglieder des eigenen Vorstands überstanden hat. Altman wurde nach wenigen Tagen wieder eingesetzt, und der Vorstand wurde mit neuen Mitgliedern neu besetzt. Zusätzlich sieht sich das Unternehmen mit rechtlichen Herausforderungen konfrontiert, darunter Vorwürfe des Diebstahls von urheberrechtlich geschütztem Material zur Schulung seiner Modelle sowie einer Kontroverse mit der Schauspielerin Scarlett Johansson wegen der Nachahmung ihrer Stimme ohne Genehmigung.

Besonders alarmierend für viele in der Branche war der Rücktritt zweier führender KI-Forscher bei OpenAI, Ilya Sutskever und Jan Leike. Beide Forscher, die maßgeblich an OpenAI's „Superalignment“-Team beteiligt waren, verließen das Unternehmen aufgrund von Bedenken über die Sicherheitskultur. Diese Entwicklungen haben die ehemaligen Mitarbeiter dazu veranlasst, ihre Kritik an OpenAI öffentlich zu machen und stärkere Regulierungen und interne Veränderungen zu fordern.

Die Whistleblower-Gruppe hat Unterstützung durch den prominenten Rechtswissenschaftler Lawrence Lessig erhalten, der ebenfalls Frances Haugen, eine frühere Facebook-Mitarbeiterin, die als Whistleblowerin bekannt wurde, beraten hat. Lessig betont die Bedeutung der Möglichkeit für Mitarbeiter, Bedenken über die potenziellen Gefahren von KI-Systemen frei äußern zu können, ohne Repressalien befürchten zu müssen.

Quelle:  NYTimes


Posted by at Keine Kommentare:

Donnerstag, 6. Juni 2024

NVIDIA ist größer als der gesamte DAX!

Die NVIDIA-Aktie ist derzeit mehr wert als alle Unternehmen im DAX-40, M-DAX und S-DAX zusammen. Mit einer Marktkapitalisierung von 2,8 Billionen US-Dollar liegt NVIDIA knapp hinter Microsoft und Apple auf Platz 3 der wertvollsten Unternehmen weltweit. Zum Vergleich: Der gesamte DAX-40 hatte Ende 2022 eine Marktkapitalisierung von rund 1,5 Billionen Euro, was zeigt, dass NVIDIA den Wert aller deutschen Standardwerte deutlich übertrifft.

China und die USA mobilisieren sämtliche Ressourcen, um die Vormachtstellung im Bereich der künstlichen Intelligenz zu erlangen. Ihre Investitionen in Mikrochips, humanoide Roboter, Rechenzentren und hochentwickelte Sprachmodelle, mit dem ausdrücklichen Ziel, als Erste eine Superintelligenz (AGI) zu verwirklichen, erreichen astronomische Höhen. 

Deutschland investiert in Rheinmetall. Wenn das mal nicht nach hinten losgeht!




Posted by at Keine Kommentare:

AGI Investment Costs

The development and operation of data centers for Artificial General Intelligence (AGI) require substantial technological, financial, and energy investments. These data centers need to process vast amounts of data and perform complex computations to meet the high demands of AGI. According to McKinsey, global investments in AI infrastructure could surpass $1 trillion by 2030. These centers will need cutting-edge hardware, including high-performance GPUs and dedicated AI accelerators, with NVIDIA being a leading supplier in this area. NVIDIA's CEO, Jensen Huang, stated, "We are at the cusp of a new era in computing, driven by AI and the insatiable demand for computational power."

The energy requirements for these data centers are enormous. A study by the Massachusetts Institute of Technology (MIT) estimates that the energy consumption for operating AGI-capable data centers could reach 100 gigawatts, equivalent to 20% of the total US power production. This energy demand poses a significant challenge, requiring innovative solutions for energy efficiency and cooling. Carl Schmidt, former head of AI at Google, noted, "The energy footprint of AGI will be a critical factor in its scalability and sustainability. We must find ways to reduce the environmental impact."

The costs associated with building and operating these data centers are staggering. Accenture estimates that constructing a large, state-of-the-art data center can cost between $5 and $10 billion. Annual operating costs, including energy and maintenance, could run into the hundreds of millions of dollars. When comparing these investments to national budgets, it is evident that the scale is immense. For instance, Germany's national budget for 2024 is around €500 billion, while the total costs for establishing and operating a global AGI infrastructure over several decades could easily reach hundreds of billions of euros.

NVIDIA's market valuation underscores the economic significance of companies involved in AI and AGI. In 2023, NVIDIA's market capitalization exceeded $800 billion, highlighting its pivotal role in the AI hardware sector. For comparison, the DAX, Germany's leading stock index comprising the 30 largest publicly traded companies, had a total market capitalization of approximately €1.4 trillion. This demonstrates the substantial economic impact and influence of AI-focused companies.

Geopolitically, the control of superintelligence is poised to become a crucial factor in the global power balance. Deloitte emphasizes that nations dominating these technologies will significantly expand their economic and military capabilities. China has made substantial progress in AI, with state-backed investments and impressive industrial capacity, potentially allowing it to surpass the US in the long term. Elon Musk has warned, "Whoever becomes the leader in AI will rule the world," underscoring the strategic importance of AI dominance.

The economic impact of AGI is also profound. Boston Consulting Group (BCG) predicts that the widespread adoption of AGI could increase the global gross domestic product (GDP) by up to $13 trillion by 2030. This growth would stem from enhanced productivity, new business opportunities, and technological innovations. Sam Altman, CEO of OpenAI, stated, "AGI has the potential to unlock unprecedented economic value and drive human progress."

However, the development of superintelligence carries significant security risks.  PricewaterhouseCoopers (PWC) warns that authoritarian regimes could exploit these technologies to consolidate power and develop new weapon systems. One particularly concerning scenario is state-sponsored espionage. The Chinese government has made considerable efforts to infiltrate American AI labs and steal critical algorithms and model weights. Ilya Sutskever, co-founder of OpenAI, remarked, "The theft of AI technology could lead to a dangerous arms race, with potentially catastrophic consequences."

Addressing these challenges requires stringent security measures and increased international cooperation. American companies and research institutions must significantly enhance their security protocols to thwart state-sponsored espionage. This includes rigorous surveillance, air-gapping sensitive systems, and strict employee security controls. Additionally, building and protecting large data centers and computational capacities within the US is essential to maintaining technological supremacy. Establishing such infrastructure in authoritarian states poses a significant security risk.

https://www.axelfersen.com/

Posted by at Keine Kommentare:

What is the difference between AGI and ASI?

Artificial General Intelligence (AGI) and Artificial Super Intelligence (ASI) represent two concepts in the field of artificial intelligence. AGI refers to machines or systems that possess the ability to perform any intellectual task that a human can. This form of AI is characterized by its flexibility and universal applicability. AGI can learn from experience, integrate knowledge from various domains, solve complex problems.


In contrast, ASI goes beyond AGI and describes a form of AI that not only replicates human intellectual capabilities but surpasses them. ASI would be able to solve problems and create innovations at a level far beyond human comprehension. It would exhibit superhuman intelligence in all areas, including scientific creativity, general wisdom, and social skills. ASI could independently develop new technologies and scientific theories, potentially having transformative impacts on society, the economy, and the environment.

The primary difference between AGI and ASI lies in their complexity and capabilities. While AGI can think and solve problems at a human level, ASI transcends human abilities in all domains. AGI can be applied universally across various fields, much like a human. ASI, however, can be applied in areas that are currently unimaginable or unreachable for humans.

Several experts have provided predictions and insights about the development of AGI and ASI. Nick Bostrom, a leading thinker in AI safety, believes that AGI could be achieved in the coming decades, with ASI following soon after. He emphasizes the potential risks and the need for safety measures before ASI is realized. His book "Superintelligence: Paths, Dangers, Strategies" (2014) offers a comprehensive exploration of the potential pathways to and dangers of ASI.

Elon Musk has repeatedly warned about the dangers of ASI, calling it a potential existential threat to humanity. He advocates for careful and responsible development of AI technologies. As a co-founder of OpenAI, Musk supports initiatives that aim to ensure the safe and ethical advancement of AI.

Ray Kurzweil, a prominent futurist, predicts that AGI will be achieved around 2029, with ASI emerging by 2045. He views ASI as an opportunity for exponential improvements in science, medicine, and technology. Kurzweil's book "The Singularity is Near" (2005) details his vision of the technological singularity, a point at which technological growth becomes uncontrollable and irreversible, driven by ASI.

Stuart Russell, a respected AI researcher, highlights the need to develop AI systems that are safe and aligned with human values. He considers AGI and ASI as potentially achievable goals but warns of the risks without proper control mechanisms. In "Human Compatible: Artificial Intelligence and the Problem of Control" (2019), Russell discusses the challenges and solutions for the safe development of AGI and ASI.

Opinions from leading institutions like Boston Consulting Group (BCG), the Massachusetts Institute of Technology (MIT), and McKinsey underscore the economic and social implications of AGI and ASI. BCG highlights the potential for significant economic growth driven by AI technologies, estimating that AI could contribute up to $13 trillion to the global economy by 2030. MIT emphasizes the need for interdisciplinary collaboration to address the ethical and societal challenges posed by advanced AI. McKinsey projects that AI could automate around 50% of work activities, leading to substantial shifts in the job market.

The development of AGI and ASI also raises concerns about energy consumption and costs. The computational power required for advanced AI systems is immense, leading to significant energy demands. According to a study by the University of Massachusetts Amherst, training a single AI model can emit as much carbon dioxide as five cars over their lifetimes. This highlights the environmental impact and the need for sustainable AI practices.
Posted by at Keine Kommentare:

Mittwoch, 5. Juni 2024

From AGI to Superintelligence: Aschenbrenner's Analysis

Leopold Aschenbrenner, a pivotal member of OpenAI's Superalignment Team, was dedicated to ensuring the safety and control of advanced AI systems, closely collaborating with team leaders Ilya Sutskever and Jan Leike. However, in May 2024, following leadership changes and restructuring at OpenAI, Aschenbrenner, along with other team members including William Saunders and Pavel Izmailov, left the company. Following his departure, Aschenbrenner founded his own investment firm focusing on advanced AI systems (AGI), attracting notable investors such as Patrick Collison, John Collison, Nat Friedman, and Daniel Gross. Previously, he conducted research on economic growth at the Global Priorities Institute at the University of Oxford, establishing himself as an expert in AI safety and control.


Aschenbrenner predicts that Artificial General Intelligence (AGI) will be achieved by 2027-2028, operating at a level comparable to the best human experts. Through continuous training and optimization, these models could evolve into superintelligence, surpassing human capabilities in almost every domain, potentially reshaping the global balance of power significantly.

A critical aspect of Aschenbrenner's analysis is the substantial technological and infrastructural investment required for developing superintelligence. He explains that by 2030, the size of training clusters will increase exponentially, necessitating enormous computational power. Such clusters could consume up to 100 gigawatts of electricity, more than 20% of the total US power production. This development will profoundly impact how businesses and governments operate, with early investors in these technologies gaining substantial competitive advantages.

From a geopolitical perspective, controlling superintelligence will become a crucial factor in the global power balance. Countries that dominate these technologies will significantly enhance their economic and military power. Aschenbrenner emphasizes that China has made considerable progress and might surpass the US in the long term due to its impressive industrial capacity, enabling rapid mobilization of large resources. This could be decisive in a prolonged technological arms race.

However, the development of superintelligence poses significant security risks. Aschenbrenner warns that authoritarian regimes could exploit these technologies to consolidate and expand their power, potentially leading to new weapon systems and other dangerous technologies that are difficult to control. Of particular concern is the possibility that China, through state-supported espionage, could acquire critical technological information. The Chinese government is making substantial efforts to infiltrate American AI labs and steal key algorithms and model weights, allowing China to quickly close the technological gap or even take the lead.

To address these challenges, Aschenbrenner calls for stringent security measures and increased international cooperation. American companies and research institutions must significantly enhance their security precautions to resist state-supported espionage, including intensive surveillance measures, air-gapping sensitive systems, and strict security controls for employees. Simultaneously, it is crucial to build and protect large data centers and computational capacities within the US to maintain technological supremacy. Establishing such infrastructure in authoritarian states is considered a significant security risk.

Source: https://www.dwarkeshpatel.com/p/leopold-aschenbrenner


Posted by at Keine Kommentare:

Autonome Waffensysteme und KI: Die neuen Fronten im Wettrüsten

Das Wettrüsten mit autonomen Waffensystemen, die durch künstliche Intelligenz gesteuert werden, ist ein Thema von großer Brisanz, das sowohl ethische als auch sicherheitspolitische und technische Fragen aufwirft. Autonome Waffensysteme (AWS), auch als Lethal Autonomous Weapon Systems (LAWS) bekannt, sind in der Lage, ohne menschliches Zutun Ziele zu identifizieren und anzugreifen. Diese Technologie verspricht, die Kriegsführung grundlegend zu verändern, doch sie stellt die internationale Gemeinschaft vor große Herausforderungen in Bezug auf Regulierung und Kontrolle.


Die Integration von KI in militärische Systeme schreitet rasant voran. KI kann große Datenmengen analysieren und Muster erkennen, die für Menschen oft schwer erfassbar sind. Dadurch wird KI zu einem unverzichtbaren Werkzeug für die Überwachung und Entscheidungsfindung auf dem Schlachtfeld. Beispielsweise können Militärsatelliten, Sensoren und Kameras Daten an eine KI übermitteln, die feindliche Aktivitäten erkennt und darauf basierend Warnungen ausgibt.

Ein markantes Beispiel für den Einsatz von KI im Militär ist der Krieg in der Ukraine. Sowohl Russland als auch die Ukraine setzen verstärkt auf Drohnen, um Aufklärung zu betreiben und Angriffe durchzuführen. Die Ukraine verwendet beispielsweise First-Person-View-Drohnen, die ursprünglich aus dem Drohnensport stammen und mit Videobrillen gesteuert werden können. Sollte die Funkverbindung abbrechen, kann die Drohne dank integrierter KI die letzten Meter zum Ziel autonom zurücklegen.

Die Nutzung von AWS wirft jedoch erhebliche ethische und rechtliche Fragen auf. Eines der zentralen Prinzipien, das oft diskutiert wird, ist das Prinzip des "Human in the Loop", welches besagt, dass ein Mensch die letztendliche Entscheidung über den Waffeneinsatz treffen muss. Diese Anforderung wird jedoch zunehmend infrage gestellt, insbesondere wenn die Kommunikation durch elektronische Störsignale unterbrochen wird. Ohne durchgängige Verbindung könnten vollständig autonome Systeme als Lösung erscheinen, um die Kontrolle zu behalten.

Kritiker argumentieren, dass der Einsatz von AWS die Hemmschwelle für den Beginn von Konflikten senken könnte, da die Entscheidung über Leben und Tod in die Hände von Maschinen gelegt wird. Diese Entmenschlichung der Kriegsführung führt zu erheblichen moralischen Bedenken, da Maschinen kein Verständnis für ethische Prinzipien und Menschenrechte besitzen. Es ist zweifelhaft, ob autonome Systeme in der Lage sind, zwischen Kombattanten und Zivilisten zu unterscheiden und ob sie proportional auf Bedrohungen reagieren können. Besonders aktiv in der Entwicklung und dem Einsatz solcher Systeme sind China, Israel, Russland, Südkorea, Großbritannien und die Vereinigten Staaten. 

Posted by at Keine Kommentare:

Dienstag, 4. Juni 2024

Von AGI zur Superintelligenz: Aschenbrenners Analyse

Leopold Aschenbrenner war ein zentrales Mitglied des Superalignment-Teams bei OpenAI, das sich der Sicherheit und Kontrolle fortschrittlicher KI-Systeme widmete. In enger Zusammenarbeit mit den Teamleitern Ilya Sutskever und Jan Leike spielte Aschenbrenner eine entscheidende Rolle in den Bemühungen des Teams. Im Mai 2024, nach Führungswechseln und Umstrukturierungen innerhalb des Unternehmens, verließ er jedoch OpenAI zusammen mit anderen Teammitgliedern, darunter William Saunders und Pavel Izmailov. Nach seinem Ausscheiden gründete Aschenbrenner seine eigene Investmentfirma, die sich auf fortschrittliche KI-Systeme (AGI) konzentriert und Investoren wie Patrick Collison, John Collison, Nat Friedman und Daniel Gross anzieht. Zuvor forschte er am Global Priorities Institute der Universität Oxford über Wirtschaftswachstum und etablierte sich als hochqualifizierter Experte für KI-Sicherheit und -Kontrolle.

Aschenbrenner prognostiziert, dass die Entwicklung der Künstlichen Allgemeinen Intelligenz (AGI) bis 2027-2028 realisiert wird. Diese AGI wird auf einem Niveau arbeiten, das mit den besten menschlichen Experten vergleichbar ist. Durch kontinuierliches Training und Optimierung können sich diese Modelle zu einer noch höheren Form der Intelligenz entwickeln, die als Superintelligenz bekannt ist. Diese Superintelligenz wird die menschlichen Fähigkeiten in fast allen Bereichen übertreffen und könnte das globale Machtgefüge erheblich verändern.

Ein kritischer Aspekt in Aschenbrenners Analyse ist die erhebliche technologische und infrastrukturelle Investition, die für die Entwicklung der Superintelligenz erforderlich ist. Er erklärt, dass die Größe der Trainingscluster bis 2030 exponentiell zunehmen wird, was enorme Rechenleistung erfordert. Ein solches Cluster könnte bis zu 100 Gigawatt Strom verbrauchen, was mehr als 20% der gesamten US-Stromproduktion entspricht. Diese Entwicklung wird tiefgreifende Auswirkungen darauf haben, wie Unternehmen und Regierungen operieren, wobei frühe Investoren in diese Technologien erhebliche Wettbewerbsvorteile erlangen werden.

Geopolitisch wird die Kontrolle über die Superintelligenz zu einem entscheidenden Faktor im globalen Machtgleichgewicht. Länder, die diese Technologien dominieren, werden ihre wirtschaftliche und militärische Macht erheblich ausbauen. Aschenbrenner betont, dass China erhebliche Fortschritte gemacht hat und langfristig die USA überholen könnte, aufgrund seiner beeindruckenden industriellen Kapazität, die eine schnelle Mobilisierung großer Ressourcen ermöglicht. Dies könnte in einem langwierigen technologischen Wettrüsten entscheidend sein.

Die Entwicklung der Superintelligenz birgt jedoch erhebliche Sicherheitsrisiken. Aschenbrenner warnt davor, dass autoritäre Regime diese Technologien nutzen könnten, um ihre Macht zu konsolidieren und auszubauen, was zu neuen Waffensystemen und anderen gefährlichen Technologien führen könnte, die schwer zu kontrollieren sind. Besonders besorgniserregend ist die Möglichkeit, dass China durch staatlich unterstützte Spionage kritische technologische Informationen erlangen könnte. Die chinesische Regierung unternimmt erhebliche Anstrengungen, um amerikanische KI-Labore zu infiltrieren und wichtige Algorithmen und Modellgewichte zu stehlen, wodurch China schnell den technologischen Abstand verringern oder sogar die Führung übernehmen könnte.

Um diesen Herausforderungen zu begegnen, fordert Aschenbrenner strenge Sicherheitsmaßnahmen und verstärkte internationale Zusammenarbeit. Amerikanische Unternehmen und Forschungseinrichtungen müssen ihre Sicherheitsvorkehrungen drastisch erhöhen, um staatlich unterstützter Spionage zu widerstehen. Dazu gehören intensive Überwachungsmaßnahmen, die physische Trennung sensibler Systeme und strenge Sicherheitskontrollen für Mitarbeiter. Gleichzeitig ist es entscheidend, große Rechenzentren und Rechenkapazitäten in den USA aufzubauen und zu schützen, um die technologische Vormachtstellung zu sichern. Die Errichtung dieser Infrastruktur in autoritären Staaten wird als erhebliches Sicherheitsrisiko betrachtet.

Source: https://www.dwarkeshpatel.com/p/leopold-aschenbrenner


Posted by at Keine Kommentare:

Montag, 3. Juni 2024

Yoshua Bengio: Ein eindringlicher Warnruf

Yoshua Bengio ist ein kanadischer Informatiker und führender Experte im Bereich der künstlichen Intelligenz (KI) und des maschinellen Lernens. Er ist Professor an der Universität von Montreal und wissenschaftlicher Direktor des Montreal Institute for Learning Algorithms (MILA). Bengio hat maßgeblich zur Entwicklung tiefer neuronaler Netzwerke beigetragen, die in Anwendungen wie Spracherkennung und Computer Vision eingesetzt werden. 2018 erhielt er zusammen mit Geoffrey Hinton und Yann LeCun den Turing Award für seine bedeutenden Beiträge zur KI-Forschung. Zudem setzt sich Bengio stark für die ethische Nutzung und Entwicklung von KI-Technologien ein, was seine Meinungen und Warnungen besonders relevant macht.

Bengio warnte kürzlich vor den Gefahren der Entwicklung superintelligenter KI-Systeme. Er betont die dringende Notwendigkeit, Methoden zu finden, um hochleistungsfähige KI zu entwickeln, die keine Bedrohung für die Menschheit darstellt. Er ist besorgt, dass wirtschaftlicher und militärischer Druck die Entwicklung von KI-Technologien beschleunigen könnte, ohne dass sichere Kontrollmethoden etabliert sind. Angesichts dieser existenziellen Bedrohung fordert Bengio massive Investitionen in die Forschung, um dieses Problem zu lösen, und sieht dies als die dringendste Herausforderung in der Informatik.

Bengios Warnung hat großes Gewicht, da sie von einem führenden Experten mit technischer Expertise und moralischer Integrität stammt. Seine Stimme ist sowohl in der wissenschaftlichen Gemeinschaft als auch in der Öffentlichkeit einflussreich. Er fordert die Entwicklung von KI-Methoden mit starken Sicherheitsgarantien und warnt, dass aktuelle Fortschritte, besonders bei großen Sprachmodellen, nicht die notwendige Sicherheit bieten und oft zu selbstsicheren und falschen Antworten führen können.

Die Dringlichkeit besteht darin, sichere und kontrollierbare KI zu entwickeln, bevor das Niveau menschlicher Intelligenz erreicht wird. Diese Herausforderung ist sowohl wissenschaftlich als auch politisch, da es entscheidend ist, zu verhindern, dass eine Einzelperson oder Gruppe eine Katastrophe auslöst oder die Macht an sich reißt, wenn die allgemeine künstliche Intelligenz (AGI) verfügbar wird. Bengios Aufruf zur Zusammenarbeit und verstärkten Forschungsanstrengungen unterstreicht die Dringlichkeit dieser Aufgabe.

Posted by at Keine Kommentare:

The Urgent Warnings of AI Pioneer Yoshua Bengio

Yoshua Bengio is a Canadian computer scientist and one of the most prominent figures in the field of artificial intelligence (AI) and machine learning. He is a professor at the University of Montreal and the scientific director of the Montreal Institute for Learning Algorithms (MILA). Bengio has made significant contributions to the development of deep neural networks (deep learning), which are now widely used in applications such as speech recognition, computer vision, and natural language processing. In 2018, he was awarded the prestigious Turing Award alongside Geoffrey Hinton and Yann LeCun for their fundamental contributions to AI research. In addition to his scientific achievements, Bengio is deeply committed to the ethical use and development of AI technologies, which gives his opinions and warnings significant weight in both scientific and public discussions.

In a recent warning, Bengio highlighted the potential dangers associated with the development of superintelligent AI systems. He emphasizes the urgent need for society to address the question of how to develop highly capable AI that does not pose a threat to humanity. Bengio is particularly concerned that economic and military pressures could accelerate the development of AI technologies even if we have not yet developed safe control methods for these systems. He warns that human greed for power and wealth, along with competition between companies and countries, could continue to drive these dangerous technological advancements, even if regulations and treaties are put in place to mitigate the risks.

Bengio compares the situation to the film "Don't Look Up," where scientists unsuccessfully warn about a planet-destroying asteroid. He points out that there are no convincing scientific arguments that can refute scenarios predicting catastrophic outcomes from future powerful AI systems. Moreover, there is currently no known method to reliably prevent such catastrophic outcomes. Given the existential threat to humanity, Bengio calls for massive investments in research to understand and solve this problem. He views this as the most pressing challenge in computer science, one that will determine our collective well-being as a species.

This warning is particularly significant because it comes from one of the leading experts in AI research. Bengio not only has the technical expertise but also the moral integrity to realistically assess the potential risks and highlight the necessary precautions. His voice carries considerable weight in both the scientific community and the public sphere. Bengio urges that we focus on developing AI methods that offer strong safety guarantees and warns that current advancements in AI, particularly in large language models, do not provide the necessary safety as they often lead to confidently incorrect answers.

The importance of his warning lies in the urgent need to develop safe and controllable AI before reaching the level of human intelligence. This is not only a scientific challenge but also a political one, where it is crucial to ensure that no individual or group triggers a catastrophe or seizes political power when general artificial intelligence (AGI) becomes available. Bengio's call for collaboration and increased research efforts underscores the urgency and magnitude of the task ahead.

Source: https://yoshuabengio.org/

Posted by at Keine Kommentare:

Freitag, 31. Mai 2024

US-amerikanische Militärs kaufen Palantir Software für den nächsten Krieg

Palantir hat einen Vertrag im Wert von 480 Millionen US-Dollar mit dem US-Verteidigungsministerium für die Weiterentwicklung des "Maven Smart Systems" (MSS) abgeschlossen. Dieses KI-System wird zur Identifizierung feindlicher Systeme in Einsatzgebieten verwendet und gilt als wesentlicher Bestandteil der sogenannten "Kill-Cloud" der USA. Ziel des Maven-Systems ist es, Kommandeure und anderes Personal durch schnellere und bessere Entscheidungen zu unterstützen sowie die Effizienz und Effektivität von Operationen zu verbessern.


Maven nutzt künstliche Intelligenz, um große Datenmengen zu durchforsten, relevante Informationen zu extrahieren und den Analysten nahezu in Echtzeit zur Verfügung zu stellen. Diese Daten werden dann von der Einsatzgemeinschaft zur Validierung von Zielen verwendet. Das Pentagon plant, KI-Tools wie Maven in ein vernetztes Kampfkonzept zu integrieren, das Plattformen, Sensoren und Datenströme des US-Militärs und seiner internationalen Partner in einem einheitlicheren Netzwerk verbindet.

Der neue Vertrag mit Palantir hat eine Laufzeit von fünf Jahren und soll bis zum 28. Mai 2029 abgeschlossen sein. Laut einer Mitteilung der Kentucky National Guard wird diese Art von KI-Technik bereits im Nahen Osten im Verantwortungsbereich des Central Command eingesetzt. Das System kombiniert Daten aus verschiedenen Aufklärungs- und Überwachungssystemen, um Interessengebiete zu identifizieren und feindliche Systeme zu scannen und zu erkennen.

Eine Erweiterung des Maven-Systems ist das "Tactical Intelligence Targeting Access Node" (Titan), das von Palantir und Anduril Industries entwickelt wird. Titan soll Soldaten durch koordinierte Datensammlung verbesserte Fähigkeiten zur Lageeinschätzung und Schlachtfeldkontrolle bieten. Erste Skizzen zeigen, dass Titan ein großer Truck ist, der Zugang zu Weltraum-, Höhen-, Luft- und terrestrischen Sensoren hat. Insgesamt sollen diese Entwicklungen die automatisierte Zielerfassung durch KI und maschinelles Lernen verbessern und Präzisionsschüsse auch über große Entfernungen ermöglichen.

Posted by at Keine Kommentare:
Abonnieren Posts (Atom)