Die Wege zum Zettascale- und Quantencomputing sind lang und kurvenreich

In den Vereinigten Staaten begann der erste Schritt auf dem Weg zu Exascale-HPC-Systemen mit einer Reihe von Workshops im Jahr 2007. Erst eineinhalb Jahrzehnte später ging das 1.686 Petaflops „Frontier“-System am Oak Ridge National Laboratory online . In diesem Jahr bereitet sich das Argonne National Laboratory darauf vor, dass der Schalter für „Aurora“ umgelegt wird, was entweder die zweite oder die dritte derartige Exascale-Maschine in den Vereinigten Staaten sein wird, abhängig vom Zeitpunkt des „El Capitan“-Systems in Lawrence Livermore National Laboratory.

Bei all diesen Maschinen gab es Verzögerungen und Rückschläge auf dem Weg zur Exa-Skala sowie Technologieänderungen, anhaltende Konkurrenz mit China und andere Herausforderungen. Erwarten Sie jedoch nicht, dass der nächste Sprung in die Zetta-Skala – oder sogar zum Quantencomputing – schneller vonstatten geht, so Rick Stevens, stellvertretender Laborleiter für Informatik für Umwelt- und Biowissenschaften bei Argonne. Beides könnte noch 15 bis 20 Jahre oder länger dauern.

Das ist die Natur von HPC.

„Dies ist ein langfristiges Spiel“, sagte Stevens kürzlich in einem Webinar über die nahe und fernere Zukunft des Computing im HPC. „Wenn Sie daran interessiert sind, was im nächsten Jahr passiert, ist HPC nicht das richtige Spiel für Sie. Wenn Sie in einem oder zwei Jahrzehnten denken wollen, ist HPC das richtige Spiel für Sie, denn wir befinden uns auf einer tausendjährigen Entwicklung.“ um zu anderen Sternensystemen oder was auch immer zu gelangen. Dies ist erst der Anfang. Ja, wir hatten eine großartige Anwendung des Mooreschen Gesetzes. Die Menschheit endet nicht morgen. Wir haben noch einen langen Weg vor uns, also müssen wir es sein Wenn man darüber nachdenkt: Was bedeutet Hochleistungsrechnen in zehn Jahren? Was bedeutet es in zwanzig Jahren? Es bedeutet nicht dasselbe. Im Moment wird es etwas anderes bedeuten.“

Der „gerade jetzt“-Teil, der im Mittelpunkt des Vortrags von Stevens stand, ist die KI. Nicht nur KI-gestützte HPC-Anwendungen und Forschungsbereiche, die von der Technologie profitieren würden, sondern auch KI-verwaltete Simulationen und Surrogate, dedizierte KI-Beschleuniger und die Rolle, die KI bei der Entwicklung der großen Systeme spielen wird. Er wies auf die explosionsartige Zunahme der Ereignisse im KI-Bereich zwischen 2019 und 2022 hin, die den größten Teil der Zeit mit der COVID-19-Pandemie verbrachten.

Als große Sprachmodelle – die das Herzstück von Tools wie dem äußerst beliebten ChatGPT und anderen generativen KI-Chatbots bilden – und das Text-zu-Bild-Deep-Learning mit stabiler Diffusion aufkamen, wurden KI-Techniken eingesetzt, um eine Milliarde Proteine ​​zu falten und die offene Mathematik zu verbessern Probleme und es gab eine massive Akzeptanz von KI unter HPC-Entwicklern. KI wurde zur Beschleunigung von HPC-Anwendungen eingesetzt. Darüber hinaus kamen die Exascale-Systeme auf den Markt.

„Diese Explosion setzt sich fort, da immer mehr Gruppen Großmodelle bauen und fast alle dieser Modelle im privaten Sektor sind“, sagte Stevens. „Es gibt nur eine Handvoll, die überhaupt von gemeinnützigen Organisationen erstellt werden, und viele davon sind Closed-Source-Modelle, darunter GPT-4, das aktuell beste, das es gibt. Das zeigt uns, dass der Trend nicht zu Millionen kleiner Modelle geht.“ Es geht um eine relativ kleine Anzahl sehr leistungsstarker Modelle. Das ist eine wichtige Art von Meta-Sache, die vor sich geht.“

All dies – Simulationen und Surrogate, neue KI-Anwendungen und KI-Anwendungsfälle – wird in den kommenden Jahren viel mehr Rechenleistung erfordern. Die Argonne Leadership Computing Facility (ALCF) in Illinois beginnt darüber nachzudenken, während sie ihre Post-Aurora-Maschine und die darüber hinausgehenden Maschinen plant. Stevens und seine Mitarbeiter stellen sich ein System vor, das achtmal leistungsfähiger ist als Aurora, mit Ausschreibungen im Herbst 2024 und einer Installation bis 2028 oder 2029. „Es sollte möglich sein, Maschinen mit geringer Präzision für maschinelles Lernen zu bauen.“ „Wir nähern uns einem halben Zettaflop für Operationen mit geringer Präzision. In zwei oder drei Spins von jetzt an“, sagte Stevens.

Eine Frage wird sich auf die Beschleuniger in solchen Systemen beziehen. Handelt es sich um neuere Versionen der derzeit verwendeten Allzweck-GPUs, um GPUs, die um etwas Spezifischeres für KI-Simulationen erweitert wurden, oder um eine völlig neue, für KI optimierte Engine?

„Das ist die grundlegende Frage. Wir wissen, dass die Simulation weiterhin wichtig sein wird und dass ein Bedarf an einer leistungsstarken, hochpräzisen Numerik bestehen wird, aber wie das Verhältnis dazu im Verhältnis zur KI ist, ist die offene Frage.“ " er sagte. „Die verschiedenen Zentren auf der ganzen Welt, die über ihre nächste Generation nachdenken, werden alle vor einer ähnlichen Entscheidung darüber stehen, wie sehr sie sich künftig dem KI-Markt oder der KI-Anwendungsbasis zuwenden.“

Das ALCF hat KI-Testumgebungen unter Verwendung von Systemen von Cerebras Systems, SambaNova Systems, GraphCore, dem Habana Labs-Teil von Intel und Groq erstellt, die Beschleuniger enthalten werden, die für KI-Workloads entwickelt wurden, um zu sehen, ob diese Technologien schnell genug ausgereift sind, um dies zu ermöglichen Grundlage eines Großsystems und effektive Ausführung von HPC-Anwendungen für maschinelles Lernen.

„Die Frage ist, ob Allzweck-GPUs in diesem Szenario schnell genug und eng genug an die CPUs gekoppelt sind, sodass sie immer noch die richtige Lösung sind, oder wird sich in diesem Zeitraum etwas anderes ergeben?“ Er sagte und fügte hinzu, dass die Frage der Mandantenfähigkeitsunterstützung von entscheidender Bedeutung sein werde. „Wenn Sie eine Engine haben, die eine Teilmenge des Knotens verwendet, wie können Sie dann einige Anwendungen in einer Teilmenge unterstützen? Wie können Sie die Mehrfachbelegung dieses Knotens mit Anwendungen unterstützen, die die Ressourcen ergänzen? Es gibt viele offene Fragen zur Vorgehensweise Das."

Einige dieser Fragen sind im Folgenden aufgeführt:

Es stellt sich auch die Frage, wie diese neuen großen Systeme gebaut werden sollen. Typischerweise bedeuten neue Technologiewellen – zum Beispiel Veränderungen bei Kühl- oder Stromversorgungssystemen – große Modernisierungen der gesamten Infrastruktur. Stevens sagte, die Idee eines modulareren Designs – bei dem Komponenten ausgetauscht werden, das System selbst jedoch bestehen bleibt – sei sinnvoller. Module innerhalb der Systeme, die möglicherweise größer sind als aktuelle Knoten, können regelmäßig ausgetauscht werden, ohne dass die gesamte Infrastruktur aktualisiert werden muss.

„Gibt es eine Basis, die möglicherweise über Stromversorgung, Kühlung und möglicherweise eine passive optische Infrastruktur verfügt, und dann Module, die viel häufiger ausgetauscht werden müssen, ausgerichtet auf Fab-Knoten, die über wirklich einfache Schnittstellen verfügen?“ er sagte. „Sie haben einen Stromanschluss, einen Optikanschluss und einen Kühlanschluss. Das ist etwas, worüber wir nachdenken und mit den Anbietern darüber sprechen: Wie sich die Verpackung weiterentwickeln könnte, um dies viel modularer und viel attraktiver zu machen.“ Für uns ist es einfacher, Komponenten im System in einem Zwei-Jahres-Zeitraum zu aktualisieren, im Gegensatz zu einem Fünf-Jahres-Zeitraum.“

Angesichts der Ressourcen, über die das Office of Science des Energieministeriums verfügt, wie z. B. Exascale-Computing- und Dateninfrastruktur, groß angelegte Versuchsanlagen und eine große Codebasis für wissenschaftliche Simulationen, befasst sich die ALCF jetzt intensiver mit diesen Themen als in den vergangenen Jahren . Es gibt auch viele interdisziplinäre Teams über verschiedene Fachbereiche und Labore hinweg; Laut Stevens umfasste das Exascale Compute Project 1.000 Menschen, die zusammenarbeiteten.

Automatisierung ist ein weiterer Faktor. Argonne und andere Labore verfügen über all diese großen Maschinen und eine große Anzahl von Anwendungen, sagte er. Können sie Wege finden, einen Großteil der Arbeit zu automatisieren – etwa die Erstellung und Verwaltung eines KI-Ersatzes –, um den Prozess schneller, einfacher und effizienter zu gestalten? Das ist ein weiterer Forschungsbereich, der derzeit im Gange ist.

Während all diese Arbeiten im Gange sind, schreitet die Entwicklung von Zettaskalen- und Quantensystemen in ihrem eigenen Tempo voran, von denen Stevens nicht erwartet, dass sie in den nächsten 15 bis 20 Jahren in großem Umfang eingesetzt werden. Bis zum Ende des Jahrzehnts wird es möglich sein, Maschinen im Zetta-Maßstab mit geringer Präzision zu bauen, aber wie nützlich ein solches System ist, wird unterschiedlich sein. Irgendwann wird es möglich sein, eine solche Maschine mit 64 Bit zu bauen, aber das wird wahrscheinlich erst im Jahr 2035 der Fall sein. (Nicht das Jahr 2027, über das Intel im Oktober 2021 mit The Next Platform gesprochen hat.)

Für die Quantentechnologie werden die damit verbundenen Kosten ebenso wichtig sein wie die Technologie. Die zweiwöchige Ausführung einer Anwendung auf einer Exascale-Maschine kostet etwa 7 Millionen US-Dollar Rechenzeit. Auf einer vergrößerten Quantenmaschine mit bis zu 10 Millionen Qubits – die es noch nicht gibt – könnte die Bewältigung eines Problems 5 bis 20 Milliarden US-Dollar kosten, wie unten gezeigt. Diese Kosten müssten um Größenordnungen gesenkt werden, damit sie den Wert wert wären, den die Menschen für die Lösung groß angelegter Probleme zahlen würden.

„Das zeigt uns, dass wir während der Entwicklung der Quantentechnologie weiterhin Fortschritte im klassischen Computing machen müssen, weil wir wissen, dass wir das klassische Computing nutzen können, um echte Probleme zu lösen“, sagte er. „Das ist wirklich ein gewisses Argument dafür. Wir glauben, dass der Fortschritt bei Zettascale ebenfalls 15 bis 20 Jahre dauern wird, aber wir sind ziemlich zuversichtlich, dass es ein Zeitrahmen ist, und wir wissen, dass wir diese Maschinen tatsächlich nutzen können.“

All dies spiegelt das ursprüngliche Thema wider: Innovation im HPC dauert lange. Quantenklassische Hybridsysteme könnten irgendwann der richtige Weg sein. Möglicherweise muss die Industrie ihre Rechensubstrate auf etwas umstellen, das molekular oder optisch ist oder noch erfunden werden muss. Ingenieure, Wissenschaftler und andere müssen umfassend vorgehen.

„Das, was die Landschaft derzeit am schnellsten verändert, ist die KI, und wir haben gerade erst an der Oberfläche gekratzt, wie wir Systeme so umgestalten könnten, dass sie wirklich die ideale Plattform für groß angelegte KI-Berechnungen sind“, sagte Stevens. „Das könnte so bahnbrechend sein, dass, wenn wir dieses Gespräch in 10 Jahren führen würden, vielleicht etwas anderes passiert. Oder vielleicht liegen wir richtig. Ich schätze, es wird irgendwo in der Mitte sein. Es wird ein langes Spiel.“ Und es wird viele Störungen geben, und wir müssen uns damit anfreunden, herauszufinden, wie wir mit den Störungen umgehen können, und nicht, wie wir sie bekämpfen können, denn Störungen sind unsere Freunde. Sie sind tatsächlich das, was uns und uns neue Fähigkeiten verleihen wird Man muss aggressiv nach ihnen suchen.“

Mit Highlights, Analysen und Geschichten der Woche direkt von uns in Ihren Posteingang, ohne dass etwas dazwischen liegt. Jetzt abonnieren