Was ist das Pathways Language Model (PaLM)?

Das Pathways Language Model ist der Name einer von Google entwickelten Familie großer KI-Sprachmodelle. Der Name des Vorhabens geht auf eine Initiative von Google Research zurück, bei der es darum ging, das zu schaffen, was Forscher „Pathways“ nannten. Dabei handelte es sich um einen Ansatz, der darauf abzielte, ein einziges leistungsstarkes Modell zu erstellen, das als Grundlage für mehrere Anwendungsfälle dienen könnte.

Es gibt mehrere Versionen des Pathways Language Model (PaLM). Zu den Versionen von PaLM 2 gehören Med-PaLM 2, das speziell auf Biowissenschaften und medizinische Informationen abgestimmt ist; und Sec-PaLM, das auf den Einsatz in Cybersicherheitsbereitstellungen zur Beschleunigung der Bedrohungsanalyse ausgerichtet ist.

Im Mai 2023 gab Google öffentlich bekannt, dass seine Bard-Konversations-KI-Technologie auf PaLM 2 basiert. Das PaLM 2 Large Language Model (LLM) ermöglicht auch generative KI-Funktionen in der Google Workspace-Anwendungssuite – einschließlich Gmail und Docs wie Google Cloud mit einer Technologie namens Duet AI.

PaLM – und insbesondere PaLM 2 – kann viele Funktionen bereitstellen, darunter die folgenden:

PaLM verwendet ein auf einem transformatorischen neuronalen Netzwerk basierendes Modell, das allgemein als Transformer bezeichnet wird. Grundsätzlich ähnelt PaLM konkurrierenden transformatorbasierten Modellen, einschließlich der GPT-3- und GPT-4-Modelle von OpenAI.

PaLM nutzt das von Google entwickelte maschinelle Lernsystem Pathways, um ein Modell über mehrere Pods von Tensorverarbeitungseinheiten hinweg zu trainieren. Das Modell verwendet eine Technik, die als Few-Shot-Learning bekannt ist und es ermöglicht, aus einer begrenzten Anzahl beschrifteter Beispiele – oder Schüsse – zu lernen, um neue Aufgaben oder Klassen mit minimaler Datenbeschriftung schnell anzupassen und zu verallgemeinern.

Als Transformatornetzwerk versteht und erstellt PaLM Muster in allen Inhalten, einschließlich Text und Code. Das Transformer-Modell durchläuft einen umfassenden Lernprozess und deckt statistische Muster und Verbindungen auf, die zwischen Wörtern und Phrasen innerhalb des Inhalts bestehen. Dieses erworbene Wissen ermöglicht es PaLM, Antworten zu generieren, die in verschiedenen Kontexten sowohl kohärent als auch relevant sind.

Obwohl PaLM leistungsstark ist, weist es die folgenden Einschränkungen in Bezug auf Verwendung und Funktionen sowie andere problematische Punkte auf.

„Auf PaLM 2 basierende Systeme für den geführten Dialog verursachen weiterhin toxische Sprachschäden und zeigen Voreingenommenheitsmuster hinsichtlich der Art und Weise, wie diese Schäden je nach Sprache und Abfragen im Zusammenhang mit Identitätsbegriffen variieren“, schrieben Google-Forscher im „PaLM 2 Technical Report“.

Es gibt viele Ähnlichkeiten und Unterschiede zwischen PaLM und OpenAIs GPT-3 – und den neueren GPT-4 – LLMs. Beide Technologien werden im Allgemeinen als generative KI bezeichnet und profitieren beide von der Verwendung eines Transformatormodells für Deep Learning. Beide Technologien können auch Texte erstellen, zusammenfassen und verstehen.

Entwickler

Google DeepMind

OpenAI

Chatbot-Schnittstelle

Barde

ChatGPT

Codegenerierung

Vollständig integriertes Modell

Stützt sich auf Daten aus dem Codex LLM von OpenAI

Mehrsprachige Funktionen

PaLM 2 unterstützt derzeit mehr als 40 Sprachen

GPT-4 unterstützt derzeit 26 Sprachen

Google kündigte PaLM im April 2022 an, wobei die erste Version des Sprachmodells 540 Milliarden Parameter bereitstellte.

Google-Forscher lieferten in einem Forschungspapier mit dem Titel „PaLM: Scaling Language Modeling with Pathways“ erste Kennzahlen zur PaLM-Leistung, einschließlich ausführlicher Erläuterungen zu den Innovationen, die das Modell einführt. Das Modell blieb bis zum 17. März 2023 privat, als Google einen ersten Satz öffentlicher APIs bereitstellte, damit Entwickler das Modell ausprobieren konnten. Am 10. Mai 2023 wurde PaLM 2 auf der Google I/O-Konferenz öffentlich angekündigt.

Zum Zeitpunkt der Einführung von PaLM 2 gab Google die Größe des Modells in Bezug auf die Parameter nicht öffentlich bekannt, obwohl es viele Behauptungen aufstellte, dass das Modell größer und leistungsfähiger sei und insgesamt eine bessere Leistung biete als sein ursprüngliches Modell.

Google hat bekannt gegeben, dass PaLM 2 als grundlegende KI für viele seiner generativen KI-Bemühungen, einschließlich Bard, verwendet wird.

Für die Zukunft ist unklar, ob es ein PaLM 3-Modell geben wird. Auf der Google I/O 2023-Veranstaltung sagten Führungskräfte des Unternehmens, dass das LLM der nächsten Generation, das von der Organisation entwickelt wird, Gemini heißt. Es ist nicht klar, welche Beziehung – wenn überhaupt – Gemini zum PaLM-basierten Ansatz hat.

Apple iOS ist ein proprietäres mobiles Betriebssystem, das auf mobilen Geräten wie dem iPhone und iPad läuft.