Blog

Feb 04, 2024

Google aktualisiert Vertex AI, um mit dem Boom der generativen KI Schritt zu halten

Über die Hälfte der CEOs weltweit experimentieren mit KI, um Texte, Bilder und andere Datenformen zu generieren, wie eine aktuelle gemeinsame Umfrage von Fortune und Deloitte ergab. Mittlerweile ist dies bei einem Drittel der Organisationen der Fall

Über die Hälfte der CEOs weltweit experimentieren mit KI, um Texte, Bilder und andere Datenformen zu generieren, wie eine aktuelle gemeinsame Umfrage von Fortune und Deloitte ergab. Mittlerweile nutzt ein Drittel der Unternehmen generative KI „regelmäßig“ in mindestens einer Geschäftsfunktion, wie ein Bericht von McKinsey zeigt.

Angesichts des riesigen (und offenbar wachsenden) adressierbaren Marktes ist es keine Überraschung, dass Google Cloud große Anstrengungen unternimmt, um Schritt zu halten.

Während seiner jährlichen Cloud Next-Konferenz kündigte Google Aktualisierungen für Vertex AI an, seine cloudbasierte Plattform, die Workflows zum Erstellen, Trainieren und Bereitstellen von Modellen für maschinelles Lernen bereitstellt. Vertex AI bietet jetzt aktualisierte KI-Modelle für die Text-, Bild- und Codegenerierung sowie neue Drittanbietermodelle von Startups, darunter Anthropic und Meta, und Erweiterungen, die es Entwicklern ermöglichen, Unternehmensdaten zu integrieren und im Namen eines Benutzers Maßnahmen zu ergreifen.

„[Mit Vertex] verfolgen wir einen sehr offenen Ökosystemansatz und arbeiten mit breiten Ökosystempartnern zusammen, um unseren Kunden Auswahl und Flexibilität zu bieten“, sagte June Yang, Vizepräsidentin für Cloud-KI und Branchenlösungen bei Google, in einer Pressekonferenz. „Wir haben einen Ansatz für generative KI entwickelt, bei dem die Bereitschaft für Unternehmen im Mittelpunkt steht, mit einem starken Fokus auf Datenverwaltung, verantwortungsvolle KI-Sicherheit und mehr.“

Auf der Modellseite gibt Google an, dass es sein Codey-Codegenerierungsmodell „erheblich“ verbessert hat und eine Qualitätsverbesserung von 25 % in den „wichtigsten unterstützten Sprachen“ für die Codegenerierung erzielt hat. (Leider hat Google diese vage Kennzahl in den Materialien, die diesem Reporter zur Verfügung gestellt wurden, nicht näher erläutert.) Außerdem wurde Imagen, sein Bildgenerierungsmodell, aktualisiert, um die Qualität der generierten Bilder zu verbessern und Style Tuning zu unterstützen, das es Kunden ermöglicht, Bilder zu erstellen „auf ihre Marke ausgerichtet“ mit nur 10 Referenzbildern.

An anderer Stelle versteht Googles PaLM 2-Sprachmodell neue Sprachen (38 in der allgemeinen Verfügbarkeit und mehr als 100 in der Vorschau) und verfügt über ein erweitertes Kontextfenster mit 32.000 Token. Das Kontextfenster, gemessen in Token (d. h. Rohtextbits), bezieht sich auf den Text, den das Modell berücksichtigt, bevor zusätzlicher Text generiert wird (32.000 Token entsprechen etwa 25.000 Wörtern oder etwa 80 Textseiten mit doppeltem Zeilenabstand).

Das Kontextfenster von PaLM 2 ist nicht das größte auf dem Markt. Diese Auszeichnung geht an Claude 2 von Anthropic, das über ein Kontextfenster mit 100.000 Token verfügt – mehr als dreimal so groß wie die ursprünglichen PaLM 2 und GPT-4. Aber Nenshad Bardoliwalla, Produktleiter bei Vertex AI, sagte, dass die Entscheidung für 32.000 Token im Hinblick auf „Flexibilität“ und „Kosten“ getroffen wurde.

„Unsere Kunden sind bestrebt, die Flexibilität der Modellierung, die sie mit großen Modellen und den Szenarien, die sie generieren können, durchzuführen, mit den Kosten der Inferenz – und mit der Fähigkeit zur Feinabstimmung – in Einklang zu bringen“, sagte Bardoliwalla während des Briefings. „Jedes davon hat einen gewissen Rechenaufwand sowie Personalkosten, je nachdem, wie viel man in es investiert. Und so hatten wir zu diesem Zeitpunkt das Gefühl, dass die Ergebnisse mit 32.000 Token angesichts der Entwicklung des Marktes auf der Grundlage der von uns durchgeführten Auswertungen ziemlich beeindruckend sind. Wir waren der Meinung, dass es die richtige Balance zwischen neuen Möglichkeiten und einem wettbewerbsfähigen Preis-Leistungs-Verhältnis auf dem Markt gefunden hat.“

Nicht jeder Kunde wird zustimmen. Aber in dem Versuch, beides zu erreichen, hat Google Modelle von Drittanbietern, darunter Claude 2, zum Model Garden von Vertex AI hinzugefügt, einer Sammlung vorgefertigter Modelle und Tools, die an die Bedürfnisse eines Unternehmens angepasst werden können. Zu den weiteren Modellen, die dem Model Garden beitreten, gehören das kürzlich veröffentlichte Llama 2 von Meta und das Open-Source-Modell Falcon LLM des Technology Innovation Institute.

Die neuen Modellergänzungen sind ein Vorstoß für Amazon Bedrock, das kürzlich von Amazon eingeführte AWS-Produkt, das eine Möglichkeit bietet, generative KI-gestützte Apps über vorab trainierte Modelle von Startups zu erstellen, darunter AI21 Labs, Anthropic und Stability AI. Angesichts der steinigen Einführung von Bedrock sieht Google möglicherweise eine Chance, im entstehenden Markt für verwaltete Modelldienste Fuß zu fassen.

Zu diesem Zweck bringt Google auch Erweiterungen und Datenkonnektoren in Vertex AI ein – im Wesentlichen eine Version der AI-Modell-Plugins von OpenAI und Microsoft.

Bei Erweiterungen handelt es sich um eine Reihe von Tools, die es Entwicklern ermöglichen, Modelle im Model Garden mit Echtzeitdaten, proprietären Daten oder Apps von Drittanbietern wie einem Kundenbeziehungsmanagementsystem oder einem E-Mail-Konto (z. B. Datastax, MongoDB oder Redis) zu verbinden – oder sogar zu nutzen Aktion im Namen eines Benutzers. Datenkonnektoren hingegen können Unternehmens- und Drittanbieterdaten mit schreibgeschütztem Zugriff von einer Reihe von Plattformen wie Salesforce, Confluence und Jira aufnehmen.

In etwas verwandten Nachrichten unterstützt Vertex AI jetzt Ray, das Open-Source-Computing-Framework zur Skalierung von KI und Workloads, die in Python geschrieben sind. Es ergänzt die bereits unterstützten Frameworks in Vertex AI, einschließlich Googles eigenem TensorFlow.

Es fiel mir auf, dass Google es erneut vermied, viele der ethischen und rechtlichen Herausforderungen anzugehen, die mit allen Formen der generativen KI verbunden sind, vielleicht hauptsächlich das Urheberrecht. KI-Modelle wie PaLM 2 und Imagen „lernen“, Text und Bilder zu generieren, indem sie vorhandene Daten „trainieren“, die häufig aus Datensätzen stammen, die durch die Durchsuchung öffentlicher, urheberrechtlich geschützter Quellen im Internet zusammengekratzt wurden.

Bardoliwalla sagte gegenüber TechCrunch zuvor, dass Google umfassende „Daten-Governance-Überprüfungen“ durchführt, um „die Quelldaten“ in seinen Modellen zu prüfen und sicherzustellen, dass sie „frei von Urheberrechtsansprüchen“ sind. Aber selbst wenn man großzügig davon ausgeht, dass alle KI-Trainingsdaten von Google frei von urheberrechtlich geschütztem Material sind, bietet Google, wie viele seiner Konkurrenten auch, keinen Opt-out-Mechanismus an, der es den Eigentümern von Daten, mit Ausnahme von Vertex AI-Kunden, ermöglicht, diese von der Nutzung auszuschließen wird für das Modelltraining verwendet.

Die größere unbeantwortete Frage ist, ob Vertex AI-Kunden tatsächlich Eigentümer der Inhalte sind, die sie mithilfe von KI generieren. Zumindest in den USA ist nicht klar, ob KI-generierte Kunst urheberrechtlich geschützt ist.

Google hatte keine Antwort auf diese Frage – zumindest keine vorbereitete.

In Anlehnung an die Beliebtheit KI-gestützter Chatbots und Suchfunktionen bietet Google in Vertex zwei Produkte an, die die Komplexität der Erstellung generativer Such- und Chat-Apps abstrahieren sollen: Vertex AI Search (vormals Enterprise Search auf Generative AI App Builder) und Vertex AI Conversation ( früher Conversational AI auf Generative AI App Builder).

Ab heute sind beide allgemein verfügbar.

Mit Vertex AI Search und Vertex AI Conversation können Entwickler Daten aufnehmen und Anpassungen hinzufügen, um eine Suchmaschine, einen Chatbot oder einen „Voicebot“ zu erstellen, der mit Kunden interagieren und Fragen beantworten kann, die auf den Daten eines Unternehmens basieren. Google stellt sich vor, dass die Tools zum Erstellen von Apps für Anwendungsfälle wie Essensbestellung, Bankunterstützung und halbautomatischer Kundenservice verwendet werden.

Neu in Vertex AI Search und Vertex AI Conversation mit dem Sprung zu GA ist die Multiturn-Suche, die die Möglichkeit bietet, Folgefragen zu stellen, ohne die Interaktion von vorne beginnen zu müssen. Neu ist auch die Konversations- und Suchzusammenfassung, die – vorhersehbar – Suchergebnisse und Chat-Konversationen zusammenfasst.

Playbook, das eine Vorschau für Vertex AI Conversations startet, ermöglicht es Benutzern, in natürlicher Sprache Antworten und Transaktionen zu definieren, die eine Stimme und ein Chatbot ausführen sollen – ähnlich wie ein Mensch angewiesen werden könnte, Aufgaben zu erledigen. Sie können eine Persona („Sie sind ein sachkundiger und freundlicher Fahrradexperte für eine E-Commerce-Website“), ein Ziel („Kunden helfen, eine Zahlung abzuschließen“) und Schritte („Fragen Sie nach einer Kreditkartennummer und dann nach einer Lieferadresse“) hinzufügen “) und Beispiele, die zeigen, dass das Ziel optimal erreicht wird.

Vertex AI-Modellerweiterungen und Datenkonnektoren können zusammen mit Vertex AI Search und Vertex AI Conversation verwendet werden. Dies gilt auch für Grounding, eine weitere neue Funktion in Vertex, mit der die Ergebnisse eines Modells in den Daten eines Unternehmens verankert werden können, indem das Modell beispielsweise seine Antworten auf Fragen klar zitieren kann.

Google sagt, dass Vertex AI Search bald Unternehmenszugriffskontrollen unterstützen wird, um „sicherzustellen, dass Informationen nur den entsprechenden Benutzern angezeigt werden“ und Relevanzbewertungen bereitstellen wird, um „das Vertrauen in die Ergebnisse zu stärken“ und „sie nützlicher zu machen“.

Angesichts der Tendenz generativer KI-Modelle, Fakten zu erfinden, bin ich skeptisch. Es besteht immer die Gefahr, dass böswillige Akteure versuchen, die Modelle durch Prompt-Injection-Angriffe aus der Bahn zu werfen. Andernfalls können Modelle, ob text- oder bildgenerierend, Toxizität ausstrahlen – ein Symptom für Verzerrungen in den Daten, die zu ihrem Training verwendet wurden.

Bardoliwalla behauptet, dass die Erdungswerkzeuge, auch wenn sie das sogenannte Halluzinations- und Toxizitätsproblem bei generativen Modellen nicht ein für alle Mal lösen, ein Schritt in die grundsätzlich richtige Richtung seien.

„Wir glauben, dass ein umfassender Satz an fundierten Fähigkeiten auf verlässlichen Quellen eine Möglichkeit ist, das Halluzinationsproblem in den Griff zu bekommen und die Verwendung dieser Systeme vertrauenswürdiger zu machen“, sagte er.

In einem früheren Interview behauptete Bardoliwalla, dass jeder API-Aufruf an von Vertex gehostete generative Modelle auf „Sicherheitsmerkmale“ wie Toxizität, Gewalt und Obszönität überprüft werde. Vertex bewertet Modelle anhand dieser Attribute und blockiert für bestimmte Kategorien die Antwort oder lässt Kunden die Wahl, wie sie vorgehen möchten.

Da generative KI-Modelle immer ausgefeilter und schwerer zu interpretieren sind, frage ich mich, ob das nachhaltig ist. Wir – und die Kunden von Google Cloud – werden sehen.