ChatGPT - der schnelle Weg zum eigenen Sprachassistenten oder Chatbot?

Disclaimer: Vor allem beim technischen Hintergrund werden wir zum Teil vereinfachen, wenn es dem Verständnis dient. Für tiefergreifende technische Diskussionen sprecht uns gerne an.

Was ist ChatGPT? ‍

‍ChatGPT (Chat Generative Pre-trained Transformer) ist ein Chatbot, der dialogorientiert interagiert. Nutzende können über den Browser sich Texte erstellen oder Fragen beantworten lassen. ‍

Wie funktioniert ChatGPT?

ChatGPT basiert auf einem GPT Modell, das zur Familie der Transformer Modelle gehört und wurde durch weitere KI-Methoden (fine-tuning des transformer model heads) für den natürlichsprachlichen Dialog optimiert. Das Basismodell hat als Trainingsgrundlage 20 Mrd. Parameter und wurde mit verschiedenen Datensätzen verschiedener Sprachen trainiert. Daher versteht das Modell auch mehr als nur eine Sprache. Vereinfacht gesagt sind Transformer Basismodelle besonders gut darin, das nächste Wort (Token) zu erraten. Wenn dieses "raten" iterativ x-fach wiederholt wird, entsteht ein Satz oder ein Text. Das hat noch nichts dialogisches. Daher muss solch ein Modell auf den Anwendungsfall (Dialog) fine-tuned werden. Dieser Prozess geschieht durch beispielhafte Texteingaben und den dazugehörigen Textausgaben. Durch die Menge an Trainingsdaten soll das Modell gut "generalisieren", heißt: Auf ungesehene Eingaben, trotzdem passende Ausgaben geben. ChatGPT ist ein InstructGPT Modelle. Der Fine-Tune Schritt wird durch Reinforcement Learning mit menschlichem Feedback (RLHF) unterstützt. Das ist der Punkt, worin sich die Qualität an gefühlter Menschlichkeit im Dialog begründet. Die Textausgabe kann dabei aber nicht nur ein natürlichsprachlicher Satz sein. Vielleicht habt ihr schon gehört, dass ChatGPT Programmcode generiert hat.
ChatGPT gibt es nicht nur als Weboberfläche, sondern kann auch als API von Programmen angefragt werden. Das gilt ebenso für das ähnliche Modell text-davinci-003 von OpenAI, das weniger stark auf den Dialog, aber ähnlich auf das Generieren von Texten hin trainiert wurde.

Kann ich Einfluss darauf nehmen, was ChatGPT generiert?

Ja. Die offensichtlichste Möglichkeit Einfluss zu nehmen ist, die Anfrage eines Nutzers mit Zusatzinformationen anzureichern.

Eine andere Möglichkeit ist das sogenannte Few Shot Learning. Modelle, die bereits ein tiefes Verständnis ihrer Domäne haben (wie in dem Fall das große GPT Modell, das ein gutes Verständnis von Sprache, Zusammenhängen und Grammatik hat), können potenziell gut neue Dinge mit wenigen Beispielen (Frage + Antwort) lernen. So ist es beispielsweise möglich, durch Anreichern der Eingabe diese Beispiele mitzugeben. Dauerhaft gelernt ist das allerdings nicht. Das bedeutet, bei jeder Anfrage muss dies eingefügt werden. Und es muss ebenfalls zur Eingabe der Nutzenden passen.

Vorteile von ChatGPT für Unternehmen

• ChatGPT ist in aller Munde. Das kann im Marketing genutzt werden.
• Als Produkt mit API lässt ChatGPT sich ohne größere Hürden in eine Anwendung einbinden.
• Ihr braucht euch nicht über KI und Sprachmodelle Gedanken zu machen.

‍

Nachteile von ChatGPT für Unternehmen

• Das gesamte Wissen von ChatGPT ist von inklusive 2021. Alles, was nach 2021 passiert ist, kennt das Modell nicht.
• Diese Modelle sind vorrangig dafür da, aus Text direkt Text zu generieren. Eine Anreicherung durch Abfrage von z.B. Hintergrundsystemen ist nicht ohne weiteres möglich.
• Durch das Aufbauen der Antwort (Token für Token) und die Größe des Modells, ist die Antwortzeit lang.
• Je nach Anwendungsfall ist ChatGPT gar nicht das am besten geeignete Modell für euch.
• Ihr könnt die Qualität nicht gewährleisten. Falsche Aussagen bleiben zum Beispiel unerkannt. Hier ein Beispiel. Der GVH hat kein Maskottchen.
  

Fazit: ChatGPT ist einen Blick wert, doch häufig nicht die beste Lösung

ChatGPT als Produkt hinter einer eigenen Anwendung einzusetzen ist ohne Weiteres meist nicht der richtige Weg. Nichtsdestotrotz zeigt diese Aufmerksamkeit die Relevanz des Themas in der breiten Masse. Es ist kein Nischenthema mehr. Wir empfehlen, sich selbst auf den Weg zu machen, basierend auf den eigenen Daten, KI-Chatbots und KI-Sprachassistenten sinnvoll und gezielt aufzubauen. Denn auch wenn das Produkt ChatGPT vielleicht nicht geeignet ist… Die technische Weiterentwicklung, die OpenAI mit ChatGPT gezeigt hat, inklusive der offen gelegten KI-Techniken, sind bemerkenswert und bahnbrechend. Sprecht mit uns und lasst euch beraten, welches KI-Modell und welche Methode die beste Grundlage für euren Anwendungsfall ist. So können wir ebenfalls die gleichen Basismodelle wie OpenAI verwenden, oder auch andere, falls diese besser für euren Fall geeignet sind. Ihr könnt so mit unserer Hilfe euer eigenes, passendes Modell trainieren (fine-tune), um somit eure Daten bei euch geschützt zu behalten und den eigenen Sprachassistenten oder KI Chatbot anzubieten bzw. zu nutzen.