Ob es uns bewusst ist oder nicht – KI-gestützte Anwendungen durchdringen bereits seit Jahren unser Leben, zum Beispiel über Onlinechatbots oder automatisch erstellte Musik-Playlisten. Durch die Einführung von ChatGPT, einem textbasierten Dialogsystem der Firma OpenAI im November 2022, wurde KI – zumindest in vielen Medien – allgegenwärtig. Die Möglichkeiten rund um die sofortige Generierung von Inhalten (auch in mehreren Sprachen) scheinen endlos zu sein und sowohl Unternehmen als auch Privatpersonen entdecken durch die nun einfachere Verfügbarkeit von KI täglich neue faszinierende Anwendungsmöglichkeiten. Damit einhergehend steigt mittlerweile täglich die Anzahl der verfügbaren KI-Tools, die für die unterschiedlichsten Ziele eingesetzt werden. Welche Technologie und Entwicklung hinter ChatGPT steckt, ob ChatGPT aktuell überschätzt wird und welche Bedeutung ChatGPT für Übersetzungen hat, erfahren Sie in diesem Beitrag.
Inhaltsverzeichnis:
» Die grundlegende Technologie hinter ChatGPT
» Wird ChatGPT aktuell überschätzt?
Die grundlegende Technologie hinter ChatGPT
Bis heute sind in der Sprachindustrie die nachfolgenden drei stabilen und zuverlässigen grundlegenden Technologien bekannt, die als Plattformen für unterschiedliche sprachtechnologische Entwicklungen verwendet werden. Bei ChatGPT handelt es sich um die neueste Entwicklung eines tiefen neuronalen Netzwerkmodells (Deep Neural Network, DNN).
Regelbasierte Modelle
Diese Modelle verwenden vordefinierte Regeln und Muster, um Aufgaben der natürlichen Sprachverarbeitung (Natural Language Processing, NLP) auszuführen, und kommen zum Beispiel in einfacheren Anwendungen für die Rechtschreibprüfung, Textklassifizierung oder Spracherkennung zum Einsatz.
Statistische Modelle
Durch den Einsatz von statistischen Methoden (z. B. N-Gramm-Sprachmodellen) erledigen diese Modelle ebenfalls NLP-Aufgaben, indem anhand von vorangehenden und zusammenhängenden Wörtern Vorhersagen für die nächsten Wörter getroffen werden. Statistische Modelle können zur Erfassung von statistischen Sprachmustern mit Daten trainiert werden und kommen zum Beispiel im Rahmen von Sprachmodellierungen, textlichen Stimmungsanalysen oder Textzuordnungen zum Einsatz.
Neuronale Netzwerkmodelle
Mithilfe von miteinander verbundenen Schichten künstlicher Neuronen, die nach dem biologischen Vorbild der Nervenzelle modelliert wurden, können diese Modelle Muster in Daten erlernen, um damit Vorhersagen für neue Datensätze treffen zu können. Durch das Hinzufügen von zusätzlichen Schichten entstanden weitaus leistungsfähigere, tiefe neuronale Netzwerkmodelle, die heute auch bei neuronalen maschinellen Übersetzungen zum Einsatz kommen.
Die Entwicklung von ChatGPT
Wie sieht nun die technische Lösung von ChatGPT als neueste Entwicklung eines tiefen neuronalen Netzwerkmodells aus? Die Entwicklung von ChatGPT kann anhand von drei Aspekten beschrieben werden, die allesamt im Namen von ChatGPT (Generative Pre-trained Transformer) enthalten sind. Die nachfolgende Grafik verdeutlicht das Zusammenspiel dieser drei Aspekte und erleichtert die technische Einordnung der verschiedenen Modelle.
ChatGPT verwendet die neueste Transformer-Architektur
Die Transformer-Architektur wurde bereits 2017 durch Google vorgestellt und bewirkte einen Quantensprung für tiefe neuronale Netzwerkmodelle. Durch die Einführung von zusätzlichen Schichten künstlicher Neuronen, die sich ausschliesslich um die Selbstaufmerksamkeit des Systems kümmern, kann sich das Modell während der Verarbeitung auf verschiedene Bereiche der Eingabesequenz konzentrieren. Dadurch können Abhängigkeiten und Beziehungen zwischen weit entfernten Wörtern und damit einem grösseren Kontext erfasst werden, was die Qualität der Sprachmodellierung erheblich verbessert. ChatGPT kann je nach Konfiguration pro Anfrage mehrere Tausend Wörter an Kontext verarbeiten, wobei die Anzahl der Eingabewörter in vielen Fällen auf ca. 500 begrenzt wird.
ChatGPT basiert auf einem vortrainierten, grossen Sprachmodell
Die Firma OpenAI veröffentlichte bereits mehrere Versionen von Sprachmodellen, wobei ChatGPT aktuell in begrenztem Umfang auf die Versionen 3 (Gratisversion) und 4 (Bezahlversion) zurückgreift. Das Training von Sprachmodellen erfolgt durch die iterative Justierung von Parametern anhand von gesammelten und bereinigten Textdatensätzen. Da ChatGPT über eine sehr grosse Anzahl an Parametern verfügt und sehr grosse Textdatensätze für das Training verwendet wurden, konnte ChatGPT die Vorhersagegenauigkeit erheblich verbessern und ein tiefgehendes Sprachverständnis entwickeln. Wenn ein Sprachmodell über eine sehr grosse Anzahl an Parametern verfügt und sehr viele Textdatensätze für das Training verwendet wurden, spricht man von einem grossen Sprachmodell (Large Language Model, LLM). Die Anzahl der Parameter und die Grösse der für das Training verwendeten Textdatensätze der GPT-Serie sind nachfolgend aufgelistet. Ab GPT-3 kann von einem grossen Sprachmodell gesprochen werden.
- GPT-1: 117 Millionen Parameter, 40 GB Text (~4 Milliarden Wörter)
- GPT-2: 1.5 Milliarden Parameter, 1.5 TB Text (~150 Milliarden Wörter)
- GPT-3: 175 Milliarden Parameter, 45 TB Text (~4.5 Billionen Wörter)
- GPT-4: derzeit unbestätigt. Man spricht von 10–100 Billionen Parametern
Neben OpenAI haben auch weitere Firmen grosse Sprachmodelle entwickelt: zum Beispiel Google (BARD, LaMDA, PaLM), Meta (LLaMa) oder Hugging Face (BLOOM).
ChatGPT ist eine generative, dialogbasierte KI
Im Gegensatz zum ersten Transformer-Sprachmodell von Google (BERT), welches im Jahr 2017 entwickelt wurde und immer noch die meisten Google-Suchanfragen durchführt, handelt es sich bei ChatGPT um eine generative, texterstellende künstliche Intelligenz. Aufgrund der technischen Komplexität war die Bedienung solcher Modelle lange Zeit nur Fachpersonen vorbehalten. Erst durch die Bereitstellung einer einfachen, dialogbasierten Schnittstelle erhielt die breite Öffentlichkeit einen alltagstauglichen Zugang zu dieser Sprachtechnologie. ChatGPT ist somit eine einfache, auf die Beantwortung von Fragen orientierte Anwendung, die sich besonders gut für Chatbots oder Customer-Service-Plattformen eignet.
Wird ChatGPT aktuell überschätzt?
Das US-amerikanische Marktforschungsunternehmen Gartner platzierte die generative künstliche Intelligenz bereits im Juli 2022 am Ende der technologischen Auslösungsphase (Innovation Trigger) des KI-Hype-Zyklus. Insbesondere nach der Veröffentlichung von ChatGPT im November 2022 erfuhr die generative KI aufgrund der einfachen Verfügbarkeit und der faszinierenden Leistungsfähigkeit ein sehr grosses Interesse durch die breite Masse. ChatGPT erreichte in nur 2 Monaten rund 100 Millionen aktive monatliche Anwender und ist damit die erfolgreichste Verbraucheranwendung der Geschichte. Gemäss dem Hype-Zyklus-Modell von Gartner führt dies ebenfalls zu übertriebenem Enthusiasmus und unrealistischen Erwartungen, was in den vielseitigen Medienberichten und Social-Media-Beiträgen ebenfalls erkennbar ist. Es ist aktuell schwer einzuschätzen, ob der Gipfel der überzogenen Erwartungen an die generative KI und damit ChatGPT bereits überschritten wurde. Es ist aber unausweichlich, dass in Zukunft das Interesse wieder zurückgehen wird, da nicht alle Erwartungen erfüllt werden können. Auf dem nachfolgenden Weg zur Produktivität werden die Erwartungen aufgrund von erfolgreichen Anwendungen wieder steigen und sich auf einem tieferen Niveau als heute etablieren. Es ist daher davon auszugehen, dass ChatGPT aktuell in einigen Aspekten überschätzt wird.
Übersetzen mit ChatGPT
Obwohl ChatGPT nicht explizit für die Übersetzung von Textinhalten entwickelt wurde, können damit auch Übersetzungen in unterschiedlichen Sprachkombinationen durchgeführt werden. Aktuelle Tests zeigen, dass ChatGPT durchaus einfache Übersetzungen in ausreichender Qualität erzeugen kann. Verglichen mit professionellen, auf Übersetzungen spezialisierten neuronalen maschinellen Übersetzungssystemen wie DeepL oder Google Translate bestehen jedoch je nach Sprachkombination, Qualität und Fachlichkeit des Quelltexts sowie Anforderungen an die Übersetzung teilweise erhebliche Qualitätsunterschiede. Es sei an dieser Stelle angemerkt, dass noch keine Standards zur einheitlichen Qualitätsbewertung von Übersetzungen durch generative KI existieren.
Grundsätzlich muss an dieser Stelle festgehalten werden, dass es sich bei ChatGPT, wie auch bei Anwendungen für die neuronale maschinelle Übersetzung, um technische Tools handelt, die Übersetzungsschritte durchführen können. Im Rahmen einer professionellen Übersetzungsdienstleistung werden hingegen von der Planung der Lokalisierung über die Inhaltserstellung bis zur Leistungsabrechnung eine Vielzahl an menschlichen Arbeitsschritten und sprachtechnologischen Tools benötigt, um die sehr oft komplexen, bedarfsspezifischen Übersetzungsanforderungen mit möglichst wenig Zusatzaufwand bewältigen zu können. Im Weiteren müssen im Rahmen der Leistungserbringung immer anspruchsvollere Rahmenbedingungen bezüglich Datenschutz und Informationssicherheit erfüllt werden, wozu umfassende Prüfungen sämtlicher Tools und Anbieter erforderlich sind.
Unterstützung des Übersetzungsprozesses durch ChatGPT
ChatGPT bietet jedoch als weiteres sprachtechnologisches Tool vielseitige Möglichkeiten, um Texterstellungs- und Übersetzungsprozesse zu unterstützen. Nachfolgend hierzu einige Beispiele.
- Erkennung und Beseitigung von geschlechterspezifischen Abweichungen
- Interpretation von schwer verständlichen Quelltextsegmenten
- Umformulierung von einfachen, maschinell übersetzten Texten
- Erstellung von Glossarvorschlägen aus Textinhalten
- Vorschlag von Synonymen als Hilfestellung während der Übersetzung
- einfache, kreative Übersetzungen durch die Angabe von umfassenden Kontextinformationen
- schnelle Übersetzung eines Quelltexts anhand von professionellen, geprüften Übersetzungen eines Ausschnitts desselben Quelltexts
- Bewertung von professionellen Übersetzungen
Es ist davon auszugehen, dass in den kommenden Hype-Zyklus-Phasen durch die Weiterentwicklung von generativer KI zusätzliche Anwendungsfelder für ChatGPT entstehen werden. Es ist nicht ausgeschlossen (aber aktuell noch nicht absehbar), dass durch die generative KI neuronale maschinelle Übersetzungslösungen verdrängt werden.
Mehrsprachige Inhaltserstellung mit ChatGPT
ChatGPT ist in der Lage, basierend auf einem ausführlichen Briefing einen Text zu erstellen und diesen gleichzeitig in mehrere Sprachen zu übersetzen, und bietet so eine Möglichkeit für die einfache mehrsprachige Inhaltserstellung. Es ist davon auszugehen, dass sich im Rahmen von professionellen Sprachdienstleistungen zusätzlich neue Workflows etablieren werden, in welchen die einfachen mehrsprachigen Inhalte, die durch ChatGPT erstellt wurden, durch professionelle Sprachspezialisten zur Qualitätssteigerung nachbearbeitet werden.
Fazit
Zweifellos handelt es sich bei ChatGPT um eine der bisher bedeutendsten Entwicklungen eines neuronalen Netzwerkmodells. Durch die Verwendung der neuesten Transformer-Architektur, der aktuell grössten vortrainierten Sprachmodelle sowie einer einfachen, dialogbasierten Bedienungsschnittstelle ermöglicht ChatGPT erstmals auch der breiten Masse den Zugang zu generativer künstlicher Intelligenz. Viele neue Anwendungsmöglichkeiten steigern den Enthusiasmus und die Erwartungen bezüglich generativer KI, was aktuell ebenfalls zu Überschätzungen von ChatGPT führt. In Bezug auf Übersetzungen erzielt ChatGPT zwar bereits beachtliche Resultate, aber eine bessere Übersetzungsqualität wird derzeit immer noch mit neuronalen maschinellen Übersetzungslösungen erbracht. Generative KI-Tools wie ChatGPT können bereits heute professionelle Texterstellungs- und Übersetzungsdienstleistungen unterstützen. Letztendlich wird es sich aber auch nach Weiterentwicklungen nur um ein weiteres Werkzeug im Sprachtechnologie-Werkzeugkasten handeln.
