GPT-4 und GPT-4.5

geändert am 20. Dezember 2023

Update: Jetzt kommt Butter bei die Fische. Aus den Gerüchten wird langsam ernst. Nutzer von ChatGPT Plus können GPT-4.5 Turbo nutzen. Zwar offiziell noch „inoffiziell“, aber es ist verfügbar und bietet Google Gemini-KI Ultra vermutlich Paroli. Hier das Announcement:

GPT-4.5 in ChatGPT plus verfügbar

Die Sprachmodelle GPT-4 und GPT-3

GPT-3 und GPT-4 sind zwei Sprachmodelle, die OpenAI entwickelte, um Text zu verstehen und zu erzeugen. Beide Modelle basieren auf künstlichen neuronalen Netzen, welche die Softwareentwickler mit riesigen Mengen an Internetdaten trainierten.

OpenAI veröffentlichte GPT-3 im Mai 2020, GPT-4 im März 2023. Der Hauptunterschied zwischen GPT-3 und GPT-4 liegt in ihrer Größe und Komplexität. GPT-4 kann umfangreichere Aufgaben bewältigen und genauere Antworten als GPT-3 generieren. Damit ist Generative Pre-Trained Transformer-4 ein unglaublich leistungsfähiges Werkzeug, um natürliche Sprache zu verstehen und anzuwenden.

GPT-4, Generative Pre-Trained Transformer (GPT), ein künstliches Gehirn

Generative Pre-Trained Transformer (GPT) ist ein fortschrittliches neuronales Netzwerk, das beim Training großer Sprachmodelle zum Einsatz kommt.

Das Bild stammt von Bing.

Was ist der Unterschied von GPT-4 gegenüber GPT-3?

Einen wesentlichen Unterschied bilden die Trainingsdaten. Während GPT-3 auf 175 Milliarden Parametern basiert, liegen GPT-4 vermutlich rund eine Billion Parameter zugrunde. Die umfangreicheren Trainingsdatensätze verleihen GPT-4 eine breitere Wissensbasis und ein verbessertes Kontextverständnis.

Ferner ist der aktuelle Generative Pre-trained (GPT) Transformer besser in der Lage, längere Textpassagen zu verarbeiten, dem roten Faden zu folgen und inhaltlich relevantere Antworten zu liefern. Gemäß OpenAI ist GPT-4 „zehnmal fortschrittlicher als sein Vorgänger GPT-3.5“.

Während die Quellen von GPT-3 auf Bücher, Artikel und Websites beschränkt sind, trainierte OpenAI die neue KI auch mit Bildern.

Im Wesentlichen schlägt der aktuelle Generative Pre-Trained Transformer das ältere GPT-3 in folgenden Aspekten:

  • in 24 getesteten Sprachen
  • bessere Lernfähigkeit mit weniger Beispielen
  • lernen anhand visueller Eingaben
  • verstehen längerer Kontexte
  • erzeugen relevanterer Texte
  • präzisere Ergebnisse bei komplexen Anforderungen

Allerdings ist das Wissen über den September 2021 hinaus nach wie vor eingeschränkt.

Unterschied GPT-4 zu GPT-3 im persönlichen Vergleich

Im persönlichen Vergleich von ChatGPT basierend auf GPT-3 und der Microsoft Suchmaschine Bing aufbauend auf GPT-4, zeigte sich ein wesentlich geringerer Münchhausen-Effekt.

Fragen, die ich beim Erstellen meines E-Books „ChatGPT – Schreibprofi mit KI“ an die KI stellte, vermasselte ChatGPT, während Bing sie praktisch fehlerlos beantwortete. ChatGPT ging dabei soweit, dass die KI sogar URLs zu Websites frei erfand. Bing hingegen nennt echte weiterführende Webseiten.

OpenAI gibt an, dass GPT-4 Antworten mit einer “40 % höheren Wahrscheinlichkeit sachlich richtigere Angaben als GPT-3.5” liefert. Wie OpenAI dies gemessen hat, ist jedoch offen.

Allerdings schnitt GPT-3 beim Umformulieren vorgegebener Texte meiner Meinung nach besser ab. Es zeigt, dass dieses Modell mehr auf die Nutzereingabe eingeht, zumindest erhielt ich diesen Eindruck.

Wie lassen sich Unterschiede messen?

Um Unterschiede zwischen GPT-3 und GPT-4 zu messen, können Sprachexperten und Datenwissenschaftler verschiedene Metriken nutzen, wie etwa die Genauigkeit, die Konsistenz, die Vielfalt, die Relevanz oder die Sicherheit der erzeugten Texte. Alternativ lassen sich unterschiedliche Benchmarks verwenden, wie etwa General Language Understanding Evaluation (GLUE), SuperGLUE oder LAMBADA.

Allerdings sind diese Metriken und Benchmarks nicht perfekt und können einige Aspekte der Sprachqualität nicht erfassen, wie z.B. den Stil, den Ton oder die Kreativität.

Ein weiterer Ansatz für den Vergleich ist die Geschwindigkeit des Modells. Je schneller die Reaktionszeit, desto effizienter ist das Modell. Da GPT-4 relativ neu am Markt ist, gibt es dazu kaum Informationen.

Was sind GPT Modelle eigentlich?

Generative Pre-Trained Transformer (GPT) ist ein fortschrittliches neuronales Netzwerk, das beim Training großer Sprachmodelle zum Einsatz kommt. Es nutzt riesige Mengen öffentlich zugänglicher Texte im Internet, um menschliche Kommunikation nachzuahmen.

GPT-4 und GPT-3 sind solche Sprachmodelle, wobei GPT-4 eine Weiterentwicklung von GPT-3 ist. Sie nutzen Deep Machine Learning, um Texte in natürlicher, menschenähnlicher Sprache zu generieren.

Die Entwicklung von GPT-1 zu GPT-3

OpenAI entwickelte alle Modelle von GPT-1 bis GPT-3. Die Anzahl der Parameter betrugen:

Modell                                Anzahl der Parameter

GPT-1                                 117 Millionen

GPT-2                                 1,5 Milliarden

GPT-3                                 175 Milliarden

Zusammenfassend lässt sich sagen, dass die GPT-Modelle eine bemerkenswerte Entwicklung in Bezug auf das Verständnis und die Erzeugung natürlicher Sprache darstellen. Mit jeder neuen Version erhöhten sich Größe und Komplexität, was zu einer breiteren Palette von Aufgaben und einer tieferen Sprachkompetenz führte.

Darüber hinaus erzielten die Modelle kontinuierliche Verbesserungen in Bezug auf Verständnis und die Erzeugung natürlicher Sprache, was ein wichtiger Fortschritt in der KI-Forschung darstellt.