Steht KI bald für "keine Intelligenz"?

ChatGPT wird laut Studie immer dümmer

André Reinhardt
0 Kommentare
aktualisiert am 27.07.2023

Eigentlich sollte eine künstliche Intelligenz wie ChatGPT mit der Zeit besser werden. Forscher haben allerdings entdeckt, dass das Gegenteil der Fall ist. Der Chatbot verblödet.

ChatGPT benötigt Feinschliff

ChatGPT wurde in drei Monaten dümmer

Der Hype um das generative Sprachmodell ChatGPT reißt nicht ab. Es findet verstärkt auf Handy und PC im Alltag, Beruf und Schulen Verwendung. Wahrscheinlich hast Du Dir die Software schon angeschaut. Regelmäßig veröffentlicht das Entwicklerstudio OpenAI größere Updates des Large language model. Das ist die Basis der KI. Nach GPT-3.5 im März 2020 ging es auf GPT-4 im März 2023 hoch.

Wenn Du nun glaubst, dass der Chatbot dadurch schlauer geworden ist, irrst Du Dich. Golem macht auf eine Studie der Standford University aufmerksam. Die Forscher Lingjiao Chen, Matei Zaharia und James Zou haben sich drei Monate lang der cleveren Software gewidmet. Dabei kam heraus: allzu clever ist ChatGPT gar nicht (mehr). Von März bis Juni verschlechterten sich die Ergebnisse sukzessive.

Bis zu 95 Prozent falsche Antworten

Eine künstliche Intelligenz ist sehr komplex. Dass sich Fehler einschleichen, kannst Du bestimmt nachvollziehen. Allerdings sank die Trefferquote der Software in letzter Zeit rapide. So wollten die Forscher etwa wissen, ob 17.077 eine Primzahl ist. Im März lieferte ChatGPT-4 zu 97,6 Prozent das korrekte Ergebnis. Besagte Ziffer ist in der Tat eine Primzahl. Dasselbe Sprachmodell griff im Juni aber oft ins Klo.

Nur 2,4 Prozent der Anfragen bearbeitete der Chatbot richtig. ChatGPT-3.5 schnitt wiederum im Juni besser als im März ab. Der Abstand war aber nicht so eklatant. Wir haben uns für Dich ebenfalls wiederholt bei der KI erkundigt, ob 17.077 eine Primzahl ist. Eine richtige Antwort bekamen wir leider nicht. Bei ausführbaren Codes verschlechterte sich GPT-4 von 52 auf zehn Prozent.

Verlasse Dich nicht zu sehr auf die KI

Die Forscher haben auch größere Veränderungen bei sensiblen Fragen und visuellen Schlussfolgerungen bemerkt. Dies reiht sich ein in zahlreiche Berichte über Falschaussagen und erfundene Informationen – sogenannte Halluzinationen – bei der KI. Es gibt also noch Nachholbedarf bei ChatGPT. Wenn Du ein möglichst authentisches Ergebnis möchtest, ist die eigene Recherche oder ein Gespräch mit einer erfahrenen Person immer noch der beste Weg. Google Bard hat übrigens die Frage nach der Primzahl richtig beantwortet.