News

Chat GPT-Studie: Viele finden Fehler

22.03.2023

Dank Chat GPT ist Künstliche Intelligenz in aller Munde, doch was denken die Menschen in Deutschland wirklich über den innovativen Chat-Bot? Eins ist klar: Die meisten Nutzerinnen und Nutzer sind mit der Qualität der Ergebnisse zufrieden und vertrauen diesen. Gleichzeitig entdeckten über die Hälfte der Chat GPT-Erfahrenen Fehler in den Antworten. Das zeigt eine neue Kurzstudie von Prof. Tobias Kollmann der Universität Duisburg-Essen und dem Marktforschungsunternehmen Civey.

Civey hat im Rahmen des Forschungsprojekts mit der Universität Duisburg-Essen über 5.000 Bundesbürger:innen, als auch rund 1.500 Nutzerinnen und Nutzer von Chat GPT zu ihren Erfahrungen befragt. Dabei zeigt sich: Rund ein Viertel der Deutschen ab 18 (23%) steht der Möglichkeit, dass Menschen mit KI-Anwendungen kommunizieren können, grundsätzlich positiv gegenüber (41% negativ, 35% sind unentschieden). Bereits 17% der Bundesbürgerinnen und -bürger haben vor diesem Hintergrund schon einmal Chat GPT genutzt. Dieses Sprachmodell, das von OpenAI mit Daten aus dem Internet bis 2021 trainiert wurde, ist in der Lage, auf natürliche Weise mit Menschen in Textform zu kommunizieren und eine Vielzahl von Aufgaben auszuführen, in dem es Antworten auf verschiedene Fragen gibt.

Wer Chat GPT schon einmal genutzt hat, der nimmt das Tool durchaus intensiver in Anspruch. 5% der 1.500 befragten Nutzerinnen und Nutzer verwenden es täglich, immerhin 23% wöchentlich und weitere 21% monatlich. Die Unterschiede, ob es sich dabei um Erwerbstätige handelt oder nicht, sind minimal.

Und viele Nutzer:innen sind mit den Antworten der KI auf ihre Fragen zufrieden: 44 Prozent der befragten Personen, die Chat GPT schon einmal verwendet haben, bewerten die Qualität der Antworten mit gut oder sogar sehr gut. Demgegenüber fand nur etwa jeder zehnte Nutzer (11%), dass die Qualität eher schlecht bzw. sehr schlecht war. Janina Mütze, Gründerin und Co-CEO von Civey: „Wir erleben gerade, wie wichtig es ist, dass Menschen selbst Zukunftstechnologien und deren Nutzen für sich erleben: Künstliche Intelligenz ist an sich kein neues Thema – aber mit Chat GPT wird ein für viele abstrakter Begriff plötzlich konkret.“

Antworten von Chat GPT – kein blindes Vertrauen

„Die Qualität der Antworten hat jedoch noch nichts mit der Richtigkeit der Inhalte zu tun“, gibt Prof. Dr. Tobias Kollmann zu bedenken, Inhaber des Lehrstuhls für Digital Business und Digital Entrepreneurship an der Universität Duisburg-Essen. Vier von zehn Befragten (41%) haben Bedenken, ob die Inhalte der qualitativ gut formulierten Antworten auch tatsächlich richtig sind. Entsprechend überprüfen rund drei Viertel (73%) der Nutzer:innen die Antworten der KI. Und das offenbar zurecht, wie Prof. Kollmann feststellt: „Deutlich über die Hälfte der Befragten (59%) hat schon einmal Fehler in den Antworten von Chat GPT gefunden, so dass von einer automatischen Übernahme der Inhalte und Aussagen dringend abgeraten werden muss. Ob Mensch oder KI, es scheint auch hier der alte Spruch ‚Vertrauen ist gut, Kontrolle ist besser!‘ zu gelten.“

Privater Alltag schlägt berufliche Anwendung

Wie die Befragung der 1.500 Nutzerinnen und Nutzer zeigt, wird das KI-Tool im Moment hauptsächlich für Fragen aus dem privaten Alltag genutzt (66%). 36% der Befragten nutzen es im beruflichen Umfeld (Mehrfachnennungen waren möglich). Civey-Gründerin Janina Mütze: „Noch läuft die Experimentierphase. Viele Arbeitnehmer wissen schlicht nicht, ob und wie sie Künstliche Intelligenz für Ihre Aufgaben nutzen können. Arbeitgeber sollten diese Unsicherheit aufgreifen und gemeinsam schauen, welche Bedeutung KI für die eigene Tätigkeit hat.“

In den Schulen und Hochschulen ist Chat GPT mit 23% an Nutzerschaft auch angekommen. Bei den Themen dominieren Fragen zu Technologie und Innovation, gefolgt von gesellschaftlichen, politischen und alltäglichen Inhalten, zu denen eine Antwort von Chat GPT eingeholt wird. Herkömmliche Suchmaschinen wie Google bleiben aber trotz Chat GPT für die Mehrheit der Nutzenden (52%) die wesentliche Anlaufstelle, um nach Inhalten und Antworten im Internet zu suchen.

Angst um den Arbeitsplatz: noch überschaubar

Besonders der Einfluss von Chat GPT auf das berufliche Umfeld wird gesellschaftlich stark diskutiert. Auf die Frage „Gehen Sie davon aus, dass die Anwendung Chat GPT in Zukunft verstärkt in Ihrem Berufsfeld eingesetzt wird?“ antwortet die Mehrheit der Chat GPT-Nutzer:innen (56%) mit Ja, während 31% nicht davon ausgehen. Immerhin 22% und damit mehr als jeder fünfte Befragte glauben sogar, dass sie in Zukunft von einer KI wie Chat GPT konkrete Arbeitsanweisungen bekommen könnten. „Das zeigt die Sorge, dass die KI aus Sicht vieler Arbeitnehmer in Zukunft nicht nur zur Unterstützung von Arbeitsprozessen durch, sondern auch zur Steuerung und Organisation von Menschen eingesetzt werden könnte“, sagt Prof. Kollmann.

Mehr als ein Fünftel der Erwerbstätigen in Deutschland sieht zudem in Künstlicher Intelligenz eine Gefahr für den eigenen Arbeitsplatz (21%). „Das ist aber nur die Ruhe vor dem Sturm, denn schon heute ist absehbar, dass die Künstliche Intelligenz die Jobprofile und Aufgaben in allen Branchen, Bereichen und Hierarchien beeinflussen wird. Der Schritt zu einem Ersatz der menschlichen Arbeitskraft zugunsten einer KI ist nur noch kurz“, bewertet der Digital-Experte von der Universität Duisburg-Essen und ergänzt: „Jedes Unternehmen wird in Zukunft nicht nur die besten Mitarbeiter, sondern auch die besten KI-Algorithmen einstellen müssen.“ In diesem Zusammenhang wurde an seinem Lehrstuhl mit dem Thema „Artificial Leadership“ auch ein neues Forschungsfeld aufgesetzt.

Ergebnisse der Studie

Die Ergebnisse der Studie können hier eingesehen werden: https://app.civey.com/dashboards/chatgpt-studie-uni-duisburg-essen-14024

Hinweise zur Studie

Die Studie wurde von Civey im Auftrag von Prof. Tobias Kollmann (Universität Duisburg-Essen) durchgeführt. Dazu wurden in Februar und März 2023 online vier Zielgruppen befragt: >5.000 Bundesbürger:innen, >1.500 Nutzerinnen und Nutzer von Chat GPT, >1.000 Erwerbstätige sowie > 500 Erwerbstätige, die schon einmal Chat GPT genutzt haben. Aufgrund des Befragungszeitraums beziehen sich die Antworten auf die Entwicklungsstufe 3/3.5 des Chatbots. Den genauen Befragungszeitraum und statistischen Fehler entnehmen Sie bitte den jeweiligen Erhebungen. Die Studie wird mit einer Befragung zur Entwicklungsstufe 4 fortgesetzt.