Sprachliche Handlungsmuster & Text(sorten)kompetenz : ein Sammelband im Rahmen der IDT 2022 / von Schicker, Stephan / ChatGPT – maschinelle und menschliche Textsortenkompetenz

Der vorliegende Beitrag untersucht, wie 40 angehende Deutschlehrkräfte einen argumentativen Text von ChatGPT 3.5 anhand des Beurteilungsrasters für die österreichische Matura im Vergleich zu einem Text, der von einem Menschen geschrieben wurde, beurteilen. Hierzu wird zunächst der öffentliche und wissenschaftliche Diskurs zu den aktuellen Entwicklungen in der KI-Forschung skizziert und es werden die Ergebnisse bisheriger Studien zu den Schreibfähigkeiten von ChatGPT dargestellt. Auf dieser Grundlage werden die beiden Texte zunächst qualitativ analysiert, anschließend werden die quantitativen Ergebnisse der Textbeurteilung durch die angehenden Lehrkräfte vorgestellt und diskutiert. Die Ergebnisse der Untersuchung zeigen, dass keinem bzw. keiner Proband*in von sich aus aufgefallen wäre, dass es sich bei einem der Texte um einen Text von ChatGPT handelt. Darüber hinaus zeigt die Untersuchung, dass ChatGPT in der Lage ist, einen kohärenten, inhaltlich elaborierten und sprachlich weitgehend korrekten argumentativen Text zu produzieren, der von den angehenden Lehrkräften im Mittel mit der Gesamtnote Gut beurteilt wird. Gleichzeitig übernimmt die KI beim Paraphrasieren der Textbeilage ganze Textpassagen fast wortwörtlich und zeigt einen syntaktisch und lexikalisch höchst repetitiven Sprachgebrauch. This paper investigates how 40 prospective German teachers assess an argumentative text from ChatGPT 3.5 using the SRDP assessment grid for the Austrian Matura in comparison to a human text. For this purpose, the public and scientific discourse on current developments in AI research is first outlined and the results of previous studies on the writing abilities of ChatGPT are presented. On this basis, the two texts are first analysed qualitatively. Then the quantitative results of the text assessment of the pre-service teachers are presented and discussed. The results of the study first show that none of the pre-service teachers would have noticed that one of the texts is a ChatGPT text. Moreover, the study indicates that ChatGPT is able to produce a coherent, elaborate, and linguistically largely correct argumentative text, which is assessed on average with the overall grade Good. At the same time, when paraphrasing the source text, the AI copies entire text passages almost word-for-word and shows a syntactically and lexically highly repetitive use of language.