Anwendungen der Künstlichen Intelligenz (KI) zugrunde liegende Technologie des maschinellen Lernens (ML) weist einige Besonderheiten zu anderen Bereichen der Informatik auf. Im Gegensatz zu klassischen Disziplinen der Informatik stellt ML einen Paradigmenwechsel dar – von einer programmierzentrierten hin zu einer datengesteuerten Softwareentwicklung. Das Verstehen dieses neuen Ansatzes erfordert bei Schüler:innen die Entwicklung neuer mentaler Modelle [1]. Konstruktivistischen Lerntheorien zufolge entwickeln Schüler:innen jedoch bereits vor dem formalen Kontakt im Informatikunterricht eigene Erkläransätze, wie ML-Technologien aus ihrem Alltag funktionieren, basierend auf Alltagserfahrungen, Assoziationen zu KI und ihrem Wissen über klassische Softwareentwicklung. Diese Präkonzepte sind jedoch oft nicht geeignet um ML widerspruchsfrei zu erklären, wodurch sich alternative Vorstellungen zur Funktionsweise von ML formen können.
Schülervorstellungen zu KI und ML sind bereits Gegenstand informatikdidaktischer Forschung [2]. In einer früheren Studie haben wir beispielsweise alternative Schülervorstellungen identifiziert, die im Widerspruch zu didaktischen Modellen des ML stehen [3]. Für die weitere fachdidaktische Forschung sowie die unmittelbare Unterrichtspraxis stellt sich nun die Frage, wie diese Präkonzepte im Unterricht identifiziert und deren Einfluss auf die Entwicklung gewünschten Konzeptwissens erhoben werden können. Zu diesem Zweck haben wir ein Concept Inventory zum maschinellen Lernen (CIML) in der Form eines Fragebogens entwickelt, welches sowohl zur Erfassung vorhandener Präkonzepte als auch zur Erhebung von Konzeptwissen dient. Im Folgenden wird der Aufbau, die Entwicklung und der aktuelle Stand des Messinstruments vorgestellt.
Zielgruppe des Fragebogen sind Schüler:innen aller Schulformen ab Klassenstufe 8. Der Fragebogen umfasst sieben Fragen, die jeweils ein spezifisches ML-Konzept thematisieren. Die Auswahl dieser Konzepte erfolgte durch die Definition fachlich korrekter Konzepte im Kontrast zu bestehenden alternativen Vorstellungen. Für die einzelnen Konzepte wurde jeweils eine Frage im Kontext von ChatGPT und der Entsperrung per Gesichtserkennung im Smartphone formuliert. Jede Frage umfasst mehrere Aussagen, die als wahr oder falsch bewertet werden k¨onnen. Die Teilnehmenden können beliebig viele Aussagen als richtig oder falsch bewerten. Der Fragebogen erfordert kein spezielles Vorwissen bezüglich Fachsprache und kann daher bereits vor Beginn einer Unterrichtsreihe und damit in einem Prä-Post-Testdesign eingesetzt werden (siehe Abbildung 1 für ein Beispiel).
Der Fragebogen wurde iterativ entwickelt. Basierend auf einer Literaturanalyse [2] und einer Interviewstudie mit sieben Schüler:innen [3] wurden grundlegende ML-Konzepte abgeleitet und alternative Präkonzepte zu diesen identifiziert. Über verschiedene Iterationen mit unterschiedlichen Klassenstufen mit über 100 Schüler:innen wurden ungeeignete Distraktoren identifiziert und die Verständlichkeit des Fragebogens verbessert. Zusätzlich wurde über zwei Runden der Fragebogen von 38 KI-Expert:innen ausgefüllt, um das Instrument fachlich zu evaluieren. Aus diesen Erkenntnissen entstand eine überarbeitete Version des Instruments, die mit 231 Gymnasialschüler:innen der 10. Klassenstufe getestet wurde. Die erhobenen Daten wurden genutzt um mittels Item-Response-Theory (IRT) die psychometrischen Eigenschaften des Tests, wie beispielsweise die Schwierigkeit einzelner Items, zu bestimmen.
Im Workshop wird der Aufbau und die Auswertung des Fragebogens mittels IRT vorgestellt. Zudem laden wir alle anwesenden Expert:innen und Lehrkräfte ein, die abgefragten ML-Konzepte sowie die Itemformulierung zu reflektieren und praktische Hinweise zum Einsatz in Unterrichtsszenarien zu geben.