Kumulative Dissertation, Otto-Friedrich-Universität Bamberg, 2022

The field of learning has been researched in multiple ways and directions. The different learning strategies of individual learners represent one of those fields. Especially in traditional learning environments, such as school or university, learners tend to result-driven learning strategies like massing and cramming, which foremost aim at using the short-term memory to have the necessary information available during a test or an exam. An approach that focuses more on the long-term is called “spacing” and uses sophistically determined intervals between learning sessions that are unique to each learner and are proven to have a positive effect on the sustainable retention of knowledge. However, since spaced repetition is still a repetition-based learning strategy, it is prone to bore the learners by requiring them to repeat the same action over and over again.

One approach to take the boredom out of repetition-based learning is gamification or game-based learning. Using learning games can lead to a higher motivation and thus to a higher probability that the learners continue to use the game and keep on learning through it. Current technologies like smartphones and tablets are capable of handling sophisticated learning games, offer the possibility to use them ubiquitously and therefore act as a facilitator for a learning on demand.

While spaced repetition is not a new field of research, the effect of this learning approach on the learning success has not yet been researched when being used in combination with a mobile learning game. Combining the motivating effect of ubiquitous game-based learning with spaced repetition seems to be a promising combination for an improved learning success. The aim of the presented research is to investigate if using spaced repetition in a mobile learning game leads indeed to the desired success.

To do so, several aspects were considered, including how the SM2 spaced repetition algorithm can be integrated into a mobile learning game, the negative effect that too much motivation can have, how to deal with early and late repetitions, how to conclude automated tests of the implementation, how to collect and filter real-world data to analyze the effectiveness, and how learning analytics can be applied to this analysis. For the data collection, an algorithmic framework, containing the SM2 and the self-developed FS algorithm was integrated into an established geography learning game. The collected data was then filtered and analyzed in accordance with an established definition for learning success. For this, a test group with players who played at least one category from the learning game strictly according to the spaced repetition approach and a control group with players who played the game at more or less random times were built from the collected data. Their progress throughout the observation period was compared and a conclusion was drawn from this.

The two main indicators for the effect on the learning success were defined as the “Average Base Knowledge” (ABK) and the “Average Retention Score” (ARS). The ABK is the average number of correct answers during the first game in both groups, while the ARS is the average correctness during the so-called "leaerning-games", which are the games from the 3rd to the nth game. While both groups started with a comparable ABK of 0.5, the test group already achieved an almost perfect ARS for the fourth game (i.e. the third repetition) of 0.95. The control group on the other hand reached an ARS of 0.63 for the same repetition without the interval calculation by the SM2 algorithm. This effect continues during the following repetitions, during which the ARS for the test group stayed between 0.98 and 1.0, while the control group reaches a maximum ARS of 0.87 after 14 games, which marked the end of the observation period. Further structure exploratory analyses, such as a cluster analysis and a logistic regression confirmed the findings from the comparison of the development of the ABK and the ARS.

Summarized, the analyses showed that there is a considerable difference between the two groups. Foremost, while the retention improved in both groups, the test group achieved a quicker improvement and a lasting retention of knowledge over time, which is matches exactly the definition that was established for learning success in the presented research.

Die Tätigkeit des Lernens wurde von der Wissenschaft bereits in den verschiedensten Richtungen untersucht. Einer der dabei betrachteten Bereiche ist der der Lernstrategien von verschiedenen Lernern. Vor allem in traditionellen Lernumgebungen wie der Schule oder der Universität setzen viele Lerner auf eine zielgetriebene Lernstrategie, bei der das vorrangige Ziel darin besteht, möglichst viele Informationen im Kurzzeitgedächtnis zu speichern, um es während einer Prüfung parat zu haben, diese zu bestehen und im Idealfall ein gutes Ergebnis zu erzielen. Eine Lernstrategie, die auf einen nachhaltigeren Ansatz abzielt, ist das sogenannte “spacing”, bei dem Lerninhalte zu nach psychologischen Modellen und für jeden Lerner individuell berechneten Intervallen wiederholt werden, um einen Langzeiteffekt zu erzielen. Da jedoch auch dieser Ansatz auf dem Wiederholen von Inhalten basiert, ist er anfällig dafür, den Lerner mit der Zeit zu langweilen.

Ein Ansatz, dieser Langeweile entgegenzuwirken, ist die "Gamifizierung" oder das spielebasierte Lernen. Die Verwendung von Lernspielen kann zu einer höheren Motivation bei den Lernern führen, das Spiel dauerhaft zu nutzen und auf diese Weise zu lernen. Aktuelle Technologien wie Smartphones und Tablets sind in der Lage, selbst aufwändige Lernspiele zu jeder Zeit und an jedem Ort verfügbar zu machen. Hierdurch wird der Lerner in die Lage versetzt, Lernspiele in allen möglichen Situationen zu nutzen, was den aktuellen Trend zum „learning on demand“ unterstützt.

Während das Konzept der „Spaced Repetitions” kein neues Forschungsfeld darstellt, wurde bislang noch nicht der Effekt untersucht, den diese Lernstrategie auf den Lernerfolg hat, wenn sie in gemeinsam mit einem mobilen Lernspiel eingesetzt wird. Die Kombination aus der motivierenden Wirkung von überall verfügbaren mobilen Lernspielen und „Spaced Repetition“ stellt einen vielversprechenden Ansatz dar, um einen verbesserten und nachhaltigen Lernerfolg zu erzielen. Das Ziel der vorliegenden Forschungsarbeit ist es zu untersuchen, ob dieser Effekt tatsächlich zu beobachten ist.

Hierzu wurden verschiedene Aspekte berücksichtigt, wie beispielsweise die Frage, ob und wie der SM2 Spaced-Repetition-Algorithmus in ein mobiles Lernspiel integriert werden kann, wie sich zu viel Motivation negativ auswirken kann, wie mit verfrühten und verspäteten Wiederholungen umgegangen wird und wie automatisierte Tests der Implementierung durchgeführt werden können. Um eine Auswertung durchführen zu können, wurde ein Framework, bestehend aus dem SM2 Spaced-Repetition-Algorithmus und dem selbstentwickelten FS-Algorithmus in ein etabliertes Geografie-Lernspiel integriert. Die auf diese Weise gesammelten Daten wurden anschließend im Hinblick auf eine aufgestellte Definition für den Lernerfolg gefiltert und analysiert. Zu diesem Zweck wurden eine Test- und eine Kontrollgruppe gebildet und ihre Ergebnisse während des Beobachtungszeitraums miteinander verglichen.

Als die beiden wesentlichen Indikatoren für die Auswirkungen auf den Lernerfolg wurden die “Average Base Knowledge” (ABK) und der “Average Retention Score” (ARS) definiert. Die ABK ist dabei die durchschnittliche Anzahl von richtigen Antworten während des ersten Spiels innerhalb der jeweiligen Gruppen, während der ARS die durchschnittliche Korrektheit während der "Lernspiele", also während des 3. und des n. Spiels wiedergibt. Während beide Gruppen mit einer vergleichbaren ABK von 0,5 starteten, erreichten die Mitglieder der Testgruppe einen beinahe perfekten ARS von 0,95 bereits beim vierten Spiel, also der dritten Wiederholung. Bei der Kontrollgruppe hingegen lag der ARS bei derselben Wiederholung ohne die Nutzung der Intervallberechnungen durch den SM2 Algorithmus lediglich bei 0,63. Dieser Effekt kann auch bei den weiteren Wiederholungen beobachtet werden, bei denen sich der ARS bei der Testgruppe zwischen 0,98 und 1,0 bewegte, während die Kontrollgruppe einen maximalen ARS von 0,87 nach 14 Spielen erreichte, was das Ende der Beobachtungszeit markierte. Eine Clusteranalyse und eine logistische Regression als weitere strukturentdeckende Analysen bestätigten die Erkenntnisse aus dem Vergleich der Entwicklungen von ABK und ARS.

Zusammengefasst zeigte die Auswertung der Spieldaten einen deutlichen Unterschied zwischen den beiden Gruppen. Während sich die Qualität der Antworten in beiden Gruppen verbesserte, trat dieser Effekt bei der Testgruppe deutlich schneller ein und blieb anschließend während des Beobachtungszeitraums auf einem hohen Niveau, was exakt der zuvor aufgestellten Definition von Lernerfolg für die vorliegende Forschungsarbeit entspricht.