Big Data ohne Plan – Analyse von Lernerlebnissen

Mobile Angebote werden immer häufiger genutzt. Dabei entsteht die Notwendigkeit, Aktivitäten von Lernenden genauer zu verfolgen. Wer Lernschritte nachweisen muß (etwa zu Compliance-themen), muß dies auch für die Nutzer von mobilen Geräten anbieten.

Themen aus dem Umfeld von Analytics werden darum immer wichtiger: welche Angebote nutzen die Lernenden, auf welchen Geräten sind sie aktiv und was ist der Status zu einem bestimmten Training, was kann man ihnen empfehlen, was kann man besser machen.[1]

Analytische Aufgaben basieren auf den passenden Technologien – im modernen digitalen Lernumfeld sind dies die Möglichkeiten aus dem xAPI-Umfeld.

Da Analytics zu den wichtigsten Trends im Lernbereich gehört, stellen wir das Thema etwas ausführlicher vor.

Was sollen all diese Daten?

Mit Analysetool könnten Vorhersagen etwa zur Performance eines Mitarbeiters in einem bestimmten Aufgabenfeld möglich werden.

Auf dem Weg dorthin würden heute schon einmal Hilfestellungen sinnvoll sein, die einem Mitarbeitern passende Themen oder weiterführende Informationen vorschlagen – in etwa so, wie dies in den üblichen Einkaufsportalen üblich ist: thematisch passende Empfehlungen, „andere Anwender haben..“, mehr Videos usw.

Es geht hier nicht um Korrelationen zwischen den Ergebnissen in Lerntests und der Buchungsqualität. [2]

Im Kontext einer digitalen Lernstrategie sollten Analysethemen die Learner Experience unterstützen und überhaupt einmal alle Informationen nutzen, die zur Verfügung stehen bzw. stehen könnten:

  • Grundlage und Ausgangspunkt ist die deskriptive Analyse: Was passiert, welche Inhalte und Medien werden genutzt, wann, von wem, welche Rollen und Skills stehen hinter den Abrufen, auf welchen Endgeräten wurde gelernt oder nachgeschaut, wie lange, wie oft. Welche Inhalte werden empfohlen, welche Inhalte sind eigene Favoriten oder Lesezeichen geworden usw.
  • Danach kann man mit ersten Verbindungen anfangen und Vermutungen prüfen, um Ursache und Wirkung zu ermitteln: stehen die Daten im Zusammenhang von Rollouts, neuen Produkten, neuen Prozessen, haben neue Mitarbeiter angefangen, wurde ein Standort eröffnet, ist ein Dienstleister mit einer neuen Aufgabe hinzugekommen?
  • Lassen sich hier schon Ergebnisse finden und kann man Angebote und Abläufe in der Ausbildung verbessern: können Inhalte auf bestimmte Medien verlagert werden, ist die Dauer der Trainings sinnvoll, was ist mit dem Themenzuschnitt, was eignet sich gut für Einsteiger, wie sieht ein gutes Refresher-Angebot aus?
  • Ab jetzt beginnt der Bereich der Prognosen. Bis jetzt wurden Fakten ermittelt und Zusammenhänge überprüft – jetzt kann man genauere Zusammenhänge herstellen. Passen die Angebote zu bestimmten Skills, was ist mit dem Zusammenhang von Skill, Lernangebot und Buchungsqualität?
  • Zuletzt können die Informationen für die Weiterentwicklung der Strategie genutzt werden. Die Fragestellung ist hier, mit welchen Szenarien und Modellen zukünftige Aufgaben gelöst werden können oder, einen Schritt zuvor, mit welchen Angeboten gewünschte Zielszenarien erreicht werden können (z.B. bei der Vermeidung von Fehlbuchungen im Umfeld von Rollouts).

Für diese Aufgabenstellungen werden zunächst einmal Daten benötigt.

Diese Daten müssen über Klickzeiten und Abbruchquoten hinausgehen. Neue Medien und Lernabläufe müssen in die Analyse einfließen. Bei Videos etwa könnte belegt werden, ob bestimmte Passagen mehrfach betrachtet werden, was übersprungen wird usw.

Für diese Aufgaben müssen Daten ermittelt werden, die nicht mehr aus der LMS-Welt kommen. Relevant wird jetzt die Nutzung von Apps, sozialen Komponenten oder Plattformen, die Nutzung von Angeboten in Lernportalen usw.

Grundlage für eine Auswertung dieser Daten sind dann Technologien, die im xAPI-Umfeld angesiedelt sind.

Jetzt wird’s technisch: SCORM, xAPI, cmi5[3]

Die (begrenzte) Bedeutung von LMS-Systemen unter pädagogischen Gesichtspunkten hatten wir schon bei der Betrachtung von Lernstrategien dargestellt. Hier geht es nun um die Technik zur Analyse bzw. zur Verfolgung der „Reise“ eines Lernenden durch ein Lernprogramm.

Ausgangspunkt ist ein Szenario, das Lernen nur am Bildschirm von Desktop-Computern kennt: SCORM (Sharable Content Object Reference Module) ist eine Sammlung von Standards und Spezifikationen zur einheitlichen Abwicklung von eLearnings.

SCORM-basierte LMS-Systeme können Inhalte abspielen, die diesem Protokoll entsprechen. Es beinhaltet ein paar Optionen für spätere Status-Auswertungen wie etwa die für ein Training benötigte Zeit, die Informationen zur vollständigen „Durchführung“ des Trainings und ob der Kurs bestanden wurde oder nicht. Die dabei ermittelten Daten sind noch weit von dem entfernt, was man für Analysen von Lernabläufen erwarten kann.

Das alles hört sich nach wenig an, aber bis vor kurzem wurde nicht mehr verlangt. eLearning bestand in der Tat darin, daß einheitliche Angebote für eine festgelegte Bildschirmgröße, einen festen Kanal und für den Abruf über ein Endgerät produziert wurden.

SCORM wurde zuletzt 2004 einer größeren Revision unterzogen – inzwischen ist das Protokoll jedoch fast 15 Jahre später obsolet geworden und mit der Einführung der Experience API (xAPI) wurde die Grundlage für einen neuen Standard gelegt.

Mit Experience API (oder Tin Can/xAPI) ist ein neuer Standard entstanden, der die Anforderungen von Mitarbeitern umsetzen kann, die an verschiedenen Geräten arbeiten und immer online sind.

Dazu gehört auch die Fähigkeit, den Status über verschiedene Geräte hinweg zu verfolgen. xAPI wurde 2013 veröffentlicht. Im Unterschied zu SCORM geht es dabei nicht um eine Spezifikation der LMS-to-Content-Kommunikation. xAPI ist kein Ersatz für SCORM. xAPI definiert die Kommunikation zwischen einer Lernumgebung und dem Learning Record Store (LRS)[4]– dort werden Lernabläufe und Aktivitäten aus allen angebundenen Systemen[5]abgelegt.

Der LRS ist der Bereich eines Lernsystems, in dem Daten aus verschiedenen Quellen zu allen Lernerfahrungen abgelegt werden

Mit xAPI kann man ermitteln, was Mitarbeiter wo abrufen und wie sie dort mit Medien und deren Inhalten umgehen. Dadurch können Lernangebote optimiert werden.

Im Unterschied zu SCORM wurde xAPI explizit für die Nutzung von mobilen Geräten entwickelt. Hier kann man verfolgen, ob ein Anwender vom PC auf das Smartphone wechselte oder ob man im Zusammenhang mit seiner Arbeit erst einmal ein Gerät fotografieren oder einen Status scannen mußte, ob man dann mit Kollegen diskutiert, um später den „richtigen“ Videoclip mit den benötigten Informationen abzurufen.

Plant und konzipiert man also echte mobile Lernangebote, so ergibt sich damit praktisch automatisch die Implementierung von xAPI-Funktionen. Nur so ist Analytics möglich. Anders kann weder persönliches Lernen sinnvoll weiterentwickelt werden noch kann man Mitarbeiter gezielt fördern (auch Mentoring benötigt eine Faktenbasis).

Mit xAPI kann Lernen vollumfänglich begleitet werden. Aus der SCORM-Sicht ist es schwer vorstellbar, wieso die Lektüre eines Online-Artikels oder das Betrachten eines Videos oder sogar der Chat mit Kollegen Daten für ein Reporting liefern könnte. Natürlich kann man auch ab und zu am PC einen Kurs bearbeiten, aber das wird nur einen Teil der gesamten Lernaktivitäten ausmachen.

xAPI funktioniert in etwa wie das Reporting in sozialen Netzwerken. Dort wird registriert, was man betrachtet hat, ob einem etwas gefällt, ob Bilder hochgeladen wurden oder ob ein Link geteilt wurde.

Gerade bei Lernabläufen ist das Gesamtbild wichtig: es kann ja sein, daß man ein Training alleine durcharbeitet und den Abschlußtest nicht besteht, dann aber mit Kollegen spricht, zu einem der Themen ein kurzes Video ansieht und dann den Test noch einmal aufruft – und besteht.

In der SCORM-Welt wäre das einfach ein zweiter Versuch und der erste Fehlversuch würde den Mitarbeiter auf die Liste derjenigen setzen, die scheinbar länger brauchen. Die Gründe dafür werden nicht ermittelt (in unserem Beispiel kann es am schlechten Content liegen).

Mit xAPI kann man also auch informelles Lernen registrieren und damit beobachten, wo und was zu verbessern ist. Um das Beispiel aufzugreifen: vielleicht gehörte das kurze Video ja zu einem Angebot, daß auch andere empfohlen haben.

Nicht bestandene Tests lösen in der SCORM-Welt keine besonderen didaktischen Überlegungen aus.

2016 wurde im Umfeld von xAPI mit cmi5 eine Erweiterung verabschiedet, die einen vollständigen Use Case für xAPI mit Bezug auf ein LMS abbildet. Die Spezifikation legt nun fest, wie Lerninhalte importiert, gestartet und verfolgt werden, wenn LRS-Informationen genutzt und mit xAPI fortgeschrieben werden.[6]

Zusammenfassende Bewertung der Technologien

Wir sind nun bei einem typischen modernen Lernszenario angekommen. Betrachten wir den „klassischen“ Fall: ein Anwender beginnt ein Training am PC, bricht das Training an einer bestimmten Stelle ab und setzt es später über ein mobiles Gerät fort. Aus SCORM-Sicht kann diese Fortsetzung nicht verfolgt werden, weil die mobile Verbindung zum Server nicht verfolgt werden kann.

Technisch gesehen kann man die Lernanwendung so entwickeln, daß das System bei Abbruch einer PC-Verbindung das Angebot automatisch auf einem Smartphone fortsetzt bzw. die Fortsetzung dort anbietet. Das entspricht dem Szenario von modernen Apps aus dem Umfeld von Video-Streaming (z.B. bei NetFlix oder Sky).

Im Mittelpunkt steht bei cmi5 mobiles Lernen. Einige Defizite von SCORM werden ebenfalls ausgeglichen: mit cmi5 werden im Unterschied zu SCORM nur noch Kursstrukturen importiert und keine Inhalte mehr. Die Inhalte können dann beliebig abgelegt werden. Neben dieserInteroperabilität können auch unterschiedliche Datenformate genutzt werden. Hierzu gehören nun auch Binärformate wie Videos, Bilder oder Audioclips.

Die folgende Aufstellung bewertet weitere typische Szenarien:

Szenario Lösung mit SCORM Lösung mit xAPI
Ein Lernsystem stellt ein Video mit einem Prozessablauf zum Abruf bereit.

Die Nutzungs­information­en des Moduls (Lern­fort­schritt usw.) sollen im LRS abgelegt werden.

Entweder (1) wird das LMS so angepaßt, daß dort Videos als Content integriert sind und außerdem wird dafür auch das Lernsystem an das LMS angepaßt, damit es die Daten an das LMS sendet oder (2) das Lernsystem legt das Video extern ab.

 

Alle Daten inklusive der Videodatei werden im LRS abgelegt.
Ein Training besteht aus verschiedenen zusammenhängenden Modulen. Auf Basis der in Modul 1 vom Nutzer eingege­benen Informationen werden in Modul 3 spezifische Abläufe an­gezeigt. Das ist mit SCORM nicht möglich.

Somit müssen wieder das LMS und das Lernsystem aufeinander angepaßt werden oder das Lernsystem kann Daten irgendwo extern ablegen.

Das Lernsystem kann beliebige Informationen im LRS ablegen.

Einheit 1 schreibt die Informationen in den Datensatz.

Einheit 3 liest die entsprechenden Daten dann aus dem LRS.

Ein eLearning mit verschiedenen Modulen wie Video, Sprachclips, Animationen usw. wird in einem Unternehmen global zur Nutzung verteilt. Mit SCORM wird der Inhalt komplett auf den zentralen LMS-Server gelegt und von dort global abgerufen.

Die Anwender haben in der Regel Performance­probleme.

 

Der Inhalt wird über die Contentverteilung (Medienserver usw.) auf verschiedenen Servern abgerufen

Es gibt keine Performance­probleme.

Aus dieser kurzen Übersicht ergibt sich, daß xAPI-Kompatibilität zu einer wichtigen Funktion von Contentsystemen werden wird. Wer Lernprogramme entwickelt, muß deren Nutzung digital begleiten können und die Nutzung der Lernangebote dokumentieren.

Mit xAPI können z.B. mobile Angebote, Spiele, Simulationen, informelles Lernen und die Abrufe von anderen Inhalten aus dem Lernportal analysiert werden.

Anbieter von moderneren LMS-Umgebungen[7]berücksichtigen dies auch schon.

Wichtig ist dabei: xAPI / cmi5-Protokolle werden in einem LRS abgelegt. Die Informationen werden nicht Teil des LMS. Damit ein LMS-System mit diesen Informationen umgehen kann, muß es entsprechende Schnittstellen bieten[8]. Damit könnten vorhandene (ältere) LMS-Systeme in einer modernen technologischen Umgebung überleben. Der Preis der Anpassung dürfte allerdings höher als der damit erkaufte Nutzen sein: moderne Lernangebote basieren auf modularem Content, der immer wieder neu und passend zugeschnitten oder gesucht und abgerufen werden kann. Traditionelle LMS-Systeme sind in der Regel eher mit langen Folienstrecken befüllt.

Wer Lernen analysieren will, kommt mit gepimpten Altsystemen nicht weit.

Die Beschaffung von Lerntechnologie kann also mit Einschnitten verbunden sein – unbrauchbarer Content muß analysierbar gemacht werden. Der Nutzen für das Unternehmen rechtfertigt diesen Schritt. Nur so wird echtes digitales Lernen möglich.

Dieser Beitrag beleuchtet einen Aspekt unseres Whitepapers „Lerntechnik für Strategen“. Wenn Sie mehr erfahren wollen, dann können Sie das Dokument hierherunterladen.

 

[1]Hinweise z.B. hier

[2]Völlig unabhängig von Datenschutzthemen ist das eine schon im schulischen Umfeld lange abgeschlossene Diskussion, die durch digitale Möglichkeiten nun im Unternehmensumfeld nicht unbedingt neu aufgewärmt werden muß. Zwischen Testergebnissen und einer späteren Performance besteht kein wirklicher Zusammenhang. Darum wird hier auf eine vertiefende Darstellung und eine Literatursicht verzichtet.

Eher passend ist hier eine Betrachtung des ROI von Fortbildung, der sich in einem realistischen Ansatz über das ergibt, was „auf dem Platz“ passiert – genau diese Sicht wird allerdings sehr gerne vermieden: Ausbildungsabteilungen beschränken sich auf die plakative Darstellung von herausragenden Testergebnissen und erklären sich für die später stattfindende Praxis als nicht zuständig. Wenn die Performance dann nicht stimmt, kann es nicht am Training gelegen haben.

Diese Immunisierungsstrategie geht einher mit dem dazugehörigen „alten“ Trainingskonzept, das wir als Auslaufmodell betrachten. Mehr dazu bei (Otto, 2016).

[3]Hier

[4]Ausführliche Beschreibunghier

[5]Diese Systeme werden als „Acitivity Providers“ zusammengefaßt – die Darstellung dazu finden sie hier.

[6]Eine weitere Beschreibung der Vorteile von xAPI-Profilen findet sich hier. Der technische Hintergrund wird hiererläutert.

[7]Etwa docebo

[8]Ein kurzer Einstieg findet sich hier

The following two tabs change content below.
Frank Otto

Frank Otto

…baute zahlreiche Vertriebs- und Customer Service-Abteilungen auf. Er begleitet den Aufbau von neuen Märkten, den Ausbau von Absatzwegen und -medien und er steuert in verantwortlicher Position Phasen des Strategiewechsels. Er kennt und beherrscht die entsprechenden Technologien. Die umfangreichen Erfahrungen und Kenntnisse der entscheidenden „weichen“ Themen stehen im Mittelpunkt seiner Projekte mit Schwerpunkt in der Qualifizierung zur Steuerung von Kundenerfahrungen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.