Um Wirksamkeit des Lernspiels einzuschätzen, wurden Führungskräfte befragt, die das Spiel gespielt haben. Die Erprobungen fanden bei den Projektpartnern Trägerwerk Soziale Dienste wohnen plus... gGmbH (TWSD) in Legefeld sowie bei der Bildungsvereinigung ARBEIT UND LEBEN Nds. Süd gGmbH in Göttingen statt. Die mehrstufige Befragung, wie in der Abbildung zu sehen, bestand aus einer Nullmessung mittels Fragebogen (29 Teilnehmende), vor Beginn des Spiels sowie einer Abschlusserhebung nach der Nutzung des Lernspiels mit 18 Teilnehmenden, die sich aus einem Fragebogen und einer Gruppendiskussion zusammensetzte.
Folgende zentrale Fragestellungen bestimmten den Evaluationsprozess:

  • Wie wird das Lernspiel von Ihnen hinsichtlich Nutzerfreundlichkeit und Spielfreude bewertet?
  • Ist das Spiel und die Personal- und Kompetenzentwicklungsmaßnahme als Weiterbildungsmaßnahme erfolgreich?
  • Welche Rolle spielt gesundheitsförderliches Verhalten im Arbeitsalltag der Führungskräfte?

In der 8-wöchigen Erprobungsphase wurden die Teilnehmenden an 2 Messzeitpunkten um Einschätzungen gebeten, wie die Abbildung verdeutlicht. Um das Nutzungserleben und die Spielfreude (Usability) zu erheben, wurde auf standardisierte Fragebögen meCUE (modular evaluation of key Components of User Experience) und GEQ (Game Experience Questionnaire) zurückgegriffen. Um die Wirksamkeit des Spiels zu untersuchen, wurden adaptierte Fragebögen eingesetzt, die Aufschluss über die Häufigkeit von und der Einstellung gegenüber gesundheitsförderlichen Führungsverhalten geben. Die Ergebnisse aus den Fragebogenerhebungen wurden anschließend im Rahmen einer Gruppendiskussion gemeinsam mit den Teilnehmenden vertiefend diskutiert.

Zwei zentrale Ergebnisse der Fragebogenerhebung sollen an der Stelle exemplarisch dargestellt werden:

  • Das Lernspiel ist eher für angehende als für erfahrene Führungskräfte geeignet.

Der Nutzen des Lernspiels für die Weiterbildungsziele sowie die berufliche Praxis der Führungskräfte wurde als gut bewertet. Für angehende Führungskräfte ist das Spiel sogar noch etwas nützlicher als für erfahrende Führungskräfte, wie unten stehende Tabelle zeigt. Im Rahmen der Erprobung in Göttingen konnte ein Vergleich zwischen angehenden und erfahrenen Führungskräften vorgenommen werden. In Weimar nahmen ausschließlich Führungskräfte teil, die bereits über langjährige Berufserfahrung verfügten. Im Zuge der abschließenden Gruppendiskussion in Weimar äußerten die Teilnehmenden, dass das Lernspiel aufgrund des Prototypcharakters und der ausbaufähigen Komplexität der Spielszenarien eher für angehende Führungskräfte geeignet sei. In der dritten Erprobungswelle im März bis Juni 2019 wird das Spiel deutlich ausgebauter sein und die Pflegekräfte mit zusätzlichen Spiel-Leveln stärker fordern.

  • Das Lernspiel ermöglicht eine kritische Reflexion und eine realistischere Einschätzung hinsichtlich des eigenen gesundheitsförderlichen Führungsverhaltens.

Überraschenderweise konnten in der Nullmessung bereits sehr gute Ausgangswerte bzgl. der Belastungen der Pflegekräfte (aus Sicht der Führungskräfte), den arbeitsorganisatorischen Voraussetzungen in der pflegenden Einrichtung und zur Häufigkeit bzw. des Stellenwerts von gesundheitlichem Führungsverhalten erzielt werden.
Das hier festgestellte, interessante Phänomen der Verschlechterung nach dem Spiel wurde zum Thema in der Gruppendiskussion mit den Teilnehmenden, die jedoch nur zu Teilen von den befragten Führungskräften beantwortet werden konnte. Entgegen der Erwartungen der Spiele-Entwickler, wonach eine stärkere Sensibilisierung für gesundheitsförderliches Führungsverhalten nach dem Spiel anzunehmen wäre, wurden folgende Ergebnisse erzielt:

  • Pausen können zum Zeitpunkt der Nullmessung „oft“, nach der Nutzung des Lernspiels jedoch nur noch „ab und zu“ eingehalten werden.
  • Vor dem Spiel haben sich Führungskräfte mehr Zeit zu genommen, ihren Pflegekräften zu zeigen, wie sie gesundheitsgerecht(er) arbeiten können. Nach dem Spiel war es immer noch „häufig“, jedoch etwas weniger als vor dem Spiel.
  • Vor dem Spiel gaben die befragten Führungskräfte an, dafür Sorge zu tragen, dass die Handhabung der Arbeitsmittel allen Pflegekräften hinreichend bekannt ist. Nach dem Spiel gaben die Führungskräfte an, dass sie es immer noch „häufig“ tun, jedoch etwas weniger als vor dem Spiel.
  • Bei gesundheitlichen Problemen konkrete Veränderungsmaßnahmen einzuleiten, wurde von den Führungskräften vor dem Spiel häufiger angewendet als nachher.
  • Für Führungskräfte war es vor dem Spiel etwas wichtiger Lob auszusprechen als nachher. Dennoch wurde es bei beiden Messzeitpunkten als „wichtig“ eingeschätzt.

Insgesamt sind diese Verschlechterungen nur minimal und auch nach dem Spiel auf einem hohen Niveau, weshalb nicht von einer negativen Einstellung zu gesundheitlichem Führungsverhalten gesprochen werden kann. Ein möglicher Interpretationsansatz könnte lauten, dass den Befragten erst durch das Spiel die Bandbreite und die Vielfalt der Maßnahmen gesundheitsförderlichen Führungsverhaltens bewusst geworden ist und sie im Nachgang reflektiert haben, dass sie nicht alle Potentiale gesundheitsförderlichen Führungsverhaltens ausschöpfen.

Der letzte Erprobungsdurchlauf von März bis Juni 2019 in Göttingen verspricht spannende Ergebnisse - vor dem Hintergrund des Ausbaus des Lernspiels mit einem weiteren Level und somit komplexeren Spielszenarien.

Um den Erfolg des Lernspiels zu bewerten, hat das Projektteam die Führungskräfte befragt, die das Spiel gespielt haben. Die Erprobung fand beim Projektpartner Trägerwerk Soziale Dienste wohnen plus... gGmbH (TWSD) in Legefeld statt. Die mehrstufige Befragung, wie in der Abbildung zu sehen, bestand aus einer Nullmessung mittels Fragebogen, vor Beginn des Spiels sowie einer Abschlusserhebung nach der Nutzung des Lernspiels, die sich aus einem Fragebogen und einer Gruppendiskussion zusammensetzte.

Folgende zentrale Fragestellungen bestimmten den Evaluationsprozess:

  • Wie wird das Lernspiel von Ihnen hinsichtlich Nutzerfreundlichkeit und Spielfreude bewertet?
  • Ist das Spiel und die Personal- und Kompetenzentwicklungsmaßnahme als Weiterbildungsmaßnahme erfolgreich?
  • Welche Rolle spielt gesundheitsförderliches Verhalten im Arbeitsalltag der Führungskräfte?

In der 8-wöchigen  Erprobungsphase wurden die Teilnehmenden an 2 Messzeitpunkten um Einschätzungen gebeten, wie die Abbildung verdeutlicht. Um das Nutzungserleben und die Spielfreude (Usability) zu erheben, wurde auf standardisierte Fragebögen meCUE (modular evaluation of key Components of User Experience) und GEQ (Game Experience Questionnaire) zurückgegriffen. Um die Wirksamkeit des Spiels zu untersuchen, wurden adaptierte Fragebögen eingesetzt, die Aufschluss über die Häufigkeit von und der Einstellung gegenüber gesundheitsförderlichen Führungsverhalten geben. Die Ergebnisse aus den Fragebogenerhebungen wurden anschließend im Rahmen einer Gruppendiskussion gemeinsam mit den Teilnehmenden vertiefend diskutiert.

Überraschenderweise konnten in der Nullmessung bereits sehr gute Ausgangswerte bzgl. der Belastungen der Pflegekräfte (aus Sicht der Führungskräfte), den arbeitsorganisatorischen Voraussetzungen in der pflegenden Einrichtung und zur Häufigkeit bzw. des Stellenwerts von gesundheitlichem Führungsverhalten. Nachfolgende Abbildung zeigt eine Bespielfrage zur Arbeitsorganisation bzw. –gestaltung. Überstunden müssen nur ab und zu bis selten zum Zeitpunkt der Nullmessung (vor dem Spiel) und nach Nutzung des Spiels sogar nur noch selten von den Pflegekräften in

der von der befragten Führungskraft geleiteten Einrichtung geleistet werden. Pausen können bspw. oft zum Zeitpunkt der Nullmessung und ab und zu nach Nutzung des Lernspiels eingehalten werden. Die hier festgestellte Verschlechterung nach dem Spiel wurde zum Thema in der Gruppendiskussion, die aber nur zu Teilen von den befragten Führungskräften beantwortet werden konnte. Eigene Interpretationsansätze mussten herangezogen werden. So ist denkbar, dass den Befragten, die Vielfalt der Möglichkeiten gesundheitsförderlichen Führungsverhaltens erst durch das Spiel bewusst geworden ist und im Nachgang gemerkt haben, dass sie nicht alle Potentiale ausschöpfen.

Die Einstellung zu gesundheitsförderlichem Führungsverhalten stellte sich ebenfalls recht positiv dar. Mitarbeitergespräche zu suchen, um eventuelle Belastungen der Pflegekräfte zu erkennen, sehen die befragten Führungskräfte als ein wichtiges Instrument (vor Nutzung des Spiels) und nach dem Spiel sogar als sehr wichtige Maßnahme der Gesundheitsförderung.

Die Gruppendiskussion ergab, dass die strukturellen Voraussetzungen (Patientenschlüssel und arbeitsorganisationale Bedingungen) in den teilnehmenden Einrichtungen sehr gut sind und sich auf die guten Fragebogenergebnisse auswirken, die gezeigt haben, dass der Wille und auch die Zeit für gesundheitsförderliches Führungsverhalten vorhanden ist.

Die Nutzerfreundlichkeit, im Sinne eines ansprechenden Designs und der Benutzbarkeit des Spiels, wurde positiv bewertet. Der überwiegende Teil der Teilnehmenden stimmte folgenden Aussagen zu:

  • Die Bedienung des Spiels ist verständlich.
  • Das Spiel ist kreativ gestaltet.
  • Das Design wirkt attraktiv.

Einzig an Herausforderungen und am Flow-Erlebnis mangelte es den Führungskräften. Sie fühlten sich kaum herausgefordert und konnten auch nicht so in das Spiel eintauchen, dass sie alles um sich rum vergessen hätten. Dieses Ergebnis ist dem Fakt geschuldet, dass im Rahmen der Evaluation eine erste Version des Prototypen des Spiels Einsatz fand, der in der zweiten Erprobungswelle im Oktober bereits deutlich ausgebauter sein und die Pflegekräfte mit zusätzlichen Szenarien stärker fordern wird.
Durch die Befragung und den Dialog mit den Teilnehmenden der Erprobung erhielt das Projektteam eine Reihe nützlicher Weiterentwicklungshinweise, die nun in die Optimierung des Lernspiels und der begleitenden Personalentwicklungsmaßnahme einfließen werden. Wir sind gespannt auf bestätigende oder neue interessante Ergebnisse im Rahmen des zweiten Erprobungs- und Evaluationsdurchlaufs im Oktober bei dem niedersächsischen Projektpartner „Bildungsvereinigung ARBEIT UND LEBEN Niedersachsen Süd gGmbH“.

Im Rahmen der Erprobung des Lernspiels „Stress-Rekord“ steht nun die Evaluation auf dem Programm. Dabei wird das Lernspiel von der Zielgruppe in der praktischen Anwendung hinsichtlich Nutzerfreundlichkeit und Spielfreude beurteilt. Zudem wird sich zeigen, inwiefern das Lernspiel als Weiterbildungsmaßnahme erfolgreich ist. In der 8-wöchigen Erprobungsphase werden die Teilnehmenden an 3 Messzeitpunkten um Einschätzungen gebeten. Messinstrumente für Nutzungserleben und Spielfreude durch das Lernspiel sind u. a. die standardisierten Fragebögen meCUE und PGEQ, wie die Abbildung zeigt. Daneben werden adaptierte Fragebögen eingesetzt, die Aufschluss über gesundheitsförderliches Verhalten der Probanden geben (Wirksamkeitsanalyse). Durch mehrere Messzeitpunkte kann eine Änderung im Verhalten gemessen werden. Die Erfolgs- und Transfermessung, die Königsdisziplin einer Evaluation, stellt im Vorhaben eine große Herausforderung dar.

 

Im Rahmen der Bedarfs- und Zielgruppenanalyse erfolgte eine wissenschaftliche Untersuchung der Einstellungen von Führungskräften im Pflegebereich zum Lernen mit digitalen Medien, Vorerfahrungen mit E-Learning und Vorwissen zur Prävention und Gesundheitsförderung.
An der Fragebogenerhebung haben im Zeitraum von August bis September 2016 insgesamt 21 Führungskräfte aus Hamburg, Niedersachsen, Sachsen, Schleswig-Holstein und Thüringen teilgenommen, von denen die meisten mindestens ein bis zwei Jahre Führungserfahrung mitbringen. Dabei wurden teilweise etablierte Instrumente und teils selbst entwickelte Itembatterien verwendet.

In der Auswertung der ausgefüllten Online-Fragebögen stellte sich heraus, dass die Befragten insgesamt positiv gegenüber dem Arbeiten am Computer eingestellt sind. Die FIDEC-Skalen zur inhaltlich differenzierten Erfassung computerbezogener Einstellungen der Autoren Richter, Naumann und Horz (2010) zeigen eine positive Haltung der Befragten gegenüber dem Arbeiten und Lernen mit dem Computer. Damit ist eine der wichtigsten Voraussetzungen für die Beteiligung der Zielgruppe am Lernen mit der Serious Game-basierten Informations- und Lernumgebung  erfüllt. Ebenso gegeben ist bei allen Befragten eine grundlegende PC-Ausstattung, wie der 100%-ige Maus- und Tastatur-Besitz widerspiegelt. Vorerfahrungen mit E-Learning bestehen bei immerhin 71% der Befragten. Auf Erfahrungen mit Serious Games seitens der Zielgruppe kann in der Spielkonzeption jedoch nicht gebaut werden.

Das Thema der Gesundheitsförderung wird in den meisten Organisationen als nicht wichtig erachtet und dementsprechend werden auch keine konkreten Maßnahmen hierzu durchgeführt – was ein beachtliches Defizit und eine der schwierigsten Hürden bei der Nutzung des Lernangebots darstellt.
Die Teilnahme an Weiterbildungs-maßnahmen erfolgt meist, um die eigenen pflegerischen Kenntnisse zu verbessern. Die befragten Führungskräfte im Pflegebereich verfügen über eine hohe Bereitschaft an Fort- und Weiterbildungen teilzunehmen.

Weiterhin versprechen sich die Befragten von der Nutzung des Serious Games insbesondere eine erhöhte Arbeitszufriedenheit, eine Steigerung des gesundheitlichen Wohlbefindens und einen sinkenden Krankenstand. Bezüglich der technischen Anforderungen an das Spiel ist es für fast alle Teilnehmenden wichtig, dass die Nutzung offline, mobil und anonymisiert erfolgen kann. Dabei ist allerdings zu beachten, dass die Nutzungsdauer unter einer halben Stunde liegen sollte.

Mit diesen Ergebnissen sind wichtige Eckdaten für die Spielkonzeption spezifiziert und eine entscheidende Grundlage für die anstehende Entwicklungsphase gelegt. Das Projektteam freut sich auf eine anregende Entwicklungs- und Umsetzungsphase. Freuen Sie sich auf ein spannendes Lernangebot!