Website des Faches
Psychologie
Link: Zur Startseite | Logo: Pädagogische Hochschule Weingarten
 
Link: www.ph-weingarten.de
 
 

Gestaltung der Evaluationskonzeption im Projekt "Führungskräfteentwicklung"

Die Evaluation im Projekt "Führungskräfteentwicklung" umfasst mehrere Ebenen. Diese werden in der folgenden Grafik zusammenfassend dargestellt und anschließend näher erläutert:

Evaluationsbausteine

 

 

 

Evaluationsbaustein 1: Direkte Rückmeldungen der Beteiligten

Die Teilnehmenden werden direkt nach den Veranstaltungen befragt. Die Ergebnisse umfassen – ganz „traditionell“ Aussagen zur Zufriedenheit mit der methodisch-didaktischen Gestaltung, zu den Kompetenzen der Referent/innen, Selbstauskünfte zum Kompetenzerwerb der Teilnehmenden, Zufriedenheit mit der Organisation der Veranstaltungen usw. Dazu werden die Teilnehmenden mittels Fragebogen in der Regel am Ende der Veranstaltungen befragt.

Mit einem zeitlichen Abstand von etwa bis zu drei Wochen werden zudem ergänzende Telefoninterviews mit ausgewählten Teilnehmenden geführt, welche sich dazu im Vorfeld bereit erklärt haben. Die Interviews verfolgen das Ziel, zusätzlich zu den in den Fragebogen generierten Aussagen Begründungen und Hintergründe zu erfassen.

Die Rückmeldungen der Teilnehmenden werden den Rückmeldungen der Seminarleiter/innen und der Beobachter/innen der Orientierungsseminare trinagulativ gegenübergestellt. Die Rückmeldungen der Seminarleitungen und der Beobachter/innen werden in erster Linie in Form von Onlinebefragungen erhoben, ergänzt werden sie durch einzelne Interviews.

Der Bereich der direkten Rückmeldungen zu den einzelnen Veranstaltungen erfordert es dringend, dass die Mitglieder der Forschungsgruppe selbst an den einzelnen Veranstaltungen teilnehmen und sich ein Bild von der Umsetzung der geplanten Module machen. So können Abweichungen von der Konzeption erfasst werden und gleichzeitig werden Verzerrungen, die sich aus der alleinigen Lektüre der schriftlichen Konzeptionsbeschreibungen ergeben können, vermieden.

 

Evaluationsbaustein 2: Erwachsenendidaktische Analyse der Konzeption zur Vorqualifizierung

Erfolgreiche Lernarrangements zur Qualifizierung und zum Erwerb von Handlungskompetenzen enthalten eine ganze Reihe wirksamer Elemente. In einem ersten Analyseschritt werden Design und Methoden der geplanten Seminarreihen daraufhin überprüft, ob sie jene Elemente enthalten, die nach dem aktuellen Stand der Forschung Wirksamkeit und Nachhaltigkeit von Fort- und Weiterbildungen entscheidend bedingen. Leitfragen sind dabei (unter anderem):

-          Enthalten die Fortbildungen ausreichend viele Transferphasen?

-          Endet jede Transferphase mit einer konkreten Vorsatzbildung nach Mutzeck (1988)?

-          Werden in jeder neuen Transferphase die Ergebnisse aus den Umsetzungs-Versuchen aufgegriffen?

-          Wird der Transfer in die Praxis durch Social Support und Social Control (z.B. nach Schmidt 1991) unterstützt?

-          Werden Formen der kollegialen Praxisberatung in Tandems (vgl. z.B. das Tandem-Coaching bei Führungskräften nach Vespermann 2010) oder die kollegiale Praxisberatung in Kleingruppen (nach Mutzeck, Nold, Schlee oder Wahl) systematisch implementiert?

-          Sind die Fortbildungsseminare so aufgebaut, dass zwischen informierende Phasen ganz systematisch Phasen der subjektiven Auseinandersetzung mit den vermittelten Inhalten „eingeschoben“ werden (Sandwichprinzip; vgl. Wahl 2006), in denen sich die Führungskräfte fragen, was die Informationen für ihr ganz konkretes Handeln bedeuten?

-          Sind die Seminare grundsätzlich so angelegt, dass jede Person nach Vygotski in der „Zone ihrer nächsten Entwicklungen“ ihren ganz persönlichen Lernweg verfolgen kann?

-          Wird versucht, stabile „mitgebrachte“ Kognitionen, Emotionen und Routinen mit Lernarrangements wie biografischen Selbstreflexionen, Selbstbeobachtungen, Szene-Stopp-Reaktion, den Pädagogischen Doppeldecker oder die WAL (Weingartener Auffassungs Legetechnik) bewusst zu machen, so dass sie im Anschluss daran für eine Modifikation „aufgetaut“ sind?

-          Werden Formen zum Abstoppen automatisierter Verhaltensweisen systematisch eingeübt bzw. alternatives Handeln durch „inneres Sprechen“ kleinschrittig stabilisiert?

 

 

 

Evaluationsbaustein 3: Handlungsvalidierung - Veränderung des professionellen Handelns der Teilnehmenden

Während zuvor vor allem Daten bezüglich der Zufriedenheit der Teilnehmenden mit Fragebogen und Interviews erhoben wurden, rückt nun ihr tatsächliches Handeln in den Fokus der Evaluation. Dies ist dringend erforderlich, da die Zufriedenheitseinschätzungen der Teilnehmenden nicht zwingend mit dem tatsächlichen Erwerb von Handlungskompetenzen korrelieren müssen (vgl. Schmidt 2001, vgl. Wahl 2006, vgl. Bernhart/Wahl/Weible 2012). Damit können lediglich subjektive Wahrnehmungen des eigenen Kompetenzzuwachses, im besten Falle Handlungsabsichten erhoben werden. Aus diesem Grunde ist es notwendig, sich dem realen professionellen Handeln der Teilnehmenden anzunähern und die Innensicht der Befragten mit der Außensicht auf das Handeln abzugleichen. Dies gelingt vor allem dann, wenn es Teilnehmende in der Vorqualifizierung gibt, die bereits ein professionelles Handlungsfeld (z.B. im Bereich Schulleitung) innehaben.

Die Beobachtung konkreten Handelns kann Aufschluss darüber geben, inwieweit die Inhalte der Vorqualifizierung tatsächlich in den professionellen Alltag übertragen werden. Unsere Forschungsgruppe hat sich bei der Überprüfung der Transfereffekte für ein als „Shadowing“ bezeichnetes Verfahren entschieden (vgl. Tulowitzki 2011). Vereinfacht bedeutet dies, dass Schulleitungsmitglieder von einer Forscherin oder einem Forscher einen Tag lang in der Praxis begleitet werden. Unterbrochen werden diese Beobachtungen von mehreren metakommunikativen Phasen, in denen die Beobachtungen validiert und mögliche Bezüge zur Vorqualifizierungsreihe thematisiert werden.

Ergänzend gehen wir der Frage nach, ob die Inhalte der Vorqualifizierungsreihe sich mit dem praktischen Bedarf decken. Vereinfacht formuliert: „Bekommen die angehenden Schulleiter/innen im Rahmen der Vorqualifizierung das, was sie später auch brauchen?“ Dies zu klären ist notwendig, denn mögliche Ursachen für mangelnden Transfer können nicht nur in der Fortbildungsdidaktik liegen (siehe die darauf abzielenden Empfehlungen unserer Forschungsgruppe), sondern auch in der inhaltlichen Ausrichtung der Veranstaltungen (vgl. Moser 1995).

Aus diesem Grund werden durch unsere Forschungsgruppe Experteninterviews mit Schulleiterinnen und Schulleitern aller Schularten geführt. Diese werden zu ihrem Fortbildungsbedarf sowie zu ihrem Schulleiteralltag befragt. Darüber hinaus werden sie gebeten, die vorliegende Fortbildungskonzeption des Landes zu bewerten.

 

Damit sieht das Design der Teilstudie im Bereich der Handlungsvalidierung wie folgt aus:

 

1.

Schulleitungshandeln im Alltag

 

Fragestellung:

Womit verbringen Schulleiter/innen ihre Arbeitszeit?

 

Forschungsmethoden:

-          Shadowing: Beobachtungsprotokolle.

-          Experteninterviews mit Schulleiter/innen.

 

2.

Bewertung der Praxisrelevanz der Inhalte der Vorqualifizierungsmaßnahme

 

Fragestellung:

Wie bewerten Absolvent/innen der Vorqualifizierung und langjährige Schulleiter/innen die Praxisrelevanz der Inhalte der Vorqualifizierungsmaßnahme?

 

Forschungsmethoden:

-          Experteninterviews mit Schulleiter/innen und stellvertretenden Schulleiter/innen.

-          Halbstrukturierte Interviews im Anschluss an das „Shadowing“.

 

3.

Handlungsvalidierung

 

Fragestellung:

Welche Inhalte der Vorqualifizierungsmaßnahmen finden sich im professionellen Handeln der Teilnehmenden wieder?

 

Forschungsmethoden:

-          Shadowing: metakommunikative Phasen.

-          Shadowing: halbstrukturierte Interviews.

 

4.

Wünsche bezüglich Inhalt und Gestaltung der Vorqualifizierung

 

Fragestellung:

Welche thematische Ausrichtung der Vorqualifizierung wünschen sich ehemalige Absolvent/innen der Vorqualifizierung und langjährige Schulleiter?

 

Forschungsmethoden:

-          Experteninterviews mit Schulleiter/innen und stellvertretenden Schulleiter/innen.

-          Halbstrukturierte Interviews im Anschluss an das Shadowing.

 

 

 

Evaluationsbaustein 4: Erhebung von motivationalen und persönlichkeitsbezogenen Daten

Ergänzend zu den rückmeldungsbezogenen Fragebogenerhebungen wird eine aktuelle deutschsprachige Übersetzung und Adaption des ,,NEO Five-Factor Inventory“ von Johannes Hartig, Nina Jude & Wolfgang Rauch von der Universität Chemnitz eingesetzt und zwar zu den Zeitpunkten t1 (Beginn der Vorqualifizierung) und t2 (Ende der Vorqualifizierung). Daneben werden Skalen zur Erfassung von Lehrermerkmalen (vgl. Jerusalem & Schwarzer [Hrsg.] 1999 eingesetzt:

-          Allgemeine Selbstwirksamkeitserwartung nach Jerusalem & Schwarzer (1981, revidiert 1999)

-          Proaktive Einstellung nach Schwarzer & Schmitz (1999)

-          Herausforderungs-, Bedrohungs- und Verlusteinschätzungen von Lehrern nach Jerusalem (1995)

-          Selbstregulation nach Schwarzer (1999)

 

Die Analyse verfolgt dabei folgende forschungsleitende Interessen:

 

 

Situation zu Beginn der Fortbildungsreihe

t1 = Modul S1

(Beginn der Maßnahme)

Situation am Ende der Fortbildungsreihe

t2 = Modul S5

(Ende der Maßnahme)

Generelle Betrachtungsweise

Beschreibung der motivationalen und persönlichkeitsbezogenen Merkmale der Teilnehmenden.

 

Unterscheiden sich die Teilnehmenden der Vorqualifizierung von „normalen“ Lehrkräften?

Beschreibung der motivationalen und persönlichkeitsbezogenen Merkmale der Teilnehmenden.

 

Unterscheidet sich die Teilnehmenden der Vorqualifizierung von „normalen“ Lehrkräften?

 

Gibt es Veränderungen gegenüber t1?

 

Betrachtung von Zusammenhängen

Zusammenhänge zwischen den einzelnen Variablen und…

-          Alter

-          Geschlecht

-          Schulart

-          Berufswunsch

-          Zufriedenheit mit der Maßnahme

 

Zusammenhänge zwischen den einzelnen Variablen und…

-          Alter

-          Geschlecht

-          Schulart

-          Berufswunsch

-          Zufriedenheit mit der Maßnahme

 

Gibt es Veränderungen gegenüber t1?

 

 

Weiter zu den Evaluationsergebnissen.

 

Zurück zur Hauptseite des Projektes "Führungskräfteentwicklung".

 



 
DruckansichtDruckansicht