“A Big Apple for Educators” Artikel von Marsh et al. Essay (Kritisches Schreiben)

Words: 1216
Topic: Bildung

Zusammenfassung

Pay-for-Performance-Programme unterscheiden sich in zahlreichen Aspekten, die das Element der Verantwortung, die Motivationsbildung, das Kriterium für die Gewährung von Prämien, Leistungsmessungen und Schwellenwerte, die Höhe der zusätzlichen Leistungen, die Zuteilungsmethoden und die Auszahlungshäufigkeit umfassen. Die Studien sind nicht schlüssig, was die Auswirkungen leistungsbezogener Anreize auf die Zusammenarbeit des Personals betrifft, und in der weiter gefassten Literatur über die Haftung werden mehrere mögliche beeindruckende und nachteilige Auswirkungen auf die Leistungen im Unterricht vorgeschlagen. Das Schoolwide Performance Bonus Program (SPBP) der Stadt New York ist ein schulbezogener Plan zur leistungsorientierten Bezahlung (Marsh et al., 2011). Jede Schule benötigte für die Teilnahme an dem Programm die Zustimmung von 55 % des von der United Federation of Teachers (UFT) vertretenen Personals. Es bestand die Möglichkeit, dass eine Schule bis zu 3.000 Dollar für jeden ihrer von der UFT vertretenen Vollzeitmitarbeiter erhielt, wenn die Schule ihr jährliches Leistungsziel erreichte, wie es im Verantwortungsplan des New York City Department of Education (NYCDOE) festgelegt war. Das Programm verlangte von den teilnehmenden Schulen die Einrichtung eines vierköpfigen Vergütungsausschusses (CC), der über die Verteilung der Prämien an verdiente Mitarbeiter entscheidet. SPBP führte zu einer Verbindung zwischen der UFT und dem NYCDOE und zu einer Kombination ihrer unterschiedlichen Auffassungen und Theorien über Anreize bei der Bezahlung.

Das Hauptziel des Programms bestand darin, den Erfolg der Schüler durch leistungsabhängige Anreize zu verbessern, um sicherzustellen, dass die Mitglieder des Lehrkörpers auf ein gemeinsames Ziel hinarbeiten. 205 Schulen nahmen im ersten Jahr an dem Plan teil, 198 im darauffolgenden Jahr und 196 im letzten (dritten) Jahr (Marsh et al., 2011). 62 % der teilnehmenden Schulen erhielten im ersten Jahr eine Prämie und 84 % im zweiten Jahr, was bedeutet, dass im ersten Jahr 20 Millionen Dollar und im zweiten Jahr 30 Millionen Dollar gewonnen wurden. Nachdem die Zahl der Schulen, die einen Bonus erhielten, in den ersten beiden Jahren erheblich gestiegen war, wurden die Bewertungsmaßstäbe für die Leistung neu kalibriert, was zu einer Herabsetzung der Schulnoten führte, wodurch die Zahl der Schulen, die einen schulweiten Bonus erhielten, erheblich zurückging. Im dritten Jahr erhielten nur noch 13 % der teilnehmenden Schulen Prämien in Höhe von 4,2 Millionen Dollar. Bei der Evaluierung wurde eine Kombination aus qualitativen und quantitativen Techniken zur Untersuchung von Forschungsfragen eingesetzt, die die Mittel zur Durchführung des SPBP-Programms, die Ergebnisse des Programms und die Auswirkungen des Programms umfassten.

Verwendete Forschungsmethode in Verbindung mit den Forschungsfragen und Hypothesen

Die verwendeten Forschungsmethoden umfassten qualitative und quantitative Techniken und nutzten das experimentelle Design des SPBP, um die Auswirkungen des Programms zu bewerten. Die Anwendung sowohl qualitativer als auch quantitativer Techniken hat die Evaluierung des Programms erheblich verbessert, da sie die Belange beider Techniken durch die Handhabung der Daten in zuverlässigen und reproduzierbaren Ansätzen durch die Kombination von Zahlen, die Auswertung von Daten und die Bewertung der Veränderungsgrade berücksichtigt. Dies schuf Raum für eine größere Präzision als die bloße Erörterung von Zu- und Abnahmen. Mit Hilfe von drei Forschungsfragen, Übersichten, Interviews, Fallstudien und Vor-Ort-Besuchen war es möglich, Daten über die Durchführung des Programms zu sammeln. Da die Forschungsfragen dazu dienen, die Anliegen der Studie zu behandeln, waren die drei Fragen für diese Studie umfassend, da sie alle wichtigen Ziele des Programms ansprachen, z. B. die Durchführung des Programms, seine Ergebnisse und den Einfluss auf die Leistung. Die Hypothese lautete, dass die Möglichkeit, Prämien zu erhalten, die in der Leistung der Schule verankert sind, die Zusammenarbeit erleichtern könnte und dass der Erhalt von Prämien die Motivation erhöhen könnte, was beides zu besseren Ergebnissen führen würde (Marsh et al., 2011).

Die Hypothese impliziert, dass ein echter grundlegender Zusammenhang zwischen der abhängigen und der unabhängigen Variable besteht, d. h. dass die Gewährung von Boni zu einer Verbesserung der schulischen Leistungen führt. Die Beschreibung der Auswahl der Stichproben der Studie (Schulen, die an dem Programm teilnehmen) ist unklar. Nach der Ankündigung des Programms wurden die Schulen aufgefordert, für die Teilnahme zu stimmen, wobei jede Schule jedes Jahr die Zustimmung von 55 % ihres in der UFT zusammengeschlossenen Personals für die Teilnahme benötigt. Die teilnehmenden Schulen wurden aus Grund-, Mittel-, Kindergarten-, K-8- und High-Schools in New York City ausgewählt (Marsh et al., 2011). Die Verwendung von Zufallsstichproben war eine schlechte Methode für die Auswahl der teilnehmenden Schulen, da sie Raum für Verzerrungen schafft; Schulen mit schlechten Leistungen könnten am häufigsten ausgewählt worden sein oder umgekehrt. Es hätten geeignete Ausschluss- und Einschlusskriterien angewandt werden müssen, um jede Möglichkeit der Verzerrung auszuschließen. So hätte die Auswahl beispielsweise auf der Grundlage der bisherigen Leistungen der Schulen erfolgen und eine gleiche Anzahl von Schulen mit guten und schlechten Leistungen für die Teilnahme ausgewählt werden sollen. Außerdem wurde der Ort der Befragung und die Vertraulichkeit der Gespräche nicht berücksichtigt.

Stichhaltigkeit der Ergebnisse und Schlussfolgerungen der Studie

Die Ergebnisse zeigten keine differenzierten Auswirkungen des Programms nach Schulgröße und keinen Zusammenhang zwischen den Schülerleistungen und den Verteilungsregelungen des Vergütungsausschusses für die Bonuszuteilungen unter dem Personal. Das Fehlen statistisch signifikanter Unterschiede zwischen den Ergebnissen von Programmteilnehmern und Kontrollschulen sowie zwischen den teilnehmenden Schulen (unabhängig von der Zufallsauswahl) und anderen qualifizierten Schulen könnte auf den kurzen Zeitraum der Programmdurchführung und die schlechte Auswahl der Teilnehmer zurückzuführen sein. Dies zeigte sich in jeder Komponentenbewertung der Fortschrittsberichte, z. B. Leistung, Umfeld, Entwicklung und zusätzliche Anerkennung (Marsh et al., 2011). Der Erfolg des Programms hätte durch eine angemessene und umfassende Kommunikation mit allen Schulen und ihren Mitarbeitern über das Programm mindestens ein Jahr vor seiner Durchführung verbessert werden können. Dies hätte genügend Zeit für die Vorbereitung auf das Programm gelassen und hätte dazu führen können, dass mehr Schulen für die Teilnahme gestimmt hätten, was wiederum die Gefahr der Voreingenommenheit hätte ausschließen können.

Obwohl die CC-Maßnahmen vernünftig und effizient durchgeführt wurden, gab es an einigen Schulen Probleme mit dem Entscheidungsprozess (Marsh et al., 2011). Dies ist auf das Fehlen einer Aufsichtskommission für das Programm zurückzuführen, die die Arbeit der Ausschüsse in jeder teilnehmenden Schule hätte überwachen und unterstützen können. Außerdem hat das Programm auf keiner Stufe zu einer allgemeinen Verbesserung der Schülerleistungen geführt. Dennoch hätte das Programm mindestens fünf Jahre vor seiner Evaluierung durchgeführt werden sollen, damit sich die teilnehmenden Schulen an jedes Detail des Programms gewöhnen und etwaige Fehler bei der Programmdurchführung ausreichend Zeit zur Behebung haben.

Gesamtbewertung

Insgesamt gesehen ist der Beitrag des Artikels im Hinblick auf die Anwendung des SPBP-Programms und die Verbesserung der schulischen Leistungen von geringem Wert. Dies zeigt, dass es zwar bemerkenswert ist, die Stärke der Motivation von Pädagogen und anderen Beteiligten bei der Sicherstellung verbesserter Leistungen zu entdecken, denn ohne Motivation wäre es unmöglich, hervorragende Leistungen zu erzielen, aber der Artikel ist merklich unwesentlich, da er keine verallgemeinerbaren Ergebnisse bietet. Dies liegt daran, dass das Programm keinen Einfluss auf die Motivation hatte, wie beabsichtigt. Daher ist es von entscheidender Bedeutung, die Erwartungen der Mitarbeiter, die von den bestehenden Anreizsystemen ausgehen, zu bewerten, anstatt nur auf Geldanreize zur Motivationssteigerung zu setzen. Auf diese Weise wird sichergestellt, dass das am besten geeignete und durchdachte Prämienprogramm angewendet wird, das den größtmöglichen Nutzen für die Motivation der Mitarbeiter und die Verbesserung der Leistung bietet.

Referenz

Marsh, J. A., Springer, M. G., McCaffrey, D. F., Yuan, K., Epstein, S., Koppich, J., Kalra, N., DiMartino, C., & Peng, A. (2011). Ein großer Apfel für Pädagogen: New York City’s Experiment mit schulweiten Leistungsprämien: Final evaluation report. Santa Monica, Kalifornien: Rand Corporation.