Einführung
Die Multi-Trait-Multi-Methode ist eine Art von Forschung, die einen Ansatz zur Bewertung der Konstruktvalidität einer Reihe von Messgrößen in einer Studie bietet. Die Konstruktvalidität gibt an, wie gut ein Test seinen Anspruch erfüllt; sie sucht nach der Übereinstimmung zwischen der Theorie und dem Test. Sie hat zwei Unterkategorien: konvergente und diskriminante Validität. Die konvergente Validität zeigt den Grad der Korrelation zwischen Messgrößen, die theoretisch zusammenhängen sollten.
Dies ist insbesondere dann der Fall, wenn ein Merkmal mit verschiedenen Methoden gemessen wird. Die Korrelation wird in einer Validitätsdiagonale in einer Multi-Merkmal-Multi-Methoden-Matrix dargestellt (Campbell & Fiske, 1959). Die diskriminante Validität zeigt das Ausmaß, in dem Dinge nicht miteinander verbunden sein sollten, und diskriminiert zwischen verschiedenen Merkmalen.
Die Korrelation zwischen den verschiedenen Merkmalen und Methoden sollte nicht zu hoch sein. Von Methodenvarianz spricht man, wenn die Korrelation zwischen verschiedenen Merkmalen und einer Methode stärker ist als zwischen verschiedenen Merkmalen und verschiedenen Methoden.
In einer Multi-Trait-Multi-Methoden-Matrix, wie sie von Campbell & Fiske (1959) beschrieben wurde, gibt es zwei Arten von Blöcken, die bei der Bestimmung der Gültigkeit und Zuverlässigkeit verschiedener psychologischer Forschungsmethoden helfen.
Reliabilität ist die Übereinstimmung zwischen zwei Versuchen, dasselbe Merkmal mit möglichst ähnlichen Methoden zu messen, während Validität eine Übereinstimmung zwischen den Versuchen ist, dasselbe Merkmal mit ähnlichen, möglichst unterschiedlichen Methoden zu messen.
In der Matrix gibt es zwei Arten von Blöcken, den Monomethodenblock und den Heteromethodenblock. Der Monomethodenblock hat eine Zuverlässigkeitsdiagonale und ein Heterotrait-Monomethoden-Dreieck. In diesen Blöcken stammen die Korrelationen von Merkmalen, die mit der gleichen Methode gemessen wurden.
Der Heteromethodenblock hat eine Gültigkeitsdiagonale und ein Heterotrait-Heteromethoden-Dreieck. Dies kommt dadurch zustande, dass Merkmale mit unterschiedlichen Methoden gemessen werden. Die Reliabilitätsdiagonalen finden sich in einer Mono-Methode mit einem Merkmal und schätzen die Reliabilität in jeder Multi-Methoden-Matrix. Die Validitätsdiagonale entsteht in einer Mono-Trait-Heteromethoden-Matrix, die gleiche Merkmale mit unterschiedlichen Methoden misst.
Bewertung von Methoden mit Multi-Merkmalen
Damit wird die Korrelation zwischen verschiedenen Konzepten mit derselben Methode gemessen. Wenn man eine hohe Korrelation erhält, ist das ein Ergebnis der Messung verschiedener Merkmale mit der gleichen Methode.
Dies bietet einen Rahmen für die Konstruktvalidität von Maßnahmen, die dieselbe Methode verwenden. Die verschiedenen Merkmale in einer Untersuchung definieren das Konzept klar, z. B. in einer Untersuchung über französische Gymnasiasten zu ihren Lernzielen in Französisch, die verschiedenen Merkmale, die gemessen werden können, sind Wissen, Fähigkeiten, Kreativität und Argumentationsfähigkeit.
Die verschiedenen gemessenen Merkmale bieten eine bessere diskriminante und konvergente Validität.
Bewertung von Merkmalen mit mehreren Methoden
Die Messung eines Konzepts oder eines Merkmals mit verschiedenen Methoden verringert nach Campbell und Fiske (1959) die Wahrscheinlichkeit von Fehlern. Die Methode validiert Messungen, um Messfehler zu vermeiden. Dies wird durch die Verwendung mehrerer Messgrößen und mehrerer Methoden erreicht, da einzelne Messgrößen die verwendeten Methoden nicht berücksichtigen. Man ist in der Lage, konvergente und diskriminante Validität zu messen, um Konstruktvalidität zu erhalten.
Es gibt mehrere Methoden, die verwendet werden können; dazu gehören Interviews, Papier und Bleistift, Beobachtung usw. Die Verwendung mehrerer Methoden zur Untersuchung eines Merkmals ermöglicht es dem Forscher, sowohl die konvergente als auch die diskriminante Validität zu untersuchen. Sie bietet eine zuverlässige Methodik, die von Forschern verwendet werden kann.
Bei der Verwendung eines Merkmals und verschiedener Methoden zur Messung der Korrelation zwischen Messungen eines Merkmals mit verschiedenen Methoden wird eine starke Korrelation festgestellt (Fiske, 1949). Multimethoden können verwendet werden, um die Korrelation zwischen verschiedenen Konzepten mit unterschiedlichen Methoden zu messen; sie ergeben die niedrigsten Werte in der Matrix. Sie werden auch für Korrelationen verwendet, die verschiedene Methoden verwenden und einen Heteromethodenblock bilden.
Gewählte Methoden zur Bewertung des Konstrukts
Ich habe eine Bewertung der Lernziele von Schülern in einer Französischklasse ausgewählt (Stinggings et al., 2004) und zwei Methoden zur Messung eines Konzepts ausgewählt. Die gewählten Methoden sind Papier und Stift und Interviews, um das Lernziel Wissen zu messen.
Papier und Stift sind besser geeignet, um kurze Antworten zu schreiben und die Beherrschung von Fakten, Rechtschreibung und anderen Wissensaspekten zu messen, die mit kurzen Antworten oder Multiple-Choice-Fragen gemessen werden können. Die Interviews messen Dinge wie Sprachkenntnisse und solche, die nicht viel Wissensoutput und Details erfordern. In diesem Fall ist es geeignet, die Kenntnisse der französischen Sprache durch Aussprache und Grammatik zu messen.
In einer anderen Situation habe ich zwei Methoden zur Messung von vier Merkmalen gewählt. Die Methoden umfassen Interviews und ausführliche Antworten zur Messung von Kreativität, Fähigkeiten, Wissen und Argumentationsfähigkeit. Für die Messung des Wissens wäre die beste Methode die Befragung und die erweiterten Antworten.
Alle Methoden eignen sich gut, um die Fähigkeit zum logischen Denken in der französischen Sprache zu messen, da die Interviews die Kommunikation bewerten und die ausführlichen Antworten tiefere Einblicke in das Niveau des Verständnisses der einzelnen Schüler geben.
Zur Messung von Fähigkeiten würden sich die Interviews nur zur Messung mündlicher Fähigkeiten eignen, nicht aber zur Messung allgemeiner Fähigkeiten. Um Kreativität als Lernziel zu messen, wären ausführliche Antworten für ein schriftliches Produkt geeignet, z. B. für den Grammatikteil der französischen Sprache. Interviews eignen sich nicht für die Messung von Kreativität und sind sehr zeitaufwändig.
Die Methode für dieses Konstrukt wäre die erweiterte Antwort, da sie in der Lage ist, alle Merkmale mit Ausnahme der Fähigkeiten zu messen. Ein Schüler kann das Wissen beherrschen, aber die Fähigkeit, ein Produkt zu erstellen, kann nicht durch erweiterte Antworten gemessen werden. Erweiterte Antworten sind gut geeignet, um Informationen über tiefes Wissen zu sammeln und wenn die Zeit nicht begrenzt ist.
Zwei Aspekte eines Konzepts lassen sich am besten messen
Die beiden Aspekte, die wahrscheinlich gemessen werden, sind die Leistungsfähigkeiten und die Begründungsfähigkeiten. Bei den leistungsbezogenen Fähigkeiten geht es um die Entwicklung der Fähigkeit, etwas zu tun, wobei der Prozess ebenso wichtig ist, z. B. lautes, flüssiges und ausdrucksstarkes Lesen in einer Fremdsprache.
Die beste Methode, die man hier anwenden kann, und man kann auch die anderen Methoden anwenden, um festzustellen, ob ein Schüler die Fähigkeiten hat, eine bestimmte Aufgabe auszuführen. Die Beobachtung durch persönliche Einschätzung gibt dem Forscher ein klareres Konstrukt. Man ist in der Lage, das Leistungsniveau zu beurteilen. Um z. B. die Fähigkeit der Schüler zu beurteilen, französische Literatur zu verstehen, lässt man sie ein kleines Theaterstück aufführen.
Die Fähigkeit zum logischen Denken ist die Fähigkeit, das Wissen und das Verständnis zu nutzen, um Lösungen zu finden. Die beste Methode zur Messung dieses Merkmals ist die erweiterte Antwort und die Leistungsbewertung. Erweiterte Antworten liefern mehr Details und zeigen die Fähigkeit eines Schülers, Fakten zu verknüpfen.
Die Leistungsbewertung erfolgt durch Beobachtung der Schüler bei der Ausführung verschiedener Aufgaben. Dabei handelt es sich um eine Forschungsmaßnahme mit mehreren Merkmalen und Methoden. Wenn verschiedene Methoden für verschiedene Merkmale verwendet werden, ist es einfach, die Korrelation zwischen den beiden zu ermitteln.
Schlussfolgerung
Bei der Multi-Merkmal-Multi-Methoden-Matrix werden mehrere Indikatoren zur Bewertung der Validität verwendet, und der Validierungsprozess verwendet eine Matrix mit mindestens zwei Merkmalen und mindestens zwei Methoden, um die Konstruktvalidität zu erhalten. Sie kann verwendet werden, wenn mehrere Merkmale gleichzeitig untersucht werden und jedes mit einer anderen Methode gemessen wird.
Gleiche Merkmale, die mit einer Methode gemessen werden, sollten höher korrelieren, was eine konvergente Validität ergibt, während unterschiedliche Merkmale bei getrennten Methoden keinen hohen Korrelationswert aufweisen sollten. Dies ist die einzige Validitätsmessung, die mehrere Merkmale und Methoden zur Messung eines Testkonstrukts verwendet.
Um die Konvergenz-/Diskriminanzvalidität zu bestimmen, müssen die Koeffizienten für die konvergente Validität hoch sein; ist dies nicht der Fall, bedeutet dies, dass die verschiedenen Methoden unterschiedliche Merkmale messen, was bedeutet, dass keine konvergente Validität gegeben ist. Nach Campbell & Fiske (1959) sind die konvergenten Validitätskoeffizienten die Korrelationen zwischen Messungen desselben Merkmals, die mit unterschiedlichen Messmethoden ermittelt wurden.
Aus diesem Grund werden die Korrelationen manchmal auch als Monotrait-Heteromethoden-Koeffizienten (MTHM) bezeichnet. Es besteht eine lineare Beziehung zwischen den verschiedenen Merkmalen und den Methoden, mit denen sie gemessen werden. Im Wesentlichen sollte die Beziehung zwischen zwei nicht ähnlichen Methoden zur Bewertung desselben Merkmals größer sein als die Beziehungen zwischen diesem Merkmal und einem anderen, unabhängig davon, ob die Bewertungsmethoden ähnlich sind.
Die Art der Propinquity zwischen den Merkmalen sollte in den Heterotrait-Dreiecken, der Korrelation zwischen den Merkmalen, in den Heteromethoden- oder den Monomethodenblöcken kongruent sein. Der Forscher bestimmt die Wahl der Methoden und Merkmale, die in der Untersuchung verwendet werden sollen.
Die diskriminierenden Merkmale müssen sich stark von dem fokalen Merkmal unterscheiden, und es ist wichtig zu beachten, dass sie leicht mit dem fokalen Merkmal verwechselt werden können. Daher sollte man bei der Wahl der Methoden sehr vorsichtig sein. Falls zwei Merkmale und zwei Methoden verwendet werden, sollten sich die Methoden auf jeden Fall unterscheiden.
Referenzen
Campbell, D. T., & Fiske, D. (1959). Konvergente und diskriminante Validierung durch die Multi-Trait-Multi-Methoden-Matrix. Psychological Bulletin, 56.
Fiske, D. W. (1949). Die Konsistenz der faktoriellen Strukturen von Persönlichkeitsbewertungen aus verschiedenen Quellen. J. abnorm. soc. Psychol Journal, 44.
Stinggings, R., Arther, J., & Chapins, J. (2004). Classroom assessment for Student learning: doing it right – using it well. Assessment Training Institute: USA.