Die Codierung des Gesprächs aus dem Film “12 Angry Men” war sowohl eine
lohnende als auch aufschlussreiche Erfahrung. Während sie größtenteils mit meinen Erwartungen übereinstimmte, erwiesen sich einige Aspekte als spürbare Hindernisse für genaue Beobachtungen.
Zunächst möchte ich darauf hinweisen, dass der Kodierungsprozess keine große Herausforderung darstellte. Ich war in der Lage, die wichtigsten Grundsätze zu erfassen und die charakteristischen Formulierungen recht schnell zu erkennen, und in der zweiten Hälfte des Papiers konnte ich viel schneller einen Code zuweisen als in der Anfangsphase. Meine Partner waren bei dieser Tätigkeit ähnlich erfolgreich, was sich aus dem Feedback ableiten lässt, das sie während des Gesprächs nach der ersten Abgabe des Papiers erhielten. Ich kann zwar nicht sagen, ob ich die Grundlagen erfolgreich gemeistert habe, aber es ist eine praktische Gewissheit, dass das Verfahren weniger anspruchsvoll ist als ich erwartet hatte. Das erhaltene Feedback bestätigt diese Vermutung, da es keinen Hinweis auf die Notwendigkeit der erneuten Einreichung von Papieren enthält, sondern lediglich eine Erinnerung an das Gespräch zwischen den Partnern.
Die in dem Gespräch angesprochene Inter-Rater-Reliabilität erfordert besondere Aufmerksamkeit. Wie zu erwarten war, gab es einige Unterschiede bei der Kodierung bestimmter Formulierungen. Zwei Aspekte müssen jedoch hervorgehoben werden. Erstens war die Rate der Unstimmigkeiten höher als erwartet, mit drei verschiedenen Meinungen in einigen Fällen. Ich führe dies auf die Neuartigkeit der Aktivität zurück und erwarte, dass dieser Wert sinkt, sobald meine Partner und ich mehr Erfahrung in diesem Bereich haben. Zweitens, und das ist vielleicht noch wichtiger, gab es im letzten Abschnitt des Gesprächs viel weniger Meinungsverschiedenheiten als im Rest des Textes. Mit wenigen Ausnahmen wurde die gesamte Szene einhellig als Kampfaussage kodiert. Die wahrscheinlichste Erklärung dafür ist meines Erachtens die auffällige Verwendung von nonverbalen Mitteln durch die betreffenden Personen. Da die meisten von ihnen leicht mit einer aggressiven Haltung in Verbindung gebracht werden konnten, kodierte das Team das Segment einheitlich. Ich glaube jedoch, dass dies in dieser speziellen Situation zwar ein hilfreiches Detail war, dass aber in vielen anderen Fällen eine solche Voreinstellung die Möglichkeit einer Verzerrung eröffnen kann. Daher ist eine solche Einstimmigkeit der Aussagen mit Vorsicht zu genießen und als Beispiel für eine mögliche Schwäche der Technik zu betrachten.
Insgesamt war die Übung hilfreich, um die Notwendigkeit von Verfahren zu verstehen, die die Zuverlässigkeit zwischen den Beurteilern gewährleisten sollen. In den Gesprächen, die wir nach der ersten Einsendung führten, wurden einige kontroverse Punkte zu einigen der Formulierungen und Kodierungsvorschläge deutlich. Vor allem bei den gegensätzlichen Aussagen herrschte oft Uneinigkeit zwischen den Peers (möglicherweise, weil sie weniger intuitiv sind als die bekannteren Kampf- und Fluchtworte). Ich möchte an dieser Stelle auch auf die Möglichkeit einer Verzerrung hinweisen. Während es in den meisten Fällen notwendig ist, die Argumente der Peers zu berücksichtigen und den vernünftigsten Standpunkt einzunehmen, führt diese Absicht zumindest in einigen Fällen dazu, dass man aus Gründen wie der Autorität des Partners oder der wahrgenommenen mangelnden Kompetenz die falsche Position einnimmt. Der Anstieg der Konkordanz von 46 % zu Beginn auf 61 % nach dem Gespräch zwischen allen Teilnehmern kann daher zumindest teilweise auf diesen Effekt zurückgeführt werden.
Zusammenfassend kann ich sagen, dass solche Übungen nicht nur notwendig sind, um die Erfahrung und die Fertigkeit des Kodierens zu verbessern, sondern auch (und vielleicht noch wichtiger), um den Prozess von einem kritischen Standpunkt aus zu betrachten und über seine Schwachstellen und die Fähigkeit, diese durch Konkordanz zu beheben, nachzudenken.