Schreibkompetenzen in der Fremdsprache. Группа авторов

Weitere GütekriterienGütekriterien

      Neben ObjektivitätObjektivität, ReliabilitätReliabilität und ValiditätValidität wird häufig FairnessFairness als zentrales GütekriteriumGütekriterien aufgeführt (vgl. auch die Hinweise zum Weiterlesen). Zuweilen wird FairnessFairness jedoch auch in erster Linie als spezieller Aspekt der ValiditätValiditätInhaltsvalidität gesehen. Eine Schreibaufgabe ist insbesondere dann fair, wenn sie bestimmte Gruppen von Testteilnehmenden nicht aufgrund von konstruktirrelevanten Faktoren systematisch benachteiligt. Ein entsprechender Bias kann z.B. dann auftreten, wenn sich die Testteilnehmenden im Hinblick auf eine bestimmte Schreibaufgabe in ihrem nicht konstruktrelevanten thematischen Wissen oder in ihrer Vertrautheit mit den BeurteilungskriterienBeurteilungskriterien deutlich unterscheiden oder wenn die Durchführungsbedingungen Gruppen von Testteilnehmern systematisch benachteiligen.

      4.2.4.1 RückwirkungRückwirkung

      Weiterhin wird häufig die bereits im Zusammenhang mit der konsequentiellen ValiditätValidität genannte RückwirkungRückwirkung von Tests als eigenständiges GütekriteriumGütekriterien gesehen. Dabei kann sich die RückwirkungRückwirkung z.B. auf Unterrichtsmaterialien und -methoden, auf die Prozesse und Produkte des Lehrens und Lernens, auf Emotionen und Einstellungen der betroffenen Personen oder auch gesamtgesellschaftliche Effekte beziehen. Weiterhin können intendierte oder auch nicht intendierte bzw. nicht antizipierte RückwirkungenRückwirkung gemeint sein (vgl. Cheng, Sun & Ma, 2015; Rossa, 2016; Saville & Khalifa, 2016; Xi & Davis, 2016, S. 73f.).1RückwirkungRückwirkung

      In Bezug auf die potentielle RückwirkungRückwirkung insbesondere standardisierter Tests wird zuweilen kritisch angemerkt, dass deren Einsatz im Unterricht zu einer negativen RückwirkungRückwirkung in Form eines teaching to the test führe. Die RückwirkungRückwirkung kann aber auch im Fall standardisierter Tests durchaus positiv sein. Handelt es sich z.B. um einen handlungs- und kompetenzorientierten TestEvaluationkompetenzorientiert, der authentische Situationen antizipiert, und bereitet man die Schülerinnen und Schüler auf einen solchen Test kompetenzorientiertEvaluationkompetenzorientiert vor, dann bereitet man damit gleichzeitig auf lebensweltlich relevante AufgabenAufgaben vor. Wichtig für eine positive RückwirkungRückwirkung ist auch, dass die Testergebnisse benutzerfreundlich berichtet werden – z.B. in Form von verständlichen und aussagekräftigen NiveaubeschreibungenNiveaustufe (vgl. Montee & Malone, 2014, S. 849). Auch am IQBIQB wird bei der Entwicklung und dem Einsatz der TestaufgabenAufgabenTestaufgaben versucht, durch eine Orientierung an den Prinzipien der Handlungs- und KompetenzorientierungKompetenzorientierung sowie durch eine geeignete Form der Rückmeldung eine möglichst positive RückwirkungRückwirkung zu erzielen.

      Die tatsächliche RückwirkungRückwirkung von Tests ist allerdings ein höchst komplexes Phänomen, das von einer Vielzahl von kontextuellen Variablen abhängig ist. Vor dem Hintergrund einer Reihe von Studien zur RückwirkungRückwirkung von standardisierten Tests stellt deshalb Hamp-Lyons (2016, S. 19) kritisch fest: „It would seem then that we must question whether it would be of any value to make beneficial washback itself a test purpose.“ Auch wenn man die Möglichkeit, mit Hilfe von Tests bestimmte positive RückwirkungseffekteRückwirkung zu erzielen, eher kritisch sieht, sollte u.E. die potenzielle RückwirkungRückwirkung auf jeden Fall bei der TestentwicklungTestentwicklung mit bedacht werden.

      4.2.4.2 AuthentizitätAuthentizität

      Ein vor allem von Vertreterinnen und Vertretern performanz- und aufgabenbasierter Evaluationsformen genanntes Qualitätsmerkmal bezieht sich auf das bereits kurz angesprochene Kriterium der AuthentizitätAuthentizität. Das Kriterium kann sich dabei auf TestaufgabenAufgabenTestaufgaben – unter Einschluss der Vorgaben wie Bildmaterial und zu behandelnde InhaltspunkteInhalt sowie der Situierung und der damit verbundenen Arbeitsanweisungen –, auf die Art der Testdurchführung sowie auch auf die BewertungskriterienBeurteilungskriterien beziehen. Das Merkmal der AuthentizitätAuthentizität steht in engem Zusammenhang insbesondere mit den Qualitätsmerkmalen der Handlungs- und Aufgabenorientierung und damit auch in einem engen Bezug zur ValiditätValidität von Sprachtests.

      „Authentisch“ bezieht sich u.a. auf den Grad der Übereinstimmung zwischen den Merkmalen einer gegebenen TestaufgabeAufgabenTestaufgaben und den Merkmalen der jeweiligen zielsprachlichen Verwendungskontexte. Bei der Gestaltung von AufgabenAufgaben wird man in Übereinstimmung mit dem Prinzip der HandlungsorientierungHandlungsorientierung versuchen, potenzielle Handlungskontexte der Schülerinnen und Schüler zu antizipieren. Wenn z.B. die Fähigkeit zum Verfassen eines Bewerbungsschreibens überprüft werden soll, dann wäre ein Input in Form einer Stellenanzeige für einen Hochschulkanzler zusammen mit der Aufforderung, eine informelle Bewerbungsmail zu schreiben, ein Extrembeispiel für eine unauthentische Aufgabenstellung. Dies gilt sowohl im Hinblick auf die für Schülerinnen und Schüler relevanten Handlungskontexte als auch in Bezug auf die in dem Kontext übliche TextsorteTextsorte.

      Bezogen auf die BewertungskriterienBeurteilungskriterien von Schreibleistungen bedeutet die Forderung nach AuthentizitätAuthentizität u.a., dass sich auch die im Prüfungskontext verwendeten Kriterien (möglichst weitgehend) an den im zielsprachlichen Verwendungskontext üblicherweise zugrunde gelegten Kriterien orientieren sollten. Spielt z.B. in einem bestimmten zielsprachlichen Verwendungskontext für die Empfänger eines Schreibens die VerständlichkeitVerständlichkeit und kommunikativeKompetenzkommunikativ Effizienz eine größere Rolle als die Korrektheit der verwendeten sprachlichen Mittel, so sollte sich dieser Sachverhalt auch bei der Bewertung der Prüfungsleistungen widerspiegeln (vgl. hierzu auch Kapitel 6).

      Ein anderer Aspekt der AuthentizitätAuthentizität ist der Grad der Übereinstimmung in den kognitiven Prozessen bei der Lösung der TestaufgabenAufgabenTestaufgaben und beim Gebrauch der Zielsprache außerhalb der Testsituation. Verlangt der zielsprachliche Verwendungskontext z.B. umfangreiche Planungsprozesse beim Schreiben, dann sollte auch die Bearbeitung der Schreibaufgabe entsprechende Prozesse verlangen. Dieser Aspekt wurde weiter oben auch als kognitive ValiditätValiditätkognitiv bezeichnet. Situationell und kognitiv authentische/valide AufgabenAufgaben erlauben Extrapolationen im Hinblick auf die Fähigkeit zur Lösung analoger zielsprachlicher Probleme außerhalb der Testsituation.

      4.2.4.3 AugenscheinvaliditätValiditätAugenscheinvalidität

      Vor allem bezogen auf den Unterrichtskontext wird nicht selten auch die sogenannte AugenscheinvaliditätValiditätAugenscheinvalidität/Augenscheingültigkeit (face validity) als GütekriteriumGütekriterien von AufgabenAufgaben und Tests genannt. Die Augenscheinvalidität bezeichnet die Akzeptanz eines Verfahrens in den Augen der Betroffenen (Testteilnehmende und Nutzende der Testergebnisse) und steht im Zusammenhang insbesondere zum GütekriteriumGütekriterien der AuthentizitätAuthentizität. Wenn Schülerinnen und Schüler Aufgaben als authentisch wahrnehmen, werden sie diese eher als gültige, aussagekräftige Instrumente zur Überprüfung ihrer Kompetenzen akzeptieren und die Bearbeitung der Aufgaben ernst nehmen. Dies kann wiederum einen positiven Einfluss auf die KonstruktvaliditätValiditätKonstruktvalidität haben. Die AugenscheinvaliditätValiditätAugenscheinvalidität betrifft damit zumindest mittelbar auch die Gültigkeit der anhand der Testwerte getroffenen Interpretationen und Entscheidungen. Außerdem kann eine geringe Augenscheingültigkeit der Aufgaben negative Auswirkungen auf die Akzeptanz des Verfahrens und damit auch auf die weitere unterrichtliche Qualitätsentwicklung haben. Entsprechend spielt die Augenscheingültigkeit z.B. bei den vom IQBIQB erstellten schriftlichen Vergleichsarbeiten (VERA) Vergleichsarbeiten zur Feststellung des Lernstandes in den beteiligten Bundesländern (vgl. Kapitel 2.5) eine wichtige Rolle.

      Ein u.a. mit der Augenscheingültigkeit zusammenhängendes Problem ergibt sich im Fall von AufgabenformatenAufgabenformate, die lediglich einen sehr indirekten Bezug zu den zu messenden Kompetenzen aufweisen. So wurden lange Zeit in einigen bekannten internationalen Tests Schreibkompetenzen ausschließlich auf indirektem Wege u.a. anhand von Multiple-Choice-Tests zu GrammatikGrammatik und Vokabular überprüft. Dies ist zumindest aus folgenden Gründen problematisch: a) Die AugenscheinvaliditätValiditätAugenscheinvalidität solcher