Prácticas de investigación aplicada a contextos educativos. Juan Carlos Rodríguez Macías

la documentación técnica acerca de las modificaciones del test adaptado, donde además se incluyan las evidencias de la equivalencia con la versión original e información a los usuarios sobre el uso correcto del test en la población a la que va dirigido.

      Directrices para la traducción

       y adaptación de pisa 2012

      Las directrices para la traducción y adaptación de pisa son un claro ejemplo de la importancia de contar con procesos rigurosos y específicos en traducción y adaptación de pruebas de medición psicológica o educativa. pisa es un estudio realizado en un gran número de países con diferentes idiomas, culturas y sistemas escolares, orientados a la evaluación de las competencias de los estudiantes en lectura, matemáticas, ciencia y resolución de problemas. Estas evaluaciones incluyen cuestionarios de contexto que ayudan a explicar las diferencias observadas en los resultados obtenidos entre y a través de los países, así como manuales de operaciones y de procedimientos que buscan asegurar la estandarización de la aplicación de los instrumentos.

      Dado que uno de los objetivos de esta evaluación es realizar comparaciones internacionales, la equivalencia de los instrumentos y materiales utilizados es un requisito imprescindible. Por ello, el consorcio responsable de la implementación de pisa elaboró un conjunto de recomendaciones y directrices, para asegurar la equivalencia de todas las versiones de cada país, a través de un proceso de traducción que no introduzca sesgo o comprometa las comparaciones internacionales entre las pruebas (Organization for Economic Co-operation and Development, 2010).

      Las directrices para la traducción y adaptación de pisa están basadas en la revisión de la literatura internacional de test, en directrices similares desarrolladas en estudios previos y en la experiencia adquirida de la verificación de los materiales de pisa. Dichas normas se organizan en seis secciones:

       Directrices generales de traducción/adaptación. Establecen la necesidad de construir los test, cuestionarios de contexto y otros materiales de apoyo a través del trabajo de dos traductores independientes y de la posterior revisión de una tercera persona, quien concilia una sola versión. Asimismo, se debe documentar cualquier adaptación, cultural o de uso local, implementada a los materiales de evaluación. Este conjunto de directrices también considera el análisis de los ítems, para determinar las cualidades psicométricas de los mismos.

       Instrucciones generales. Incluyen la descripción de los materiales utilizados en la evaluación, así como de las obligaciones de las personas responsables del proyecto en cada país, los requerimientos de seguridad y los perfiles y las obligaciones de los traductores y del conciliador. En el mismo sentido, se resalta la importancia de hacer un seguimiento meticuloso de cualquier error identificado y de las modificaciones a cualquier material de evaluación.

       Traducción de instrumentos. Incluye recomendaciones que tratan con los obstáculos comunes en el proceso de traducción de los materiales, tales como la variación de una versión a otra, de la presentación de las ilustraciones y los elementos gráficos, la inclusión de expresiones propias del idioma, técnicas, afectivas, metafóricas, etcétera.

       Adaptación de material cognitivo. Se incluye un listado de cuidados que se consideran deseables, aceptables u obligatorios cuando se traducen los test cognitivos de pisa. Se trata de evitar que los estudiantes se enfrenten a expresiones o conceptos que no les son familiares, pero sin alterar el significado sustantivo del texto o del ítem. De manera general, no se deben adaptar o alterar los formatos de los ítems, o incluir notas explicativas o instrucciones adicionales; y se debe valorar la pertinencia de adaptar nombres de personas, lugares, símbolos, abreviaciones y fórmulas matemáticas.

       Directrices específicas sobre la traducción de cuestionarios de contexto. Para traducir adecuadamente los cuestionarios de contexto, la cuestión central es mantener el mismo significado, en todas las versiones de los países participantes, de las preguntas sobre el contexto educativo y las instrucciones de ejecución del cuestionario. Para ello, los responsables de la evaluación deben encontrar las palabras o expresiones de mayor equivalencia con la versión original.

       Directrices específicas sobre la traducción de los manuales de operación. Consideran procedimientos que pueden, o no, modificarse en los manuales de aplicación. Además, se hace hincapié en la elaboración de un registro detallado y completo de todos los cambios realizados a cada estímulo, ítem o procedimiento, pues esta información es necesaria para la interpretación de los resultados y en la revisión de la calidad psicométrica de los ítems.

      Como parte de los procedimientos de control de calidad implementados por pisa, se incluyó un listado de verificación que es utilizado por los revisores internacionales, para identificar posibles problemas de traducción, y sugerir modificaciones y correcciones.

      El objetivo principal de estas directrices es asegurar que el proceso de traducción no introduzca sesgos que distorsionen las comparaciones internacionales, como pueden ser: a) la alteración de la dificultad de textos, gráficos o tablas utilizadas como estímulos en los test, b) la alteración de la dificultad de un ítem de manera que se modifique el tipo de estrategia mental requerido para responder, c) la introducción de ambigüedades que perjudiquen la medición de las variables de los cuestionarios de contexto, o d) la inadecuada adaptación de manuales al contexto nacional para que se modifiquen los procesos de muestreo, aplicación o calificación.

      Consideraciones finales

      En este capítulo se describieron los principales documentos que orientan las prácticas de desarrollo, adaptación y traducción de instrumentos de medición psicológicos y educativos. De manera general, los documentos y argumentos aquí presentados coinciden en destacar que la aplicación de instrumentos válidos y confiables en otros países, desarrollados en apego a marcos conceptuales pertinentes, no aseguran que éstos midan lo mismo en poblaciones y contextos diferentes.

      La presente revisión sirve como marco al conjunto de investigaciones realizadas en nuestro país (aún reducido) que reconocen la necesidad de utilizar metodologías, procedimientos y esquemas analíticos que proporcionen equidad en las evaluaciones y justicia a los examinados, con reconocimiento a la contribución que hacen las diferencias culturales en la explicación de los resultados educativos (Byrne et al., 2009; Solano et al., 2009; inee, 2011). Sirva este trabajo para difundir el contenido de documentos aquí referidos y como orientación para todos aquellos involucrados en procesos de desarrollo, validación y adaptación de instrumentos de medición psicológica o educativa.

      Bibliografía

      American Education Research Association, American Psychological Association y National Council on Measurement in Education (1999). Standards for Educational and Psychological Testing 1999. Washington: American Education Research Association.

      American Education Research Association, American Psychological Association y National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing 2014. Washington, dc: American Education Research Association.

      American Education Research Association, American Pychological Association y National Council on Measurement in Education (1985). Standards for Educational and Psychological Testing 1985. Washington, dc: American Education Research Association.

      byrne, b. m., Oakland, T., Leong, F. T. L., Van de Vijver, F., Hambleton, R. K., Cheung, F. M., y Bartram, D. (2009). A critical analysis of cross-cultural research and testing practices: Implications for improved education and training in psychology. Training and Education in Professional Psychology, 3 (2), 94-105. doi: 10.1037/a0014516.

      elosua, p. (2012). Test publicados en España: usos, costumbres y asignaturas pendientes. Papeles del Psicólogo, 33 (1), 12-21.

      geisinger, k. (1994). Cross-cultural normative assessment: Translation and adaptation issues influencing the normative interpretation of assessment instruments. Psychological Assessment, 6 (4), 304-312.

      hambleton, r. k. (1996). Guidelines for adapting