Detecting Answer Copying in Standardized Tests (In Spanish)

32 Pages Posted: 16 Jun 2010

See all articles by Diego Jara

Diego Jara

Quantil S.A.S.

Alvaro Riascos

Universidad de los Andes, Colombia - Department of Economics

Mauricio Romero

ITAM, Centro de Investigación Económica

Date Written: May 17, 2010

Abstract

This paper implements the answer-copying detection methodology for multiple-choice tests developed in Sotaridona, van der Linden and Meijer [2006], based on Cohen's Kappa index. We present results of this methodology applied to the standardized test for college admissions in Colombia that took place in the second semester of 2009. This is, to the authors' knowledge, the first study in Colombia that seeks to provide quantitative tools, of statistical nature, to detect fraud. This paper also evaluates, with real data, the performance of the Kappa index proposed in the referenced paper, which had only been evaluated using simulated data generated with a nominal item response model. In particular, we find evidence that there are misspecification problems that are difficult to overcome when using real data. We hope this paper motivates further applied research in this field in Colombia.

Este trabajo implementa la metodología de detección de copia en exámenes de múltiples opciones expuesta en Sotaridona, van der Linden y Meijer [2006] basada en el índice Kappa de Cohen. Presentamos los resultados de aplicar esta metodología a las pruebas del Estado ICFES 2009 II. Este es, en el conocimiento de los autores, el primer estudio en la literatura colombiana que busca proveer de herramientas cuantitativas de carácter estadístico a los administradores de las pruebas del Estado (y posiblemente muchas otras) para detectar casos sospechosos de fraude. Con este apoyo se pueden generar alertas y priorizar investigaciones detalladas caso por caso. Desde el punto de vista de la literatura académica especializada, el aporte del trabajo es evaluar, con datos reales, las bondades del índice Kappa propuesto por los autores y que ellosvalidan con datos artificiales generados mediante la simulación de un modelo de respuesta nominal. En particular, los resultados ponen en evidencia que, si bien el índice es muy valioso en la práctica, éste adolece de problemas de especificación difíciles de superar utilizando datos reales. Esto alerta sobre la necesidad de progresar en la implementación de metodologías más apropiadas para complementar la labor de supervisión y monitoreo desarrollada por los administradores de tales exámenes. Adicionalmente, este trabajo tiene como objetivo parcial servir de motivación y dar un primer paso para ahondar en esta área del conocimiento.

Note: Downloadable document is in Spanish.

Keywords: Kappa index, a copy of responses, ICFES, cheating, multiple-choice tests

JEL Classification: C19, I20

Suggested Citation

Jara, Diego and Riascos, Alvaro and Romero, Mauricio, Detecting Answer Copying in Standardized Tests (In Spanish) (May 17, 2010). Documento CEDE No. 2010-15. Available at SSRN: https://ssrn.com/abstract=1625509 or http://dx.doi.org/10.2139/ssrn.1625509

Diego Jara (Contact Author)

Quantil S.A.S. ( email )

Bogotá
Colombia

Alvaro Riascos

Universidad de los Andes, Colombia - Department of Economics ( email )

Carrera 1a No. 18A-10
Santafe de Bogota, AA4976
Colombia

Mauricio Romero

ITAM, Centro de Investigación Económica ( email )

Camino a Santa Teresa No. 930
Col. Héroes de Padierna
Ciudad de México
Mexico

Register to save articles to
your library

Register

Paper statistics

Downloads
52
Abstract Views
1,760
rank
390,531
PlumX Metrics