Erik Soby pensó que tenía la oportunidad de ingresar a la escuela de medicina el año pasado. El Torontonian obtuvo un puntaje alto en la Prueba de Admisión de Medicina Medicina (MCAT) estándar y tuvo un promedio de calificaciones impresionante.
Pero la mayoría de las escuelas de medicina en Canadá ahora requieren otra prueba de admisión, llamada Casper, y Soby cree que Hurdle fue su caída.
“Ese era el único aspecto en el que estaba por debajo del promedio”, dijo. “Así que terminé siendo expulsado”.
Las escuelas de medicina están bajo mucha presión para clasificar miles de aplicaciones cada año: personas que compiten por un lugar codiciado y la oportunidad de convertirse en médico.
Para ayudar a reducir a los candidatos, muchas escuelas de medicina usan el Casper, que representa la evaluación basada en computadora para el muestreo de las características personales.
La compañía detrás de la prueba, Acuity Insights, afirma que Casper ayuda a las escuelas a predecir qué estudiantes tendrán éxito profesional al evaluar las “habilidades blandas”, desde la empatía y la ética hasta el juicio y la comunicación.
La prueba plantea videos y preguntas basadas en escenarios que le piden al solicitante que evalúe un dilema moral.
Las preguntas cambian cada año, pero Soby da un ejemplo de cómo se vería.
“Dirían: ‘Esta compañía en la que estamos buscando invertir tiene una reputación de [not believing in] Cambio climático “,”, dijo. “Se supone que debes pesar ambos lados del escenario”.
Pero Soby dice que la prueba está envuelta en misterio: a los examinados nunca se les da su puntaje real, nunca aprenden dónde podrían necesitar mejoras y no tienen idea de quién está calificando la prueba que puede tener tal impacto en su futuro.
Además de eso, los críticos dicen que la investigación de Acuity Insight que respalda sus afirmaciones es pobre y poco convincente.
“No hay evidencia de que Casper predice un desempeño futuro”, dijo Jennifer Cleland, investigadora de renombre internacional en el área de selección a la escuela de medicina, y profesora de investigación de educación médica en la Facultad de Medicina Lee Kong Chian de Singapur.
Mirar | Casper controvertido:
“Están vendiendo esta herramienta, y presumiblemente ganando dinero, y la gente la está usando pensando que está haciendo lo que dice que hace”.
Doce de las 17 escuelas de medicina de Canadá dependen de la prueba de Casper como parte del proceso de admisión inicial, muchas de ellas en el puntaje de un solicitante, hasta un 30 por ciento en algunos casos.
Acuity Insights rechazó una solicitud para ser entrevistado.
Un portavoz escribió que una “amplia gama de evidencia apunta a la efectividad de Casper en la evaluación de las habilidades no académicas de los solicitantes” y que las escuelas de medicina que usan CASper en sus procesos de admisión “pueden identificar a los solicitantes que sobresalirán no solo académicamente, sino también como médicos compasivos y efectivos”.
Uso de la propagación de Casper
La prueba fue desarrollada por la Facultad de Ciencias de la Salud de la Universidad McMaster y se convirtió en parte de su proceso de admisión de la escuela de medicina en 2010.
Unos años más tarde, fue licenciado a una empresa privada, ahora Acuity Insights, con sede en Toronto, y ha recibido casi $ 2.5 millones en fondos del gobierno desde 2018 a través de subvenciones del Consejo Nacional de Investigación Canadá.
Aunque Casper fue diseñado originalmente para evaluar a los solicitantes de la escuela de medicina, la compañía lo ha comercializado con éxito a otros programas en todo Canadá, desde enfermería, odontología y fisioterapia hasta programas de pregrado como el Programa de Bachillerato de Educación de la Universidad de Alberta y la Escuela de Ingeniería de la Universidad de Ontario.
Una de las críticas más comunes es la falta de transparencia de la prueba.
A las personas que escriben el Casper nunca se les dice un puntaje: la compañía solo envía esa información a las escuelas.
En cambio, se les dice a los examinados en qué cuatro niveles caen, de los más altos a los más bajos, en relación con otras personas que toman la prueba al mismo tiempo. Acuity dice que esto hace que “los comentarios sean más accesibles”.
“Creo que merecemos saber [the exact percentile]teniendo en cuenta cuánto peso conlleva entrar en admisiones “, dijo SoBy.
Go Public ha escuchado de más de dos docenas de solicitantes de la escuela de medicina que también tienen preocupaciones.
“El proceso es innecesariamente opaco”, escribió uno, quien dijo que había tomado la prueba cinco veces antes de finalmente ser aceptado en una escuela de medicina.
“Tengo infinitas preocupaciones sobre la prueba”, escribió otro, quien dijo que había escrito a Casper tres veces.
Un estudiante que dijo que había tomado la prueba cuatro veces escribió que debería “ser abolido”.
La compañía cobra a los solicitantes $ 50 para escribir la prueba, y otros $ 18 para enviar a cada escuela de medicina.
Los solicitantes también cuestionan la capacitación de las personas que califican los exámenes CASPER.
Una reciente publicación de trabajo en línea de Acuity prometió a los evaluadores podría ganar $ 30 a $ 50 por hora.
El anuncio no enumeró ningún requisito académico o profesional, señalando que los “solicitantes de todos los ámbitos de la vida” eran bienvenidos y a los calificadores se les pagaría 65 centavos por cada respuesta escrita que evalúen y $ 1 por cada respuesta de video.
Acuity le dijo a Go Public It Monitors cuán rápido los evaluadores están anotando respuestas “para garantizar que pasen una cantidad de tiempo apropiada revisando el contexto de cada respuesta”.
La compañía también dijo que sus evaluadores “tienen diferentes niveles de calificación” que asegura “que representen a la población de pacientes que los estudiantes servirán cuando se conviertan en médicos”.
‘No hay evidencia’
Pero quizás la mayor preocupación son las críticas de académicos respetados que dicen que no hay evidencia convincente que la prueba haga lo que afirma.
Después de Go Public preguntó sobre esas afirmaciones, Acuity envió un largo documento, que incluía una lista de ocho estudios, en apoyo de Casper.
Go Public compartió esos estudios con Cleland, y otros tres investigadores establecidos con experiencia en admisiones de la escuela de medicina, que se negaron a ser identificados porque temen las repercusiones profesionales.
Todos llamaron a la investigación débil e insuficiente para respaldar los reclamos de la compañía.
“En realidad me sorprendió lo pobre que era la investigación”, dijo Cleland. “No fueron estudios terriblemente de alta calidad. No eran muy buenos”.
Cleland y los demás señalaron que uno de los estudios no examina la prueba de Casper real, sino una prueba similar. Dijeron que otro es una descripción general de la investigación existente y no proporciona datos nuevos. Dos fueron documentos de conferencia, por lo que no se sometieron al rigor de un proceso de revisión de pares de revista, y varios no abordaron los resultados a largo plazo.
“Me decepciona que algo carece de erudición, carente de rigor, robustez y credibilidad”, dijo Cleland.
Los investigadores también dijeron que varios estudios están potencialmente “en conflicto” porque fueron escritos por cofundadores de la compañía que ahora es agudeza o investigadores que trabajan para ellos.
Acuity dice que “la investigación financiada por la industria” es una práctica común y que toda la investigación que involucra a la empresa sufre “divulgación completa con respecto a la financiación y las afiliaciones”.
A los investigadores con los que hablamos también les preocupaba que la mayoría de los estudios fueran lo suficientemente pequeños como para ser científicamente cuestionables y no habían sido replicados.
Cleland señaló un estudio que analizó a 31 residentes médicos y concluyó que Casper podría predecir cuáles tendrían menos problemas profesionales.
“¿Cómo puedes decir eso con números tan pequeños y pequeños?” preguntó Cleland. “El reclamo es infundado”.
Algunas de las ideas de investigación de la investigación enviadas mostraron que los solicitantes de la escuela de medicina con puntajes más altos de CASPER tenían más probabilidades de ser invitados a una entrevista y funcionar bien en esa entrevista, y otros estudios encontraron que Casper puede predecir quién le irá bien en algunas evaluaciones en la escuela de medicina.
Pero Cleland dice que no se estableció un patrón claro.
“Por lo tanto, predijo el rendimiento en un examen clínico, pero no en el examen equivalente del próximo año”, dijo. “Esperarías que si algo predeciera lo que debía predecir … sería un poco consistente”.
Hay pocos estudios que rastrean el desempeño de los estudiantes con el tiempo, pero GO Public examinó dos estudios longitudinales que la agudeza no se hizo referencia.
Uno examinó si los puntajes de Casper y otros criterios de admisión podrían predecir qué estudiantes de medicina podrían tener problemas profesionales.
“Nuestra investigación no reveló una relación significativa entre el desempeño de Casper y la necesidad de remediación de profesionalismo en la escuela de medicina”, dijo Lawrence Grierson, autor principal de ese estudio y profesor asociado del Departamento de Medicina Familiar de la Universidad McMaster.
El otro estudio en el que Grierson trabajó también descubrió que la prueba de Casper no podía predecir quién le iría bien en el examen para obtener una licencia médica.
“No encontramos una asociación”, dijo Grierson. “Es difícil saber por qué una asociación aparece en algunos estudios y no en otros. Pero, en conjunto, lo que esto significa es que las declaraciones de la efectividad universal de la prueba (al menos con respecto a la predicción del comportamiento profesional futuro) se exageran”.
Acuity Insights también envió a Go Public Su “Manual técnico”, un documento de 148 páginas que dice “proporciona una guía robusta e integral sobre la validez y confiabilidad de la prueba de Casper”. Los investigadores con los que hablamos con el hecho de que el manual técnico no es un estudio revisado por pares, sino un documento utilizado, en parte, con fines comerciales.
Más tarde, la compañía envió más investigación, pero algunos estudios fueron duplicados que ya habían enviado, varios eran trabajos de investigación, no estudios revisados por pares, y uno era la tesis doctoral de un estudiante.
Acuity también señala la investigación que sugiere que la prueba CASPER puede aumentar la diversidad de los estudiantes porque los resultados de las pruebas muestran menos sesgo racial que las evaluaciones académicas como los puntajes MCAT y GPA.
Soby volvió a escribir la prueba de Casper en agosto pasado y está esperando saber si entrará en la escuela de medicina para el otoño.
Mientras tanto, ha publicado un tiktok sobre sus preocupaciones de Casper, llamando al hecho de que los solicitantes no obtienen su puntaje exacto y que los evaluadores podrían apresurarse a las respuestas para aumentar su salario por hora.
Él dice que quiere que las escuelas de medicina sepan cómo la prueba de Casper está afectando a las personas que esperan convertirse en médicos.
“Es importante que esas escuelas vean las críticas”, dijo SoBy. “Y también es importante que el público vea lo que está sucediendo”.
Envíe las ideas de su historia
Go Public es un segmento de noticias de investigación en CBC-TV, Radio y la Web.
Cuentamos sus historias, arrojamos luz sobre irregularidades y responsabilizamos los poderes que son responsables.
Si tiene una historia en interés público, o si es un interno con información, comuníquese con gopublic@cbc.ca con su nombre, información de contacto y un breve resumen. Todos los correos electrónicos son confidenciales hasta que decida hacer público.
Lea más historias de Go Public.
Lea sobre nuestros anfitriones.
