Campus Universitario de Tafira, 35017 Las Palmas de Gran Canaria, Spain
eISSN: 2386-3374
Journal information, indexing and abstracting details, archives, and instructions for submissions:
http://ojsspdc.ulpgc.es/ojs/index.php/ElGuiniguada/index
Universidad de Alcalá
Universidad Politécnica de Valencia
El Guiniguada. Revista de investigaciones y experiencias en Ciencias de la Educación is licensed under a Creative Commons ReconocimientoNoComercial-SinObraDerivada
4.0 Internacional License.
Universidad de Alcalá
Universidad Politécnica de Valencia
RESUMEN
El campo de la evaluación va adquiriendo una importancia progresiva en España. Hasta hace pocos años los estudiosos de la especialidad eran pocos en nuestro país y aun hoy, en el campo de las lenguas extranjeras, el número de investigadores es pequeño. Una de las áreas donde la evaluación de lenguas extranjeras en España se ha fijado recientemente es la de la ubiquidad. Proyectos como PAULEX Universitas y más recientemente OPENPAU han puesto de manifiesto la necesidad del uso de dispositivos móviles para la realización de pruebas estandarizadas. En este caso nos centramos en un estudio de actitudes realizado con 23 alumnos del Grado de Magisterio de Primaria sobre el uso de dispositivos móviles para la evaluación en el aula. Los resultados muestran su gran interés y la aplicabilidad del sistema en las aulas de primaria.
PALABRAS CLAVE: Ubiquidad, Tabletas, Pruebas estandarizadas, Maestros, Lenguas extranjeras
53
ABSTRACT
The field of evaluation is acquiring growing importance in Spain . Until recently scholars specialty were few in our country and even today, in the field of foreign languages , the number of researchers is small. One area where the assessment of foreign languages in Spain has been recently set is that of ubiquity. Projects like PAULEX Universitas and more recently OPENPAU have revealed the necessity of the use of mobile devices for conducting standardized tests. In this case we focus on a study conducted on the attitudes of 23 Grade Teacher Training Primary students on the use of mobile devices for assessment in the classroom. The results show great interest and applicability of the system in elementary classrooms.
KEYWORDS: Ubiquity, Ipads, Standardized Testing, Teacher, Foreign Languages
INTRODUCCIÓN
El estudio, o mejor su ausencia, de la evaluación de lenguas extranjeras ha sido uno de los problemas comunes en el panorama docente español durante muchos años (García, 2010). De alguna manera, mientras en otras especialidades existían estudios sobre el desarrollo de la misma (Remesal, 2007; 2011) los estudios relacionados con el inglés siguen sin tener un reflejo amplio en el panorama educativo español. Esto es especialmente significativo toda vez que en base a unos supuestos conocimientos adquiridos los alumnos deberían ser capaces de alcanzar un nivel en lengua extranjera que les permitiese servirse la misma para apoyar sus propios estudios universitarios. Lo cierto es que formalmente no se comprueba ni su validez ni su fiabilidad para comprobar su comparabilidad entre comunidades autónomas o, ni tan siquiera, que su formato (constructo) no sea claramente discriminatorio a nivel nacional llegándose a observar unas amplias diferencias de nivel entre comunidades como Andalucía y Cataluña. Estas diferencias ya han sido ampliamente denunciadas en otras publicaciones (García, 2006).
54
Lo peor es que en base a los resultados anuales obtenidos en la PAU, se toman decisiones sobre el formato de la Prueba de Acceso a la Universidad (PAU), la inclusión de un Bachillerato bilingüe en un centro o, incluso, la puesta en funcionamiento de escuelas primarias bilingües.
En la actualidad la evaluación de lenguas extranjeras en España es, como mínimo, bastante informal. Por un lado, en primaria se hace a través de empresas externas – especialmente el British Council – y en Bachillerato de manera más o menos “amateur” en la PAU. Por ejemplo, en un reciente estudio entre los coordinadores de la sección de inglés de la Prueba de Acceso a la Universidad, pudimos constatar que muchos coordinadores de la misma eran especialistas en un área diferente de la evaluación. No sólo eso, siendo casi todos Profesores Titulares de Universidad, solamente tres (de los 40 encuestados) habían publicado algún trabajo sobre evaluación. Un estudio similar se podría hacer en las instituciones estatales y autonómicas que tienen la responsabilidad de poner en funcionamiento la prueba de 6º de Primaria en lengua extranjera o la de 4º de Primaria que podría ponerse en funcionamiento en el futuro. Por tanto, nos encontramos claramente que la evaluación en España está en manos de administradores con poca experiencia o ninguna en evaluación, especialmente en lenguas extranjeras. Incluso los autores de esta misma comunicación no son sino docentes de otras especialidades “reconvertidos” al campo de la evaluación.
Sin embargo, mientras que el interés en validación de los exámenes de lenguas en España es relativamente pequeño, tres áreas sí han sido más desarrolladas: 1) diseño, corpus lingüístico y adaptación al CEFR a través de Herrera (1999; Herrera y Martínez, 2002), Díez (2011) y Figueras (2007, 2012); 2) impacto y efecto rebote (desde ahora denominado “washback”) a través de investigadoras como Amengual (2003, 2009), y el uso de la tecnología en la evaluación por los propios autores de este trabajo. Centrándonos en este último aspecto, García y Magal se han interesado evolutivamente en elementos tecnológicos asociados a movilidad como son ordenadores portátiles, teléfonos móviles y tabletas (García et al., 2014). Recientemente y dadas las dificultades intrínsecas que conllevan las pruebas estandarizadas de la LOMCE incluso se sugirió en uso de Skype para la sección oral del examen de inglés de la Prueba Final de
55
Bachillerato (García et al., en prensa). Dentro de esta línea de trabajo encontramos la experimentación que se describe a continuación.
MÉTODO DE INVESTIGACIÓN
En este estudio nuestras preguntas de investigación eran las siguientes:
¿Entenderán los futuros docentes de primaria la importancia significativa del empleo de la evaluación estandarizada?
¿Entienden que la evaluación a través de tabletas es adecuada para los alumnos de primaria?
22 estudiantes de último curso de la especialidad de inglés realizaron una prueba de inglés de nivel de B1 (intermedio-bajo) equivalente a la que se ha sugerido para la prueba LOMCE de 6º de Primaria (http://www.mecd.gob.es/inee/Evaluacion_sexto_Primaria.html) (Figura 1). Tras la prueba rellenaron un cuestionario con escala Likert de 1 a 5.
Figura 1. Momento del estudio e interfaz del examen (fuente propia)
Para esta investigación se utilizaron tabletas miTab EVOLUTION W2 con procesador Quad-Core a 1,4 Ghz, Android 4.4, teclado QWERTY por Bluetooth, WIFI802.11 b/g/n y Bluetooth 4.0.
56
RESULTADOS
En general, la tabla 1 presenta los resultados obtenidos a través del cuestionario
PREGUNTA | FRECUENCIA | ||||
1 | 2 | 3 | 4 | 5 | |
La aplicación me parece adecuada para realizar este examen | 6 | 7 | 7 | 2 | 0 |
La organización visual me parece adecuada para un estudiante de 6ºde primaria | 4 | 8 | 5 | 5 | 0 |
La aplicación me parece intuitiva | 2 | 6 | 5 | 6 | 3 |
Los elementos visuales me permiten reconocer las partes importantes de la interfaz | 1 | 3 | 4 | 10 | 4 |
Un alumno de 6º de primaria tendría problemas en realizar un examen con esta plataforma | 0 | 2 | 5 | 5 | 10 |
Un alumno de primaria aprendería a usarlo fácilmente | 3 | 8 | 6 | 5 | 0 |
Un alumno de primaria aprendería a usarlo sin instrucciones | 10 | 2 | 7 | 3 | 0 |
Tabla 1. Resultados del cuestionario
Como se ve, los futuros profesores consideran que los alumnos de 6º de Primaria tendrían problemas en utilizar el examen con una plataforma aunque los valores de intuitividad y adecuación no sean tan negativos. Sin embargo, por otro lado, cuando se les pregunta por la capacidad para aprender a usarlas los valores se transforman en valores centrales lo que indica cierta discrepancia con la pregunta referente a la optimicidad.
En general se aprecia una tendencia central o negativa. Estos datos contrastan con los resultados obtenidos con los alumnos mismos. Según García, Magal y Bakieva (en prensa), los alumnos son mucho más positivos en su forma de entender sobre la posibilidad de implementar esta forma de realizar exámenes. Esto podría deberse a que los futuros profesores carezcan de una gran experiencia en el uso de tabletas en el aula o simplemente porque realmente se trata de un factor negativo. También podría asociarse con una evolución en el
57
uso de medios de aprendizaje ubicuos. Por otro lado se valora positivamente que de cualquier manera, los futuros egresando toman posiciones de valor ante el uso. Es posible que se deba a que entienden el valor intrínseco de dichos medios en el futuro de la educación. Quizás se habría dado un resultado mucho más positivo de haberles preguntado su opinión respecto al examen mismo. Otra cuestión sería cuál es su opinión respecto a las pruebas estandarizadas de Primaria que, como ya se sabe, han despertado un amplio rechazo posiblemente por la cuestión en los cambios de docencia (Troyan, 2012; Zohrabi, Torabi y Baybourdiani, 2012; Waters, 2014) y que cualquier tipo de reforma educativa siempre conlleva un rechazo inicial (Wraga, 1998; Chalhoub, 2009; Falsgraf, 2009; Tan, 2010).
DISCUSIÓN Y CONCLUSIONES
Los resultados aquí mostrados, aunque una primera aproximación a un amplio e interesante tema no dejan de absolutamente tentativos. Por tanto plantean una serie de cuestiones: 1) ¿Es para los profesores la tableta el medio no aceptable para una evaluación estandarizada?
2) ¿Es la reducción de costes y la oportunidad de facilitar los exámenes por ordenador suficientemente significativo para su implementación? 3) ¿Están los profesores preparados para el cambio o necesitan formación adicional? 4) ¿Necesitan tabletas normales o adaptadas – incluyendo aquellas que añaden teclado-?
Lo cierto es que la primera pregunta en conjunción con la última muestra que los futuros egresandos muestran muchas incertidumbres respecto al examen por ordenador. Lo evidente es que carecen de experiencias propias que bien podrían justificar esta forma de ver la cuestión por la carencia de experiencia, la limitación esperada de los alumnos y otras varias razones. Respecto a la interfaz, los resultados aparecen centralizados por lo que seguramente sería interesante un seguimiento de esta experiencia (cuyos resultados aparecerán en 2016).
Nuestra investigación muestra indicadores de la necesidad de seguir investigando en el tema. Por ello, este trabajo debe verse en conjunción con el de García et al. (en prensa) que es muy alentador. La contraposición de ambos muestra que los alumnos ven más
58
asequibles las novedades que los propios profesores (García, 2002). Sin embargo, consideramos muy positivo este primer estudio realizado en futuros docentes de primaria ya que tenemos la convicción de que los estudios posteriores cubrirán algunas de sus limitaciones más significativas como la muestra o las actitudes iniciales. También se plantean futuras investigaciones en cuanto a la formación de profesores y alumnos y de aspectos más técnicos como la conectividad. Por todo ello, el estudio deberá continuar no siendo este estudio sino un precursor de un trabajo más amplio a realizar en el futuro.
RECONOCIMIENTOS
Los autores quisieran expresar su agradecimiento al Ministerio de Ciencia e Innovación del Gobierno de España por la subvención recibida, dentro del Plan Nacional de I+D+I en su convocatoria de 2011, para llevar a cabo el proyecto OPENPAU (Orientación, propuestas y enseñanza para la sección de inglés en la Prueba de Acceso a la Universidad, FFI2011-22442).
Una versión previa de este trabajo ahora revisado fue presentado en el “IX Congreso Internacional de Evaluación Formativa y Compartida” (http://www.congresoevaluacionsantander.unican.es/) que se celebrará en Santander los días 17, 18 y 19 de septiembre 2016 (ISBN
978-84-8102-761-7).
REFERENCIAS BIBLIOGRÁFICAS
Amengual, M. (2003). A study of different composition elements that raters respond To/Estudio de las respuestas de los evaluadores a diferentes elementos de las redacciones. Estudios Ingleses De La Universidad Complutense, 11, 53-72.
Amengual, M. (2009). Does the english test in the spanish university entrance examination influence the teaching of
59
english? English Studies, 90(5), 582-598.
Chalhoub, M. (2009). The intersection of test impact, validation, and educational reform policy. Annual Review of Applied Linguistics, 29, 118-131.
Díez, M. B. (2011). Spanish pre-university students' use of english: CEA results from the university entrance examination. International Journal of English Studies, 11(2), 141-158.
Falsgraf, C. (2009). The ecology of assessment. Language Teaching, 42(4), 491-503.
Figueras, N. (2007). The CEFR, a lever for the improvement of language professionals in europe. The Modern Language Journal, 91(4), 673.
Figueras, N. (2012). The impact of the CEFR. ELT Journal, 66(4), 477-485.
García, J. (2002). ¿Cómo queremos que nos enseñen inglés? La variable actitudinal en la enseñanza y aprendizaje de inglés. Albacete: Liberlibro.
García, J. (2006). Analizando críticamente la Selectividad ¿Todos los estudiantes tiene las mismas posibilidades?. TESOL- Spain Newsletter, 30(2), 9-12.
García, J. (2010). ¿Necesitan las universidades españolas una prueba de acceso informatizada? El caso de la definición del constructo y la previsión del efecto en la enseñanza para idiomas extranjeros. Revista de orientación y Psicopadagogía, 21(1),71- 80.
García, J., Magal, MT & Bakieva, M. (2016). Tablet PCs usability in
60
language testing: the future of standardized language testing.
Journal of Universal Computer Science (In press).
García, J., Magal, T., Litzler, M.F. & Giménez, J.L. (2014). Mobile phones for a University Entrance Examination language test in Spain. Educational Technology & Society, 17(2), 17-30.
Herrera, H. (1999). Is the English test in the spanish university entrance examination as discriminating as it should be? Estudios Ingleses de la Universidad Complutense, 7, 89- 107.
Herrera, H., & Martínez, R. (2002). A new insight into examinee behaviour in a multiple-choice test: A quantitative approach. Estudios Ingleses de la Universidad Complutense, 10, 113-137.
Remesal, A. (2007). Educational reform and primary and secondary teachers' conceptions of assessment: The Spanish instance, building upon black and William (2005). Curriculum Journal, 18(1), 27-38.
Remesal, A. (2011). Primary and secondary teachers' conceptions of assessment: A qualitative study. Teaching and Teacher Education: An International Journal of Research and Studies, 27(2), 472-482.
Tan, C. (2010). Educational policy trajectories in an era of globalization: Singapore and Cambodia. Prospects, 40(4), 465-480.
Troyan, F. J. (2012). Standards for foreign language learning: Defining the constructs and researching learner outcomes. Foreign Language Annals, 45, S118-S140.
Waters, A. (2014). Managing innovation in english language
61
education: A research agenda. Language Teaching, 47(1), 92-110.
Wraga, W. G. (1998). The comprehensive high school and educational reform in the United States: Retrospect and prospect. The High School Journal, 81(3), 121.
Zohrabi, M., Torabi, M. A., y Baybourdiani, P. (2012). Teacher- centered and/or student-centered learning: English language in Iran. English Language and Literature Studies, 2(3), 18- 30.
62