El Guiniguada, 30 (2021), pp. 40-51
Print ISSN: 0213-0610 – eISSN: 2386-3374
Servicio de Publicaciones y Difusión Científica Universidad de Las Palmas de Gran Canaria
Campus Universitario de Tafira, 35017 Las Palmas de Gran Canaria, Spain
eISSN: 2386-3374
10.20420/ElGuiniguada.2013.333 (doi general de la revista)
The scientific rigour in research. Some issues from the area of Language and Literature Teaching
Universidad de Valladolid
DOI (en Metadatos y en Sumario Revista)
Recibido el 03/12/2020 Aceptado el 23/01/2021
El Guiniguada is licensed under a Creative Commons ReconocimientoNoComercial-SinObraDerivada
4.0 Internacional License.
The scientific rigour in research. Some issues from the area of Language and Literature Teaching
Carmen Guillén Díaz c.guillendiaz@gmail.com Francisco Javier Sanz Trigueros
franciscojavier.sanz.trigueros@uva.es Universidad de Valladolid
Al Profesor Robert Galisson In Memoriam
RESUMEN
Ante las lógicas que marcan los discursos sobre la calidad que debe presidir toda investigación científica, con este artículo se pretende contribuir a confirmar la cientificidad del conocimiento generado en torno al objeto de estudio propio del área de Didáctica de la Lengua y la Literatura (DLL). Se analiza en fuentes expertas las determinaciones para contemplar la investigación propia de esta área, la noción de calidad científica y los criterios para evaluarla. Especificados éstos en torno a los paradigmas cualitativo y cuantitativo, revelan una prioritaria pormenorización de los relativos al paradigma cualitativo, y una noción recurrente: el rigor científico. Estimando necesario superar esa polaridad, se propone el rigor científico como macro-criterio, con indicadores comparables entre paradigmas y ámbitos de conocimiento. Por su consenso para trabajos conjuntos de evaluación, pasaría consecuentemente a formar parte de la cultura científica de DLL y de la formación profesionalizadora –inicial y continua– a la investigación.
PALABRAS CLAVE
CALIDAD DE LA INVESTIGACIÓN, RIGOR CIENTÍFICO, INVESTIGACIÓN CUALITATIVA
ABSTRACT
In this paper, we assume the rationale that marks the discourses on the quality of scientific research. In so doing, we aim to confirm the scientific nature of the knowledge stemmed from the Teaching of Language and Literature (TLL). To address this, we analyse guidelines in specialised literature to examine the research of TLL, the notion of scientific quality and the criteria to evaluate it. Both qualitative and quantitative paradigms encompass these criteria; however, the qualitative one allows us to study them in detail since the scientific rigour looms as a frequent notion. In order to overcome this disjunction, we propose the scientific rigour as a macro criterion with comparable indicators between paradigms and fields of knowledge. Consequently, as the scientific rigour is crucial to develop joint assessment activities, it could become part of the scientific culture of TLL and the research training.
KEYWORDS
RESEARCH QUALITY, SCIENTIFIC RIGOUR, QUALITATIVE RESEARCH
INTRODUCCIÓN
En este artículo tenemos la ocasión de poner en común –como dictan los propósitos de la Revista y gracias a la generosa invitación de la coordinadora de este monográfico la Dra. Consol Aguilar Ródenas–, una prospección reflexiva socio- institucional, de política científica, y pragmática.
Concierne en última instancia al renovado interés por impulsar la profesionalización de la investigación presidida por la calidad/excelencia1, en la trayectoria individual y colectiva de los especialistas que, en el sistema universitario, están adscritos en este caso al área de conocimiento de Didáctica de la Lengua y la Literatura (DLL), con perfiles que describe exhaustivamente Aguilar (2017).
CARACTERIZACIÓN DE LA DLL. ASPECTOS SOCIO-INSTITUCIONALES
Es evidente en primer lugar, que es un área que forma parte del macroámbito de Educación dentro de las Ciencias Humanas y Sociales desarrolladas según diferentes tradiciones o paradigmas. Su emergencia responde a una vocación transversal compartida: la comprensión contextualizada, la transformación e intervención en la realidad social que abarca los fenómenos humanos y sociales desde diversos ángulos. Resulta, por tanto, para los investigadores “d’une complexité indescriptible et imprédictible dans sa totalité, et qu’en tant qu’êtres humains sociaux ils s’y étudient eux-mêmes au moins indirectement.” (Blanchet y Chardenet, 2011, p. 463).
Y en segundo lugar que, en el sistema universitario participa de pleno derecho en el funcionamiento del triángulo del conocimiento –Educación/Formación, Investigación e Innovación– (Guillén Díaz y Sanz Trigueros, 2019), así como en el proceso de internacionalización; es decir, de integrar una dimensión internacional e intercultural- global a los objetivos de enseñanza/aprendizaje, a la investigación educativa y a la innovación. Internacionalización que, para su finalidad de complementar, armonizar, difundir lo nacional, regional y local, convierte a la concepción de calidad científica en eje articulador de ese triángulo del conocimiento en el Espacio Europeo de Educación Superior. Se orienta así el Objetivo operativo 1.6. Aseguramiento transnacional de la Calidad (MECyD, 2016, p. 40) que, respecto a la carrera profesional de docentes e investigadores, conlleva adaptarse a las crecientes exigencias de la investigación internacional para las sinergias con el Espacio Europeo de Investigación.
En este sentido, Sanz Trigueros, Guillén Díaz y Barranco Izquierdo (2017, p. 142) plantean:
es ineludible tomar conciencia de la problemática generada en torno al continuo refuerzo de esta función esencial de la universidad que constituye la investigación científica, la cual desde las disposiciones oficiales se ha declarado –[…]- ´como fundamento esencial de la docencia` […] se la vincula estrechamente tanto con la transferencia del conocimiento, como con el desarrollo profesional de los docentes, cuya eficiencia está siendo evaluada tomando como
´criterio relevante` […]: La actividad y dedicación investigadora y la contribución al desarrollo científico.
1 Término que, ante la definición transversal y global de calidad, aparece erróneamente utilizado como intercambiable.
De forma que en virtud de esa eficiencia y entendiendo, como indicaba Morin (1984), que la toma de conciencia sobre los ámbitos científicos y la cientificidad es una cuestión de responsabilidad y reflexión, ponemos la mirada en un futuro de prestigio de la investigación en DLL por la confirmación de su cientificidad (Blanchet, 2011), para no derivar en meras especulaciones que resultan insuficientes.
En este sentido, aludimos simbólicamente a dos volúmenes de esta Revista con experiencias del presente y de un pasado aún reciente:
-Del presente, El Guiniguada, 28 (2019) conmemorativo de los 30 años de la ULPGC, por estar dedicado al tópico La Universidad: Retos y desafíos (coordinado por la Dra. Marina Tomàs-Folch). En él, Castro Ceacero y Mentado Labao (2019, p. 27) reafirman “una tendencia hacia la consolidación de una cultura de investigación efectiva que promueva la productividad bajo un claro enfoque de intensificación de la investigación”, así como “una alta presión por el desarrollo profesional evaluado externamente a partir de la productividad científica” (Ibid., p. 22).
-De un pasado reciente, El Guiniguada, 3(2) (1992)2, dedicado a: Actas del Segundo Congreso Internacional de la SEDLL (Las Palmas, 2 al 4 de diciembre), porque contiene la ponencia que impartió el Profesor Robert Galisson aportando su emblemática concepción del ámbito de conocimiento que denominó Didactologie/Didactique des Langues-Cultures (D/DLC), (Galisson, 1992, p. 339- 362)3.
De ese ámbito, al que otorga la transversalidad máxima de una Didactologie/Didactique Générale des Langues-Cultures (maternelles et étrangères) (D/DGLC), son beneficiarias la identidad y entidad de la DLL en nuestro contexto universitario (Guillén Díaz, 2012). Un área que institucionalmente está implicada en la visión de las políticas lingüísticas educativas, en la promoción del diálogo entre disciplinas, del lugar de las lenguas, las literaturas y las culturas en la Educación respecto a otras cuestiones educativas prioritarias, como los valores de igualdad de oportunidades o el poder de las tecnologías. Y que, en consecuencia, integra la concepción del objeto de conocimiento científico –complejo– de esa D/DLC que Robert Galisson ha instaurado en torno a:
las categorías y sub-categorías educativas configuradoras del modelo sistémico de situación pedagógica, según
los modos de tratamiento didáctológico (o teórico), didáctográfico (o praxeográfico) y didáctico (o práctico), mostrando “la multitude des lieux d’investigation disciplinaires” (Galisson, 1992, p. 348), correspondientes a ámbitos nuevos o necesitados de innovación.
2 Año en que esta Revista estaba dirigida desde la primera etapa de su andadura 1984-1989 y hasta 1999, por nuestro estimado compañero el Dr. Arturo Delgado Cabrera, del área de DLL, y co-fundador de la SEDLL.
3 Y, además, porque conocedores de su fallecimiento el 1 de febrero de 2020, así le rendimos un
respetuoso homenaje, por todo lo que muchos le debemos en nuestras trayectorias docentes e investigadoras; cuando como algunos han expresado: lamentablemente dada la modernidad excluyente del inglés, resulta cada vez más difícil encontrar sus referencias imprescindibles (aun cuando ya felizmente estén recapituladas en distintas publicaciones–homenaje, como: Études de Linguistique Appliquée, 123-124, 2001; Synergie Portugal, 4, 2016, y en Identifiants et Référentielles pour l´enseignement supérieur et la recherche https://www.idref.fr/026879344).
La investigación en DLL
La especificidad y legitimidad institucional conquistadas de la D/DLC4 –y en nuestro caso de la DLL–, residen para Galisson (1990, p. 63) en que “elle est la seule à avoir l´objet qu´elle a et à faire ce qu´elle fait”, situando la vigilancia de la calidad científica de las investigaciones en el marco de:
Una estructura conceptual que asegure la vertiente epistémica en evolución permanente, con determinaciones teórico-conceptuales y pragmáticas inscritas en una coherencia plural y modular pluri-inter- y transdisciplinar cada vez más importante para la innovación (Boix Mansilla, Feller y Gardner, 2006).
Los principios epistemológicos de lo científico-social, de conocimiento total y de saber práctico que, marcados por la deontología, caracterizan la investigación educativa interpretativa, cualitativa. Corresponde ésta desde la nueva filosofía de la ciencia a una legitimada epistemología alternativa no positivista (Melo-Pfeifer, 2014), y supone un desafío –en coexistencia–, a la norma de funcionamiento de las Ciencias Naturales: el positivismo de investigaciones fundamentales, inscritas en el paradigma cuantitativo (Howe y Eisenhart, 1993).
Se inscribe en el modo 2 de producción del conocimiento (Gibbons, et al., 1997) basado en problemas, interrogantes debidamente situados que, definidos y conceptualizados, se analizan y valoran críticamente a la búsqueda de soluciones/remediaciones diversas, con aplicaciones potenciales. Conforme al método científico, se sigue un proceso con procedimientos expertos y sistemáticos propios. Engloba un amplio y heterogéneo conjunto de enfoques, instrumentos, técnicas de recogida y análisis de datos, incluyendo estrategias complejas al aportar valores de los resultados (según Howe y Eisenhart, 1993, p. 163, “positivismo metodológico residual”), para quizá según Bru (2006, p. 7) “faire scientifique”; con la idea conservadora de “qu´il n´y a de science que du quantifiable.”
CONCEPCIÓN DE LA CALIDAD. ASPECTOS DE POLÍTICA CIENTÍFICA
Considerando que la calidad en I+D, conforme a la norma ISO, reside en satisfacer determinadas exigencias, necesidades y expectativas de las partes interesadas, y abordada desde un punto de vista técnico-metodológico, en el informe de Méndez (2012) accedemos a tres parámetros clave de la calidad científica:
calidad de la investigación,
calidad en investigación y
excelencia.
Como expone esta autora, calidad de la investigación se vincula al proceso científico que moviliza elementos de la concepción y elaboración de un estudio. Focalizada en la correspondencia entre métodos e interrogantes, selección de la muestra, estrategias de análisis, interpretación de resultados, etc., remite –a su vez– a tres dimensiones de la investigación: Originalidad, Rigor científico e Importancia. Su evaluación se contempla mediante criterios, indicadores intrínsecos (Metodológicos Tipo A para Bridges, 2009), relativos a procedimientos y resultados.
Mientras, calidad en investigación se vincula al carácter pertinente de la investigación para el avance del ámbito de estudio. Focalizada en la relación significativa entre
4 Por su importancia y relevancia para la sociedad, por su vocación de Didáctica profesional y su carácter operativo, y por la orientación de las formaciones a la docencia y a la investigación, coherentes y análogas (Puren, 2001).
objetivos o resultados y necesidades (Boaz y Ashby, 2003), que va más allá de los aspectos metodológicos, remite a la dimensión Pertinencia. Su evaluación se contempla mediante criterios, indicadores extrínsecos (Relacionales Tipo B para Bridges, 2009), relativos a utilidad, accesibilidad y utilización de los resultados (Yule, 2010).
Y es, en relación con esa utilización (aplicación) como el parámetro excelencia indica para Tijssen (2003, p. 92) “surpassing something or someone in some quality…”. Es más bien una característica comparativa de la investigación científica que remite a la dimensión Rendimiento en el contexto universitario y externo socio-político. Se contempla su evaluación mediante indicadores extrínsecos relativos a repercusiones, generalizándose el factor impacto por métodos bibliométricos aplicados a la política científica (lugar y número de publicaciones, citas, patentes, etc.)5, (Velasco, Eiros, Pinilla y San Román, 2012); resultando ser un índice.
Se conceptualiza así la cientificidad como ilustramos en la Figura 1.
Figura 1.
Conceptualización de la Cientificidad
Fuente: Elaboración propia
Bien es cierto que la excelencia es objeto de debate pues, sin asimilarla exactamente a la calidad, forma parte efectiva de su evaluación (Grant et al., 2010). Es por lo que no podemos por menos de aludir a nuestro contexto donde se viene observando una “amnesia preocupante”: cada vez es más difícil que especialistas españoles en DLL sean citados y existan si no escriben en inglés, y más aún que se citen entre sí.
EVALUACIÓN DE LA CALIDAD CIENTÍFICA. ASPECTOS PRAGMÁTICOS
Diversos autores exponen que la movilización de una competencia de investigación (profesionalizada) –en sus componentes: cognoscitivo-metodológico y deontológico- ético–, que asegure la cientificidad de procesos, procedimientos y resultados, se encuentra influida por referenciales de criterios de base: valor de verdad, aplicabilidad, consistencia y neutralidad que rigen las investigaciones fundamentales, conforme al paradigma cuantitativo.
5 Es un hecho que, en la evaluación de Proyectos I+D, se atiende la cantidad y el impacto de los resultados aportados por los solicitantes, considerando que da cuenta de la trayectoria de excelencia en la investigación. Ver más adelante Tabla 1.
Reivindicados desde los estándares institucionalizados (ANECA, ANEP, CNEAI…), han adquirido autoridad para evaluar las investigaciones interpretativas, innovadoras e interdisciplinares (Hammersley, 2008). Generan controversias y falta de consenso pues, como indican entre otros Bridges (2009) y Kenna y Berche (2011), se comparan disciplinas que no pueden ser comparadas y existen diferencias en la aplicación de criterios y la ponderación de indicadores medibles.
Es la problemática que, al evaluar la producción científica y a los investigadores, afecta a la investigación educativa, a la que –como ya expresaron Howe y Eisenhart (1993, p. 175)–, se le ha atribuido un carácter “vulnerable ante acusaciones tan familiares como su subjetividad sin esperanza, su acientificismo, su relativismo y su carencia casi absoluta de criterios al respecto.”
Nos permitimos aludir también a nuestro sistema universitario, en donde podríamos decir que la cuestión de los criterios de evaluación dificulta confirmar la cientificidad de las investigaciones propias de DLL. Se afronta con preocupación y serias limitaciones el incremento de los efectos de la evaluación o control de la calidad sobre el desarrollo profesional docente e investigador: financiación de proyectos, acreditaciones, habilitación para la promoción académica, etc., claves en el sistema público de Educación Superior.
Los criterios de evaluación
Sucede que la calidad de la investigación fundamental, cuantitativa, es contemplada bajo criterios ampliamente consensuados, mientras que para la investigación educativa conforme al paradigma cualitativo, abundan las publicaciones ocupadas aún en sustentar los juicios de cientificidad con criterios redefinidos, incluso añadidos y con fluctuación de denominaciones. Resultan ambiguos quizá porque pertenecen a registros terminológicos heterogéneos, a unas y otras lenguas; quizá también porque los significados no se explicitan suficientemente.
Esa polaridad cuanti- cuali- debería ser aparente porque toda investigación confirmará su cientificidad desde el consenso ante el referencial de criterios resultante de las correspondencias entre unos y otros.
Su pormenorización revela exigencias metodológicas y éticas que, autores como Gohier (2004) cifran básicamente en indicadores de:
-Relación coherente/adecuación entre interrogantes y recogida y análisis de datos.
-Aplicación competente/efectividad de modos e instrumentos de recogida de datos y técnicas de análisis.
-Vigilancia y coherencia de los supuestos respecto al estado de la cuestión.
-Garantía del valor interno/externo de datos y resultados.
El rigor en la confirmación de la cientificidad
Entidades de carácter público o privado, relacionadas directa o indirectamente con la investigación, enuncian sin especificaciones paradigmáticas criterios para decidir sobre la calidad de las producciones científicas. Con el carácter de normas editoriales de publicación de libros, protocolos de evaluación de artículos en revistas especializadas, guías de buenas prácticas de investigación, tesis doctorales, requisitos en convocatorias de proyectos, etc., reflejan en gran medida las representaciones sobre la cientificidad, como se recoge a título ilustrativo en Tabla 1.
Tabla 1.
La noción de rigor en enunciados sobre evaluación de producciones científicas
Fuente: Elaboración propia
Se observa que la calidad se perfila de forma opaca, al ser enunciada junto al término rigor, explícito e implícito mediante indicadores extrínsecos e intrínsecos. Es un concepto recurrente también en situaciones iniciáticas a la investigación, como:
Objetivo en la formación (CINE V-VI, máster, doctorados) “Llevar a cabo con rigor las etapas de una investigación”.
Condición sine qua non en quien dirige y para quien investiga. Así lo recogen de sus doctorandos Marcel y Broussal (2020, p. 23), “un directeur ou directrice de thèse (…)
ça nous apprend à avoir une certaine rigueur et une vraie discipline de travail (…) je compte sur ça.”
Es por lo que al remitirnos a la corriente de actualización de la cientificidad, de los criterios que han servir a la evaluación de las producciones científicas, diversos autores declaran que la cientificidad de una investigación depende/está condicionada por el rigor (Savoie-Zajc, 2019); y, en particular para Educación, que el rigor científico “cautionne la valeur d´une démarche scientifique” (Gohier, 2004, p. 3). Se trata de la “vigilance quant à la rigueur” (Bru, 2006, p. 9).
El rigor científico como macro-criterio de calidad
Su definición como “cualidad de las personas y/o de los trabajos de investigación que realizan, cuyos discursos generalmente de orden científico presentan una gran exactitud y una lógica inflexible”, integra:
-Tres rasgos comunes de toda cultura de investigación: firmeza lógica, disciplina y sistemática; y
-Un carácter competencial para la investigación, por sus componentes:
Cognoscitivo-metodológico, tanto para el posicionamiento epistemológico como para el empírico de metodologías contrastadas.
Deontológico-ético de actitudes, disposiciones del investigador ante obligaciones relacionales e interactivas.
Todo ello se identifica en función de los criterios según paradigmas.
El rigor científico se argumenta pues, como macro-criterio dominante y transversal, para una estrategia de conciliación de la dicotomía paradigmática; por lo que desde la articulación de estos rasgos, componentes y criterios, se propone en la Figura 2 un marco conceptual –cartográfico–, para trabajar en esa línea.
Figura 2.
Marco conceptual del rigor científico
Fuente: Elaboración propia
A MODO DE CONCLUSIÓN
La confirmación de la cientificidad de la investigación en DLL, en el seno de su inscripción en el modo 2 de producción del conocimiento propio del macroámbito de Educación y según diferentes tipos y métodos de investigación, pasaría por:
Potenciar y controlar el funcionamiento y efectos del rigor científico como macro- criterio que preside y nutre la cientificidad, en correspondencia con los aspectos de política científica considerados.
Tomar conciencia de que este macro-criterio forma parte de la cultura científica en DLL en términos de aprender, construir y demostrar sus componentes competenciales. Y, consecuentemente, en relación con los aspectos pragmáticos considerados, sensibilizar a que afecta al perfil de investigador y a las funciones de los responsables de la formación inicial y continua a la investigación.
Basarlo en disponer de un gran bagaje teórico, metodológico y terminológico especializado; en explicitar exhaustivamente el dispositivo metodológico; y en movilizar la reflexividad en la lógica de uso, vigilando la cientificidad y fertilizando la producción de conocimiento.
Todo ello para asegurar un futuro próximo de una más intensa profesionalización de los investigadores y de la investigación en DLL.
REFERENCIAS BIBLIOGRÁFICAS
Aguilar, C. (2017). La DLL en la universidad pública: una aproximación al estado de la cuestión en la formación inicial de maestros y maestras. Parte II. Lenguaje y Textos, 45, 29-41. http://doi.org/10.4995/lyt.2017.6735
Blanchet, P. (2011). Nécessité d´une réflexion épistémologique (pp. 21-31). En P. Blanchet y P. Chardenet (dirs.) (2011), Guide pour la recherche en didactique des langues et des cultures. Approches contextualisées. Éditions des archives contemporaines.
Blanchet, P. y Chardenet, P. (dirs.) (2011). Guide pour la recherche en didactique des langues et des cultures. Approches contextualisées. Éditions des archives contemporaines. https://hal.archives-ouvertes.fr/hal-01436588
Boaz, A. y Ashby, D. (2003). Fit for purpose? Assessing research quality for evidence based policy and practice. ESRC UK Centre from Evidence Based Policy and Practice: Working Paper 11. https://www.kcl.ac.uk/sspp/departments/politicaleconomy/ research/cep/pubs/papers/paper-11
Boix Mansilla, V., Feller, I. y Gardner, H. (2006). Quality assessment in interdisciplinary research education. Surrey: Research Evaluation.
Bridges, D. (2009). Research quality assessment in education: impossible science, possible art? British Educational Research Journal, 4(35), 497-517. https://doi.org/10.1080/01411920903111565
Bru, M. (2006). Préface. En M. Paquay, M. Crahay y J. M. De Ketele (dirs.). L'analyse qualitative en éducation. Des pratiques de recherche aux critères de qualité. Hommage à Michael Huberman (pp. 7-11). De Boeck. https://doi.org/10.3917/dbu.paqua.2006.01
Castro Ceacero, D. y Mentado Labao, T. (2019). Retos en las funciones de la universidad en la sociedad del conocimiento. El Guiniguada, 28, 19-30. https://ojsspdc.ulpgc.es/ojs/index.php/ElGuiniguada/article/view/1044
Galisson, R. (1990). Problématique de l´autonomie en Didactique des Langues (contexte français). ELA, 79, 53-73.
Galisson, R. (1992). Pour un modèle d’enseignement subordonné à un modèle d’apprentissage (des langues-cultures) dans le cadre de l’école. El Guiniguada, 3(2), 339-362. https://accedacris.ulpgc.es/handle/10553/5207
Gibbons, M., Limoges, C., Nowotny, H., Schwartzman, S., Scott, P. y Trow, M. (1997). La nueva producción del conocimiento: La dinámica de la ciencia y la investigación en las sociedades contemporáneas. Pomares Corredor.
Gohier, C. (2004). De la démarcation entre critères d’ordre scientifique et d’ordre éthique en recherche interprétative. Recherches qualitatives, 24, 3-17.
Grant, J., Brutscher, P. B., Kirk, S. E., Butler, L. y Wooding, S. (2010). Capturing Research Impacts: A review of international practice. Rand Europe.
Guillén Díaz, C. (2012). El área de Didáctica de la Lengua y la Literatura: Identidad y entidad de una disciplina específica. Algunas actualizaciones de orden institucional y académico. Enunciación, 17(1), 158-176.
https://revistas.udistrital.edu.co/index.php/enunc/article/view/4238/5904
Guillén Díaz, C. y Sanz Trigueros, F. J. (2019). Trabajos Fin de Grado y su Contribución al Triángulo del Conocimiento en la Educación Superior. Estudio Valorativo. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 17(2), 67-85. https://doi.org/10.15366/reice2019.17.2.004
Hammersley, M. (2008). Troubling criteria: A critical commentary on Furlong and Oancea’s framework for assessing educational research. British Educational Research Journal, 34(6), 747-762. https://doi.org/10.1080/01411920802031468
Howe, K. y Eisenhart, M. (1993). Criterios de investigación cualitativa (y cuantitativa). Prolegómenos. Revista de Educación, 300, 173-189.
Kenna, R. y Berche, B. (2011). Normalization of peer-evaluation measures of group research quality across academic disciplines. Research Evaluation, 20(2), 107–116. https://doi.org/10.3152/095820211X12941371876625
Marcel, J. F. y Broussal, D. (2020). Je pars en thèse. Conseils épistolaires aux doctorants. Cépaduès éditions.
MECyD (2016). Estrategia para la internacionalización de las universidades españolas 2015–2020. Secretaría General Técnica.
Melo-Pfeifer, S. (2014). La Didactique des Langues à la croisée des tensions épistemologiques: quo vadis, Didactique des Langues? Synergies Portugal, 2, 15-32.
Méndez, E. (2012). Qu’est-ce qu’une bonne recherche? Canadá, Centre de Recherches pour le Développement International (CRDI).
Morin, E. (1984). Ciencia con consciencia. Anthropos.
Puren, C. (2001). Processus et stratégies de formation à la recherche en didactique des langues-cultures. ELA, 123-124, 393-418.
Sanz Trigueros, F. J., Guillén Díaz, C. y Barranco Izquierdo, N. (2017). Hacia la garantía de calidad editorial y científica de las revistas Lenguaje y Textos y Porta Linguarum. Revista Iberoamericana de Educación, 73(1), 141-162. https://doi.org/10.35362/rie731130
Savoie-Zajc, L. (2019). Les pratiques des chercheurs liées au soutien de la rigueur dans leur recherche: une analyse d´articles de Recherches qualitatives parus entre 2010 et 2017. Recherches qualitatives, 38(1), 32-52.
Tijssen, R. (2003). Scoreboards of research excellence. Research Evaluation, 12(2), 91-103. https://doi.org/10.3152/147154403781776690
Velasco, B., Eiros, J. M., Pinilla, J. M. y San Román, J. A. (2012). La utilización de los indicadores bibliométricos para evaluar la actividad investigadora. Aula Abierta, 40(2), 75-84.
Yule, M. (2010). Assessing Research Quality. Ottawa: International Development Research Centre-Peace Conflict and Development.