Al analizar en particular los efectos positivos del SNI, un grupo de investigadores convocados por el FCCyT (Valenti, 2013) encontró que ha inducido a una mayor valoración de la investigación científica dentro de las instituciones de educación superior y centros de investigación; ha motivado que se diversifiquen las áreas de conocimiento que pasaron de tres a siete y ha promovido la formación de redes internacionales y la publicación en revistas indexadas, lo que fue acompañado de la creación del Padrón de Revistas Científicas del Conacyt. De igual modo, ha permitido que las IES con posgrados tengan personal académico de alto nivel, lo que contribuyó a su inclusión en el PNPC (Valenti, 2013). Uno de los problemas identificados en esa investigación fue que el ingreso y permanencia en el SNI se ha enfocado en una evaluación que en ocasiones privilegia criterios cuantitativos y deja en segundo plano algunas aportaciones sustantivas de sus miembros (Valenti, 2013). Se ha mencionado además que los miembros del SNI se concentran en todo lo que les permita permanecer o ascender en el SNI en detrimento de actividades como la docencia o la gestión (Valenti, 2011).
Otros estudios sugieren que hay un desequilibrio en la evaluación de la investigación individual y el SNI que favorece la producción de conocimiento fundamental-básico y no la de conocimiento aplicado u orientado hacia la resolución de problemas (Amaro et al., 2009; Galaz y Gil, 2009; Galaz et al., 2008; Grediaga, 1998; Rivera et al., 2011; Valenti, 2011). Adicionalmente, se coincide en que existe un desplazamiento desde las actividades de enseñanza y docencia hacia las de investigación (Galaz Fontes et al., 2008; Cordero et al., 2003; Gil, 2002; Ibarra, 1998, 1999; Grediaga, 1998).
En este sentido, se puede sostener que la evaluación no solo aparece vinculada a los resultados de investigación (Elzinga, 1988), sino que además orienta las actividades académicas (investigación, enseñanza y vinculación) hacia las mejor recompensadas. Esto alerta sobre la necesidad de evaluar y corregir los efectos no deseados o no buscados por la política (Bianco et al., 2014). En particular, hay que considerar los efectos negativos asociados al SNI en tanto se trata de uno de los instrumentos centrales de la política pública en ciencia, tecnología e innovación (CTI) de México.
Como es de esperar, los efectos positivos o negativos que se observen, tanto en la producción de conocimiento como en la importancia relativa que los académicos asignen a las distintas actividades de su quehacer, dependerá —entre otras cosas— de las características específicas del sistema de evaluación (Whitley, 2007). En particular, de lo que ese sistema reconoce y valora, y cómo lo recompensa: reconocimiento social y prestigio o una remuneración económica. En cuanto a esto último, el SNI en México, aparte de ser una fuente de prestigio y reconocimiento social, representa una porción sustancial de los ingresos mensuales de los académicos categorizados como investigador nacional.
Al analizar las declaraciones y estudios publicados por los medios de opinión pública, resulta sorprendente la consistencia en la identificación de los principales beneficios y problemas relacionados al SNI, su asociación con los efectos no deseados del sistema y la articulación de las propuestas para contribuir a revertir los efectos no buscados.
Es posible señalar algunas áreas de oportunidad para mejorar el desempeño del SNI y minimizar sus efectos no deseados sobre la producción de conocimiento y el desempeño de los investigadores: a) las comisiones dictaminadoras y b) los criterios de evaluación. Abajo se discute cómo estas dos áreas de oportunidad en interacción explican en buena medida los principales efectos no deseados del sistema, y después se muestra muy sintéticamente cómo las propuestas recogidas intentan revertirlos.
Más allá de los avances a lo largo de la existencia del SNI respecto a sus comisiones dictaminadoras,[17] las inconformidades vinculadas con el número de sus integrantes, su cantidad por áreas de conocimiento, los criterios para su designación y los de evaluación que utilizan, continúan debatiéndose entre los diversos actores que conforman el sistema (autoridades, evaluadores e investigadores).
Los problemas de la integración de las comisiones dictaminadoras, que se expresan en la percepción de que son pocas e insuficiente el número de sus integrantes (ante el crecimiento del número de investigadores desde 1984), se asocian al desequilibrio regional, institucional, disciplinar y de género.[18] La escasez, tanto de la cantidad de comisiones como del número de sus integrantes, se refiere a lo cuantitativo y a lo cualitativo. Esto es así en la medida en que a veces no se garantiza un dictamen bien fundamentado, una evaluación ajustada al contexto regional e institucional en el que se desarrolla la investigación, ni tampoco de acuerdo a la diversidad de campos del conocimiento, disciplinas y subdisciplinas que existen en México.
En el mismo sentido, el estudio de Valenti (2013) destaca entre los mayores problemas que el SNI privilegiaba —por lo menos hasta entonces— los criterios cuantitativos sobre los cualitativos, ejerciendo así una presión para publicar debido a los perentorios periodos de evaluación con lo que desalentaba la exploración de nuevas temáticas y metodologías para minimizar el riesgo y asegurar los resultados.
La revisión de los estudios citados y diversas opiniones recogidas en distintos foros y en la prensa, y que dieron lugar a la construcción de nuestro cuestionario, pone de manifiesto dos tensiones presentes a lo largo de la historia del SNI, en las que ha coincidido la gran mayoría de quienes se han preocupado por mejorar su desempeño. A saber,
1 Número de dictaminadores y de solicitudes. Son pocos los dictaminadores y creciente la demanda de solicitudes, lo que genera una presión que termina afectando la evaluación y la calidad del dictamen que recibe el solicitante. Esto se observa en las valoraciones apresuradas y parciales que se elaboran acerca de las aportaciones de los investigadores y que se traducen en dictámenes poco detallados que no representan una instancia de aprendizaje para el evaluado (Esteinou, 2013a).[19]
2 Criterios cuantitativos y cualitativos. Esto se refiere al conocimiento necesario para evaluar, comparar y seleccionar (Bianco et al., 2014), lo cual se expresa como falta de acuerdos respecto de los criterios de evaluación. Ello se vincula al debate sobre el predominio de indicadores bibliométricos como medidas aproximadas de calidad, relativamente económicos en términos de tiempo y energía, pero que descuidan un análisis más cualitativo de las solicitudes (Bianco et al., 2014; Valenti, 2013; Jaso, 2007)[20] y ajustado al contexto en el que el investigador desempeña sus actividades.[21]
Estas dos tensiones representan señales que, sin negar las aportaciones del SNI, llaman a problematizar el mecanismo de evaluación por pares y sus criterios para evaluar, comparar y seleccionar.
Por un lado, conduce a la pregunta sobre qué es un par. En el contexto del SNI y sus comisiones dictaminadoras, el par se define como un investigador que ha alcanzado el máximo rango en el sistema (nivel III o Emérito) (Reglamento SNI, 2013), lo que no significa que sea un experto o especialista en la disciplina o tema en que se produce el conocimiento objeto de evaluación (Roy, 1984). Por otro, lleva al cuestionamiento de si en el SNI se evalúa efectivamente por pares, o más bien se contabilizan (algunos) productos de investigación, bajo el supuesto de que, como cumplen ciertas características, son entonces producción de calidad y excelencia. Sin embargo, este último procedimiento no ha estado exento de críticas ni en el ámbito nacional ni en la bibliografía internacional basada en la evidencia empírica de los diversos países que aplican o han aplicado el mismo criterio.
Butler (2003) y Kostoff (1997, 1998), entre otros, señalan que el número de citas de las publicaciones no es un indicador de calidad. En México, las posiciones al respecto señalan lo mismo y añaden que basarse en el factor de impacto del órgano de publicación no permite evaluar adecuadamente el valor de la contribución intelectual de la producción de conocimiento nacional.[22] Sobre esto es ilustrativa la declaración de los biólogos de San Francisco que, a través de la Declaration on Research Assessment (DORA) de 2012, recomiendan eliminar el uso de criterios de evaluación basados en el factor de impacto de las revistas y apreciar la investigación a partir de sus propios méritos.[23]
Como una consecuencia de lo anterior, en la bibliografía especializada internacional se documenta que la producción de conocimiento publicable