CognoSferaEvaluación de la Ciencia
En el sistema científico, la tarea de evaluar los nuevos conocimientos y los
resultados de la investigación tiene una importancia capital. Partimos de la
base de que la ciencia es evaluación [Van Raan, 1990] y de que la evaluación es
un proceso social y la forma de llevarla a cabo es determinante para sus
resultados [Georghiou, 1990]. Se evalúan los autores y sus nuevas ideas, la
difusión y el impacto de estas ideas, así como el valor de las publicaciones en
que se dan a conocer, todo lo cual repercute en el valor de la política
científica de un país y de los nuevos rumbos que cabe atribuirle [López Yepes,
2000]. La evaluación de la investigación nos va a posibilitar seguir el
rendimiento de la actividad científica y comprobar su impacto en la sociedad,
aspectos necesarios para la gestión y planificación de los recursos destinados a
la investigación. Con los resultados de la evaluación se justifican ante la
sociedad las partidas presupuestarias destinadas a esta investigación. En otras
palabras, hay que evaluar los resultados de la actividad científica porque la
evaluación forma parte de la empresa científica. La evaluación supone un
análisis de la medida en que las actividades han alcanzado objetivos específicos
[Gibbons, 1984, citado por Van Raan, 1990].
La evaluación, además, permite planificar y gestionar la investigación a través
de aquellas instituciones cuyos grupos la llevan a cabo y se benefician de las
ayudas económicas provenientes de los presupuestos de la Administración. Los
resultados (output) de la investigación se dan a conocer al resto de la
comunidad de investigadores por medio de las publicaciones científicas, sobre
todo a través de los artículos publicados en revistas científicas, con el
propósito de que esta comunidad contraste, verifique o rechace el valor de esa
investigación [Merton, 1977].
Como afirma acertadamente López Yepes [2000] evaluar es una tarea ardua e
imposible en exactitud debido a que la tarea científica no es químicamente pura
pues está sometida a circunstancias ambientales como el poder de la
financiación, la existencia de medios materiales y humanos en mayor o menor
medida, las relaciones entre política y ciencia e incluso las relaciones entre
los propios científicos y entre las propias instituciones de investigación.
Hay un número variable de posibles criterios para evaluar las contribuciones al
conocimiento científico hechas tanto por individuos como por grupos científicos.
Estos criterios incluyen el número de publicaciones científicas producidas en un
periodo dado, el número de veces que estas publicaciones son citadas en otros
artículos o libros, la valoración efectuada por los colegas científicos sobre la
importancia del trabajo publicado, el número de descubrimientos u otros avances
principales en el conocimiento y el reconocimiento otorgado a los autores de las
publicaciones (premios, honores...), [Martin e Irvine, 1983].
Como afirma Nederhof [1988], “en el día a día de la investigación científica, se
toman muchas decisiones que tienen su impacto en la productividad científica y
progreso científico”, de ahí que la evaluación sea un elemento tan importante,
al menos para dos colectivos: por un lado, los propios científicos, a quienes
les interesa conocer si su investigación es de calidad, y por otro, la
administración y las empresas privadas que aportan los fondos que sostienen las
actividades científicas. Para ambos, la evaluación es un factor necesario puesto
que dará a conocer a unos la importancia y el alcance de su investigación y a
otros si la inversión realizada se ha canalizado de forma adecuada.
Al empezar la labor de evaluación, tanto de la ciencia como de los científicos,
resulta de gran utilidad conocer los objetivos que queremos estudiar en dicha
evaluación. Evaluar las actividades de un científico puede dar resultados
diferentes si estudiamos su contribución a nuevos desarrollos tecnológicos o su
contribución a la transferencia de la ciencia a la publicación en general [Moravcsik,
1989]. Este mismo autor se pregunta ¿vale la pena evaluar la ciencia? Él mismo
alega tres razones para una respuesta afirmativa:
(a) La ciencia está relacionada con la tecnología, la cual a su vez mejora
nuestra vida material.
(b) La ciencia constituye una aspiración general de la humanidad (es un elemento
de “prestigio” y esto significa que los países quieren destacar para demostrar
que están a la cabeza y no dependen de la comunidad mundial de naciones).
(c) La ciencia contribuye poderosamente a conformar nuestra visión del mundo
La necesidad de evaluar la actividad científica conlleva la obligación de
asegurarse de que los recursos que se destinan a la investigación se invierten
en aquellos sectores donde ésta es más provechosa, es decir, se debe tener la
precaución de adecuar la asignación de recursos destinados a I+D en aquellos
campos indispensables en la gestión y planificación científica de cualquier
institución o país para conseguir una rentabilidad máxima en las inversiones en
este campo [Sancho, 1990]. De ahí que los indicadores bibliométricos sean
indispensables en política científica, porque, como afirma Aida Méndez [1986],
“una política científica responsable de distribuir los recursos económicos y
humanos de acuerdo con unos objetivos que respondan a unos intereses y
prioridades nacionales, estará interesada en utilizar los indicadores
bibliométricos que perfilan o dibujan situaciones existentes”.
La mayoría de los autores están a favor de esta evaluación. En España, Escribano
y Viladiu [1996] mantienen que: “evaluar la investigación pasada, presente o
hacer prospección de la futura es una actividad fundamental de la política
científica actual que pretende garantizar ante la sociedad el buen empleo de los
recursos disponibles a tal fin”.
Evaluar implica ‘evaluar la calidad de la investigación’, pero es necesario que
en investigación distingamos otros conceptos, además del de calidad: el de la
importancia y el del impacto [Martin e Irvine, 1983]. Los tres son difíciles de
evaluar directamente y sólo pueden ser asimilados desde la perspectiva de los
demás científicos o deducidos de la práctica de la cita. Según estos mismos
autores, el primero de estos conceptos, la calidad, se refiere a la
investigación misma; los otros dos, importancia e impacto, son más externos,
pues se refieren a las relaciones entre la investigación de unas áreas con otras
y describen las ventajas de los enlaces o las implicaciones con otras
actividades de investigación.
La calidad es un concepto muy difícil de delimitar. De acuerdo con Moed podemos
distinguir entre calidad cognitiva, metodológica y estética. La primera se
relaciona con la importancia del contenido específico de las ideas científicas;
este tipo de calidad se evalúa basándose en consideraciones puramente
científicas. La calidad metodológica se relaciona con la precisión de métodos y
técnicas y se evalúa con ayuda de reglas y criterios actuales en un campo
científico particular. La calidad estética es más subjetiva y se basa en
fórmulas y modelos matemáticos [Moed, 1985].
Para que una publicación científica pueda generar impacto, debe tener una
calidad definida. El impacto indica que las actividades de investigación que han
dado lugar a productos de “calidad” científica han sido acogidos por el resto de
la comunidad investigadora de forma positiva, lo cual indica la influencia de
estas actividades aunque esta influencia puede estar condicionada por otras
causas tales como el prestigio de un autor o de su institución, la lengua de
publicación, la visibilidad de la revista en que se publica, etc. El impacto,
por lo tanto, es la influencia que una publicación tiene en la investigación
durante un periodo de tiempo no especificado, en que los trabajos son citados.
Moed [1985] distingue entre impacto a largo plazo (long-term) e impacto de corta
duración (short-term); el primero es el periodo muy largo de tiempo en el que
todavía los trabajos son citados y el segundo, se refiere al tiempo que
transcurre desde que los trabajos son publicados hasta que son citados.
El último concepto, la importancia, se refiere a su influencia potencial en lo
que afecta a actividades de investigación, esto es, la influencia que tendrá en
el avance del conocimiento científico, si hubiera perfecta comunicación en
ciencia [Martin e Irvine, 1983]. A pesar de ello, y debido a las deficiencias en
la difusión de los resultados de la investigación, la importancia de un
documento puede diferir de su impacto.
En resumen, la evaluación es la valoración cualitativa y cuantitativa y la
crítica objetiva de todos los elementos que constituyen el proceso de la
investigación científica con ayuda de métodos adecuados [López Yepes, 2000].
(c) Elvira Ruiz de Osma. Departamento de Biblioteconomía y Documentación. Universidad de Granada (España)