José Luis Solleiro
El primer reto que enfrenta la evaluación de proyectos es la selección de buenos programas de I&D. Es común encontrar instituciones públicas y aún empresas privadas que lanzan programas de investigación tecnológica sin objetivos claros. El problema comienza en la falta de metodologías para establecer prioridades. En el caso de América Latina, los intentos realizados para definir programas prioritarios han fallado y la respuesta que se ha generalizado es dejar que las fuerzas del mercado guíen espontáneamente el rumbo de la investigación. Ese es un escenario paradisíaco para la investigación científica básica, pero totalmente negativo para aquélla que persigue objetivos estratégicos.
El primer nivel para la toma de decisiones en relación con una política o un plan de investigación es la identificación de prioridades (Cohen, 1994). Para definir las prioridades de un programa, se requieren ciertos insumos clave (Solleiro y Quintero, 1993):
Con este marco, la interacción entre los expertos se facilita. Pueden aplicar técnicas semicuantitativas para asignar calificaciones a las diferentes alternativas y las preferencias subjetivas se minimizan al generarse un proceso de aprendizaje colectivo entre los participantes del ejercicio.
Una vez que las prioridades se han definido, los progamas pueden establecerse con mayor facilidad, con objetivos, presupuestos, instrumentos y mecanismos operativos más claros que dan pie a una mejor formulación de proyectos que elimina algunas de las mayores dificultades para su evaluación.
Para el caso de proyectos específicos, la evaluación se realiza siguiendo patrones similares, asumiendo espacios multidimensionales para la toma de decisiones. Muchos autores se han inclinado por el manejo de tres dimensiones combinando conceptos como “tiempo para terminar el proyecto”, “novedad de la tecnología”, “fortalezas competitivas”, “riesgo”, etc. Wilkinson (1991) propone un interesante modelo que busac reflejar un sistema dinámico que, al mismo tiempo, permita reconocer zonas que puedan manejar criterios de éxito homogéneos, sin perder simplicidad para su aplicación. Con estas ideas como base, este autor desarrolla un sistema experto fundamentado en un espacio tridimensional en el que los ejes son:
Con estos tres ejes, se construye un “cubo de posicionamiento”, con cuya ayuda puede ubicarse cada proyecto en alguno de los ocho nichos posibles. Entonces, los criterios dominantes dependerán de la posición relativa del proyecto. Por ejemplo, si un proyecto requiere poco tiempo para dar resultados, la urgencia por contar con ellos es baja y sus requerimientos de innovación también son bajos, se trata de un proyecto poco innovador, de corto plazo y no muy relevante. En este caso, el criterio dominnate debe ser que los resultados puedan ser implantados rápidamente. Si nos movemos al otro extremo, en una situación de alta necesidad de innovación, con un largo tiempo para el desarrollo y alta urgencia corporativa por contar con los resultados, dominará la urgencia y el evaluador no puede darse el lujo de aprobar un proyecto de investigación, pues los resultados carecerían de oportunidad. Es claro que en un caso como este, el sistema debe inclinarse por acceder a la tecnología vía una licencia y trabajar má en la asimilación que en la generación. Si tomamos el caso de poca urgencia, altos requerimientos de innovación y largo tiempo de desarrollo, nos ubicamos en la típica apuesta de largo plazo, en la que los factores decisivos serán la calidad de los investigadores y de sus relaciones con el sistema científico y tecnológico.
Vale la pena presentar también un modelo de evaluación que hemos aplicado durante diez años en el Centro para la Innovación Tecnológica, que se basa en un espacio tridimensional similar, que con criterios ligeramente diferentes, que responden mejor al ámbito más académico y precompetitivo en el que se generan estos proyectos, sin abandonar la premisa básica de que la evaluación debe tener conexión con elementos de competitividad en el mercado.
El modelo consiste en asignar una calificación, un tanto arbitraria y subjetiva, en una escala de 0 a 10, para el grado con el que el proyecto cumple con cada una de las siguientes dimensiones:
Al final, se hace una multiplicación de las calificaciones parciales y el producto da una idea del valor relativo del proyecto. Desde luego que cabe comentar que este tipo de evaluación es básicamente cualitativa y depende mucho del juicio del evaluador. Por ello, es prácticamente indispensable que la evaluación se haga en el seno de un grupo de expertos, desligados de los proyectos a evaluar, con el fin de contar con la visión estratégica requerida en esta etapa y de minimizar las preferencias subjetivas. También parece muy importante que el grupo evaluador sea externo a la institución, aunque, en algunos casos, ésto no es posible por condiciones especiales de secrecía asociada a los proyectos. De cualquier forma, siempre que sea posible vale la pena exponer los proyectos a una evaluación externa, de acuerdo con criterios generados internamente.
Una vez que un proyecto ha sido aprobado, pasa a una siguiente fase de su ciclo de vida, la de desarrollo (Norma DIN 69901). En esta fase, se comienza con plantear una organización del proyecto, para continuar con la asignación de tareas y responsabilidades. Una actividad crítica es el seguimiento y control de los resultados. En esta fase los elementos a evaluar son de diferente naturaleza, aunque son complementarios. Por un lado, hay que atender a los requerimientos de la administración de proyectos, que busca controlar cuatro factores básicos (López Miranda, 1994).
Por otro lado, tratándose de proyectos de I&D, la evaluación no puede separarse de una vigilancia continua de los factores que influirán en la transferencia de los resultados a las áreas productivas y en su eventual uso para generar nuevas oportunidades de negocio. La utilidad del monitoreo y la evaluación de proyectos en curso sólo puede entenderse en función de la información quegenera para la oportuna toma de decisiones por parte de los gerentes de I&D. Para este propósito, no basta contar con un sistema de evaluación de la productividad en términos cuantitativos. Se requiere participación gerencial, para poder valorizar la tecnología y ayudar a promover su aplicación para diferentes productos, por encima de barreras organizacionales.
Con esta visión, el progreso de los proyectos debe evaluarse regularmente, para tomar medidas correctivas, aún en las políticas y prioridades, para ajustarse a cambios en el entorno e, inclusive para decidir su terminación. La incertidumbre normal de los proyectos de I&D se acentúa en entornos cambiantes, por lo que la evaluación y vigilancia no debe limitarse a las variables técnicas y a los parámetros de productividad del proyecto, sino que tiene que llegar hasta los elementos principales de su entorno socioeconómico.
Por lo anterior, una recomendación muy útil para evaluar los proyectos en esta fase, es hacerlo “por las piedritas” (milestone approach), lo cual no es otra cosa que identificar puntos de evaluación, antes de continuar con los proyectos. De acuerdo con un estudio reciente (López Miranda, 1994), son muy pocos los grupos de investigación que adoptan prácticas de monitoreo de proyectos. Mi experiencia personal ha revelado que, con frecuencia, el líder del proyecto se resiste a evaluar el proyecto durante su desarrollo, porque teme que se decida su interrupción o abandono. Para contender con este problema, es importante acordar los momentos en que debe hacerse esta evaluación, pero, sobre todo, los criterios que regirán la decisión alrededor de la eventual continuación del proyecto. Típicamente, las razones por las que llega a tomares la decisión de abandonar un proyecto son:
Con el fin de tener una herramienta para monitorear estos factores, en la práctica, hemos desarrollado paulatinamente un modelo de monitoreo de la probabilidad de éxito de los proyectos de I&D, en el que los principales aspectos a evaluar periódicamente son (Trens et al, 1991):
Con estos elementos, puede hacerse un juicio razonable sobre las posibilidades del proyecto. Se descansa principalmente en observaciones cualitativas, pero ya empieza a haber cierta información mesurable, como los parámetros de rendimiento técnico que se han alcanzado. Por ejemplo, en un proyecto que trabajamos hace algunos años, en una de las evaluaciones se encontró que el rendimiento del proceso se hallaba muy lejos de aquél reportado como líder en la literatura; se hicieron unos cálculos sencillos y se decidió continuar el proyecto, pero bajo la premisa de alcanzar un rendimiento 10 veces mayor en el siguiente período, con el fin de alcanzar el nivel mínimo aceptable para que el proyecto tuviera viabilidad industrial. Este ejemplo nos muestra cómo la evaluación se convierte en una poderosa herramienta para dirigir un proyecto.
Hay que insistir en el hecho de que, en la evaluación de un proyecto en operación lo más importante es que la metodología sea lo suficientemente sencilla, para que los administradores y el líder del proyecto realmente puedan usarla. La experiencia internacional evidencia el hecho de que los modelos más sofisticados de evaluación pierden sentido porque no son dominados y, por esa razón, no se utilizan (Dunne, 1983).