3. Avaliação Ex Post

Sbragia et al (2002) descrevem três etapas do processo de avaliação ex post de projetos de ciência e tecnologia/ pesquisa e desenvolvimento, temporalmente distribuídas ao longo do ciclo de vida do projeto:

• avaliação terminal que examina o ajuste entre os propósitos do projeto e as características de seu produto, ou resultados, através de estimativas de eficácia e eficiência;
• avaliação de impactos que examina os resultados do projeto em termos de suas contribuições, tanto ao ambiente interno  quanto ao externo (spinoffs, spilovers); e
• avaliação estratégica:  que à luz dos resultados das avaliações terminal e de impactos, retroalimenta o processo de planejamento, que por sua vez ratifica, ajusta ou redefine todo o processo de trabalho, as atividades de avaliação inclusive.

Moraes e Laurindo (2002) apresentam um modelo de avaliação terminal para projetos de software no qual utilizam as seguintes dimensões para avaliar os resultados de um projeto:

• Qualidade técnica – se o projeto gerou um produto cujo desempenho atendes às especificações
• Observância a custos – se o custo de projeto atende esteve dentro do orçamento previsto
• Observância a prazos – se o projeto, e suas etapas, foram executados dentro dos prazos previstos.
• Satisfação – se os stakeholders estão satisfeitos com o projeto. Existem vários stakeholders envolvidos aqui: o gerente do projeto, a equipe de desenvolvimento, os usuários do software desenvolvido, e o patrocinador (sponsor) do projeto.
• Performance – se o software desenvolvido gerará os resultados esperados. Refere-se principalmente aos resultados relacionados ao alinhamento estratégico da aplicação desenvolvida que só pode ser claramente observado após algum tempo da conclusão do projeto. Contudo, a avaliação terminal pode, e deve, fornecer, através de variáveis preditoras, uma estimativa da eficácia do software (BURN e SZETO,2000; HENDERSON e VENKATRAMAN, 1993).
• Capacitação técnica – está relacionada ao aumento da competência interna da organização gerada pelo projeto. Esta capacitação pode se referir tanto ao domínio de tecnologias específicas (como, por exemplo, a empresa passa a dominar uma nova metodologia de desenvolvimento orientada a objetos) como a competências de gestão (como, por exemplo, a empresa passa a saber como utilizar a norma ISO 9000/3).

Na visão desses autores, a responsabilidade pela avaliação terminal deve caber a alguém que tenha alguma formação na área de desenvolvimento de sistemas, mas deve incluir na equipe de avaliação representantes dos seguintes grupos:

• desenvolvimento – preferencialmente o gerente do projeto;
• usuários – representante do grupo que irá usar/operar o software desenvolvido; e
• cliente – o patrocinador do projeto ou um representante seu.

4. Forma de avaliação proposta

Apesar do Modelo de Rubio e Nascimento (2005) ter sido desenvolvido para avaliação ex ante e para projetos de P&D, sua estrutura será aproveitada neste trabalho respeitando, é claro, as alterações necessárias em função da diferença de objeto e de ótica aqui utilizadas. Neste trabalho será usada uma estrutura baseada na proposta destes autores. Serão mantidos os mesmos três – procedimentos, critérios e participantes –componentes, mas com um detalhamento distinto que considerando as especificidades da avaliação ex post, foco deste trabalho (Figura 2).

Figura 2: Componentes do processo de avaliação
Fonte: Adaptado de Rubio e Nascimento, 2005

Os procedimentos são divididos em função das etapas do processo de avaliação ex post descritas por Sbragia et al (2002):

• avaliação terminal que examina o ajuste entre os propósitos do projeto e as características de seu produto, ou resultados, através de estimativas de eficácia e eficiência;
• avaliação de impactos que examina os resultados do projeto em termos de suas contribuições, tanto ao ambiente interno  quanto ao externo (spinoffs, spilovers); e
• avaliação estratégica:  que à luz dos resultados das avaliações terminal e de impactos, retroalimenta o processo de planejamento, que por sua vez ratifica, ajusta ou redefine todo o processo de trabalho, as atividades de avaliação inclusive.

Os critérios utilizados referem-se as dimensões do sucesso de Shenhar et al (2001), que são:

• Eficiência do projeto (cumprimento de prazos e orçamentos);
• Impacto no consumidor (satisfação do cliente e qualidade do produto);
• Sucesso do negócio (geração de receita, lucro, share e outros benefícios para a organização mãe); e
• Preparação para o futuro (desenvolvimento de infra-estrutura organizacional e/ou tecnológica para o futuro).

E os participantes, pessoas envolvidas direta ou indiretamente com as decisões tomadas durante o processo, como no modelo original de Rubio e Nascimento (2005), são analisados em função de três caraterísticas:

• Nível hierárquico,
• Cargo ocupado, e
• Função no processo.

O método proposto se baseia na visão de desempenho de projetos de Shenhar et al (2001) e nos componentes do processo de avaliação de Rubio e Nascimento (2005).

A avaliação do projeto está dividida em três fases:

• Ex cursus: realizado durante o desenvolvimento do projeto tem seu foco na eficiência (observância de custos e prazos) e nas estimativas de impacto nos usuários e na organização. Seus resultados podem (e devem) apoiar medidas corretivas, quando for o caso, na condução do projeto.
• Ex post – terminal: realizada imediatamente após a conclusão do projeto, verifica se as metas de custo e prazo foram atingidas. Estimativas mais precisas em termos de impacto nos usuários e na organização podem ser obtidas. Seu objetivo é identificar os erros e acertos (lições aprendidas) no projeto e estimar, com maior precisão, os impactos do projeto.
• Ex post – impactos: realizado após 6 meses a conclusão do projeto e repetida anualmente ate que os impactos do projeto se cessem. Seu objetivo é identificar, quantificar e avaliar os impactos do projeto na organização e nos usuários.

Os critérios e procedimentos adotados em cada fase não são os mesmos, já que existem objetivos distintos em cada fase. O quadro 4 mostra estes critérios e procedimentos para cada fase. As metas de custo e prazo, importantes nas duas primeiras fases do método proposto (ex cursus e ex post – terminal), é, em princípio, desconsiderada na última. Nesta última fase, questões como, por exemplo, aumento de organizações atendidas ou desenvolvimento de novos serviços como resultado, mesmo que parcial, do DW têm uma relevância muito maior.

Quadro 3: Momentos do processo de avaliação

Se alguns aspectos do projeto têm um processo de medição bastante objetivo (como a observância a custos e prazos) e podem ser avaliados pro procedimentos quantitativos diretos, outros são por natureza bastante subjetivos e requerem métodos mais flexíveis de avaliação. Assim, os procedimentos de avaliação de impactos são baseados no debate entre as pessoas que, por sua experiência ou função dentro da organização, podem emitir pareceres mais significativos sobre estas questões. O uso de workshops e seminários são, nesta situação, alternativas que permitem uma discussão mais ampla e adequada para avaliação dos impactos e de eventuais spin offs e spill overs do projeto.

Quadro 4: Componentes do processo de avaliação

5. Considerações finais

Este artigo apresentou a uma proposta de uma estrutura para a avaliação ex post de projetos de TI baseado nos trabalhos de Rubio e Nascimento (2005), Shenhar et al (2001) e Sbragia et al (2002). Embora apresentasse uma característica exploratória, ele incorporou as idéias apresentadas na literatura (MORAES e LAURINDO, 2002; WATERIDGE e 1995 1998; PINTO, 2002) a fim encontrar os elementos que suportassem situações práticas. Assim, este artigo pretendeu apresentar diretrizes gerais e flexíveis apropriadas às diferentes companhias que trabalham com projetos de TI, que devem considerar suas peculiaridades da estrutura organizacional, projetos e principais objetivos estratégicos.

A proposta apresentada utiliza as diferentes dimensões de desempnho para obter uma a consistência interna e externa no processo de avaliação ex post de porjetos de TI. A consistência interna refere-se à compatibilidade entre as escolhas possíveis nas três dimensões descritas. Por exemplo, quem são os participantes e quais são os critérios mais (ou menos) adequados para um procedimento de avaliação terminal? Seriam os mesmos para a avaliação dos impactos? É fácil (e mesmo intituitivo) perceber que a resposta à segunda pergunta seria não. Assim, isto é tratado com uma premissa deste artigo.

A consistência externa da proposta apresentada refere-se ao inter-relacionamento entre as avaliações ex ante, ex cursus e ex post. Ao menos os critérios adotados nestes processos devem ser consistentes entre si e com a estratégia da organização. A definição adequada do processo favorece o alinhamento estratégico e a percepção de suas contribuições à organização. Na revisão bibliográfica, a importância da participação da gerência superior na avaliação ex ante foi destacada. Assim, é razoável supor que sua participação em algum momento na avaliação a ex post apresenta a mesma importância, na medida em que permite quantificar, de alguma forma, os acertos e desacertos da avaliação ex ante.

Este artigo mostra que a responsabilidade da avaliação ex post dos projetos de TI está espalhada em diferentes níveis e áreas da organização, reforçando a idéia de que o planejamento da TI não deve estar concentrado dentro da área de TI apenas. Ele deve ser feito com a participação ativa das áreas usuárias e da gerência superior.

Os estudos futuros tentarão explorar estes conceitos na pesquisa empírica, baseada em estudos de caso ou em levantamento de campo.

Referências Bibliográficas

BACCARINI, David The Logical Framework Method for Defining Project Success IN: International Journal of Project Management  vol. 30, no. 4, pp 25-32, 1999.

BAKER, Bruce N., MURPHY, David C. e FISHER, Dalmar “Factors Affecting Project Success” IN CLELAND, D. I. & KING, W. R. Systems analysis and Project management. New York: McGraw Hill, 1983

BURN, J.M.; SZETO, C. A comparison of the views of business and IT management on success factors for strategic alignment. Information & Management, v.37, n.4, p.197-216, Apr. 2000.

COOKE-DAVIES, T. The real success factors on projects. IN International Journal of Project Management vol. 20, pp. 185-190, 2000

DVIR, D. et all In search of project classification: a non-universal approach to project success factors. IN Research Policy , no. 27, pp. 915-935, 1998

HENDERSON, J.C.; VENKATRAMAN, N. Strategic Alignment: Leveraging Information Technology For Transforming Organizations. IBM Systems Journal. v.32, n.1, p.4-16, 1993.

LIM, C. S. & MOHAMED, M. Z. Criteria of project success: an exploratory re-examination. IN International Journal of Project Management vol. 17, no. 4, pp. 243-248, 1999

MORAES, Renato de O. e  LAURINDO, Fernando J. B. Avaliação terminal de Projetos de Software. XII Simpósio de Gestão da Inovação Tecnológica. Salvador: Bahia. Nov de 2002

MUNNS, A. K. & BJEIRMI, B. F. The role of project management in achieving project success. IN:  International Journal of Project Management vol 14 no. 2 pp. 81-87, 1997.

PINTO, J. K. & SLEVIN, D. P.  Project Success: Definitions and Measurement Techniques IN: International Journal of Project Management , 1988

PINTO, J. K. & SLEVIN, D. P.  Critical Success Factors Across the Project Life Cycle IN: International Journal of Project Management , 1986

PINTO, Sérgio A. O. Gerenciamento de projetos: análise dos fatores de risco que influenciam o sucesso  de projetos de sistemas de informação Dissertação de mestrado submetida à FEA/USP. São Paulo, 2002.

RUBIO, Álvaro G. e NASCIMENTO, Paulo T. de S. El proceso de composición de la cartera de proyectos de I+D: um modelo de referencia para estudios exploratorios. XII Seminário Latino-Iberoamericano de Gestión Tecnológica – ALTEC, Salvador: Bahia. Out de 2005

SBRAGIA, R.  et al. Avaliação Ex-post de Projetos Tecnológicos: Uma Proposta para o CTPETRO  XXII Simpósio de Gestão da Inovação Tecnológica., 2002

SHENHAR, A. et all Project success: a multidimensional strategic concept. IN Long Range Planning, no. 34, pp. 699-725, 2001

WATERIDGE, John IT project: a basis for success. IN International Journal of Project Management vol. 13, no. 3, pp. 169-172, 1995

WATERIDGE, John How can IS/TI projects be measured for success. IN International Journal of Project Management vol. 16, no. 1, pp. 59-63, 1998