ISSN 0798 1015
ISSN 0798 1015
Vol. 38 (Nº 34) Año 2017. Pág. 4
Noemi BONINA 1; Gilson Brito Alves LIMA 2; Marcelo Jasmim MEIRIÑO 3; Luiz Octávio GAVIÃO 4; Marcelo Contente ARESE 5; Cid ALLEDI FILHO 6; Sérgio Luiz Braga FRANÇA 7
Recibido: 13/02/2017 • Aprobado: 11/03/2017
2. Análise multicritério de apoio à decisão
3. Aplicação do Método TOPSIS na ordenação dos ODM
RESUMO: Os Objetivos do Desenvolvimento do Milênio (ODM) representam uma iniciativa global subscrita por governos, onde foram estabelecidas oito metas para as nações trabalharem estrategicamente nos desafios globais. Este trabalho possui como objetivo utilizar um método multicritério para avaliar os ODM, a partir de um conjunto de indicadores que o Brasil determinou como metas a serem atingidas pelo país. Adotou-se para a avaliação o método de apoio à decisão multicritério TOPSIS, que possibilita a busca de similaridades entre os critérios, buscando a solução ideal. A verificação da consistência da técnica para usos que envolvem as decisões em nível de administração pública, foi atestada através da busca de meios e possibilidades de avaliar os ODM à luz de um conjunto de indicadores de modo que os resultados possam colaborar com os desafios futuros propostos pela agenda 2030 ou pós-2015. |
ABSTRACT: Los Objetivos de Desarrollo del Milenio (ODM) representan una iniciativa mundial avalado por gobiernos, donde se establecieron ocho objetivos que permitieron a las naciones trabajaren estratégicamente para actuar en los desafíos globales. Por lo tanto, este trabajo tiene como objetivo utilizar un método multicriterio para evaluar los ODM a la luz de un conjunto de indicadores que el Brasil determinó como objetivos que el país deberia alcanzar. Se adoptó para evaluar el método multicriterio de TOPSIS apoyo a la decisión, el cual permite la búsqueda de similitudes entre los criterios en busca de la solución ideal. La verificación de la consistencia técnica de usos y prácticas que involucran decisiones a nivel de la administración pública, fue atestiguada por la búsqueda de formas y posibilidades de evaluación de los ODM a la luz de un conjunto de indicadores para que los resultados puedan colaborar con los desafíos futuro propuestos por la agenda 2030 o post-2015. |
A intensificação das relações e interdependências entre os países reconhecidos através dos processos de globalização, que flui intensamente nos tempos contemporâneos, prevê que as possibilidades de promoção e construção de caminhos para o desenvolvimento sustentável perpassa por práticas e decisões que visem gerar resultados através de compromissos globais assumidos por esses países.
A Organização das Nações Unidas (ONU), através do Programa das Nações Unidas para o Desenvolvimento (PNUD), capitaneia ações que buscam unir os líderes mundiais para estabelecer uma agenda de compromissos globais mínimos para a promoção da dignidade humana (BRASIL, 2014; REZENDE, 2008; SOUZA, 2015).
Os relatórios emitidos nos últimos anos pelo PNUD sugerem que,
o desenvolvimento tem a ver, primeiro e acima de tudo com a possibilidade de as pessoas viverem o tipo de vida que escolheram, e com a provisão dos instrumentos e das oportunidades para fazerem as suas escolhas. (VEIGA, 2010, p. 81)
Como continuidade do trabalho que já vinha sendo construído pela ONU desde a sua constituição no pós-2ª guerra, o mundo começou a trabalhar em prol de uma estratégia conjunta para efetivar o combate a inimigos históricos da humanidade, como “pobreza e fome, desigualdade de gênero, doenças transmissíveis e evitáveis, destruição do meio ambiente e condições precárias de vida” (BRASIL, 2014, p. 12).
No ano 2000, foi lançado pela ONU os Objetivos do Desenvolvimento do Milênio (ODM), uma iniciativa global subscrita por governos de mais de 180 países. A iniciativa buscava a promoção do desenvolvimento para os próximos 15 anos seguintes. Com prazo estipulado para seu alcance em 31 de dezembro de 2015 (PNUD, 2016; SOUZA, 2015).
Naquele ano, a ONU lançou oito metas que possibilitariam às nações trabalharem estrategicamente com vistas a promoverem o desenvolvimento a partir de indicadores que norteariam as ações governamentais dentro do estabelecido, como o entendimento macro de um ODM. Na Figura 1, são apresentados os ODMs, conforme explicita ONU (2000).
Figura 1: Objetivos do Desenvolvimento do Milênio
Fonte: ONU, 2001.
Juntamente com o estabelecimento das metas, a instituição de indicadores representou referências para quantificar os avanços, de forma que pudessem ser mensurados na busca de transpor os desafios e avançar nos esforços práticos para aplicar e cumprir cada um dos ODM.
Além disso, a construção de indicadores serve de norte para evoluir nas perspectivas para a promoção global da sustentabilidade suportada por iniciativas e compromissos globais.
Alguns indicadores foram ajustados para que pudessem ser melhor adaptados à realidade de cada país, entre estes casos encontra-se a realidade brasileira (BRASIL, 2014). O atingimento das metas aconteceu de forma positiva, segundo atesta PNUD (2016), embora algumas tenham sido alcançadas somente por alguns países. Entretanto, conforme salienta Souza (2015, p. 549), “seja como for, a mobilização global em torno dos ODM produziu um progresso considerável em muitas dimensões do desenvolvimento social”.
Passados 15 anos, a ONU realizou balanço positivo em relação ao cumprimento dos ODM e avançou na perspectiva de continuidade do desenvolvimento global, lançando uma agenda pós – 2015 para os anos seguintes, ou seja, a agenda de trabalhos para a promoção do desenvolvimento até 2030, representada pelos Objetivos de Desenvolvimento Sustentável (ODS). De acordo com PNUD (2016), os 17 ODS e 169 metas relacionadas foram construídos tendo como base os ODM e a perspectiva de continuidade do trabalho para vencer os novos desafios.
A ONU salienta a importância do processo de execução dos ODM,
os documentos das Nações Unidas destacam que o processo gerado pelos Objetivos de Desenvolvimento do Milênio foi bem sucedido, atribuindo isso à combinação de crescimento econômico, melhores políticas e compromisso global com os ODM, apontando a rápida redução da pobreza extrema (GALLO; SETTI, 2014, p.4385).
Neste sentido, partindo do entendimento de que as ações governamentais são fundamentais para a consecução de objetivos desta monta e que muitos fatores contribuem para aumentar a importância e a complexidade de decisões que culminem com o cumprimento das metas estabelecidas, o uso de métodos quantitativos para avaliação de indicadores pode representar avanços significativos para a administração pública, já que podem permitir uma leitura mais robusta dos resultados e colaborar mais efetivamente com as decisões neste campo.
O uso de métodos multicritério de apoio à decisão, no caso de estratégias onde as incertezas necessitam ser tratadas e as decisões serem suportadas de maneira eficiente (KROHLING; CAMPANHARO, 2009; KROHLING; SOUZA, 2011; LIMA JÚNIOR; CARPINETTI, 2015), podem colaborar com o trabalho realizado pelos governos, como por exemplo, possibilitar avaliar os ODM à luz do seu conjunto de indicadores com vistas à avançar nas decisões a serem tomadas para a continuidade da agenda pós-2015.
Neste cenário, ferramentas que permitam uma avaliação holística e ao mesmo tempo agilizar a tomada de decisão (COSTA; DUARTE JÚNIOR, 2013) podem ser úteis para uma evolução mais rápida rumo ao cumprimento das metas.
Assim, este trabalho possui como objetivo experimentar a utilização de um método multicritério para avaliar os Objetivos de Desenvolvimento do Milênio (ODM) estabelecidos pela ONU em 2000, à luz de um conjunto de indicadores norteadores das ações que o Brasil determinou como metas a serem atingidas dentro das possibilidades do país, respeitando o escopo dos ODM.
A investigação realizada para o desenvolvimento deste artigo traz como premissa a seguinte questão de pesquisa: Como possibilitar a avaliação dos ODM à luz de um conjunto de indicadores?
Para desenvolver o estudo, foi realizada delimitação dos ODM considerando o conjunto que apresentou mensuração consistente ao longo do período estudado, a partir das informações coletadas no 5º relatório brasileiro de acompanhamento dos ODM (BRASIL, 2014). Os seis ODM mensuráveis e os indicadores considerados nesta pesquisa são apresentados no Quadro 1.
Quadro 1. Objetivos de Desenvolvimento do Milênio (ODM) delimitados para a pesquisa e Indicadores.
Fonte: Elaborado pelos autores.
A contribuição inovadora da proposta consiste na utilização dos atuais indicadores mensuráveis relacionados a cada ODM, para proporcionar sua avaliação por meio da Técnica de Ordenação de Preferências por Similaridade com a Ideal Solução (TOPSIS), que possibilitará hierarquizar as alternativas, estabelecendo uma sistemática de análise reduzindo a subjetividade inerente ao processo decisório para as ações que virão a ser escolhidas em futuras decisões.
A seguir, na seção 2 são apresentadas a análise multicritério e o método TOPSIS. A seção 3 trata da aplicação do método multicritério na ordenação dos ODM. A seção 4 mostra a discussão dos resultados e, por último, a seção 5 apresenta as considerações finais do trabalho.
A abordagem multicritério surge no contexto das análises inerentes às modelagens de Pesquisa Operacional com o objetivo de apoiar as decisões em ambientes com problemas complexos e cuja solução passa pela análise de diversos critérios e variáveis (COSTA; DUARTE JÚNIOR, 2013; HEIN et al, 2015; LIMA JÚNIOR; CARPINETTI, 2015).
A decisão complexa pode ser caracterizada por alguns fatores, conforme salientam Costa e Duarte Júnior (2013),
Este tipo decisão, chamada de decisão complexa, pode ser caracterizada, entre outros aspectos, pela (1) variedade de critérios utilizados para sua solução, (2) dificuldade de mensuração de determinados critérios, principalmente, critérios de natureza qualitativa e (3) dificuldade de definição dos critérios ou das alternativas disponíveis. (COSTA; DUARTE JÚNIOR, 2013, p. 519).
Os métodos de decisão multicritério, ou MCDA (Multiple Criteria Decision Aid), representam um conjunto de ferramentas que criam modelos para auxiliar os gestores nas decisões em ambientes de incerteza e complexidade (MEYER; ROUBENS, 2005). De acordo com Lima Júnior e Carpinetti (2013), esses métodos visam o desenvolvimento de modelos de decisão para resolução de problemas nas mais variadas áreas do conhecimento.
Conforme pode ser observado no Quadro 2, há na literatura estudos que reportam os usos dos MDCA de modo simples ou de modo comparado, considerando o contexto dos problemas, inclusive alguns que figuram nas esferas de decisão governamentais.
Quadro 2 – Modelos Multicritério.
Fonte: Adaptado de Lima Júnior e Carpinetti (2015).
Diante da variedade de métodos multicritério existentes, a escolha do método utilizado neste estudo foi determinada a partir da consideração de alguns fatores: necessidade de ordenação das alternativas, facilidade de aplicação do método, possibilidade de utilizar peso linear na análise, além da simplicidade no desenvolvimento do método.
Foi escolhido o método TOPSIS (Technique for Order of Preference by Similarity to Ideal Solution) como uma ferramenta simples e de fácil aplicação para a aplicação na ordenação dos indicadores dos ODM, o que possibilitará análises dos índices alcançados de forma mais profunda e robusta para avançar nas decisões necessárias para o alcance dos desafios do pós-2015.
O TOPSIS (Technique for Order of Preference by Similarity to Ideal Solution) ou Técnica de Ordenação de Preferências por Similaridade com a Ideal Solução, proposto inicialmente por Hwang e Yoon (1981) é um método que vem sendo bastante utilizado para ordenar preferências, por meio da avaliação do desempenho de alternativas através de similaridade com a solução ideal (HEIN et al, 2015; Krohling; Souza, 2011; Lima Júnior; Carpinetti, 2015).
O processo geral do TOPSIS é calcular a distância ao ponto ideal, tanto positivo como negativo. É necessário quantificar a importância relativa dos critérios, além de não ser necessário nenhum método específico para determinação dos pesos. A normalização pode ser linear ou vetorial. Outra vantagem, é poder ser utilizado para grande número de alternativas e critérios, utilizando dados objetivos e quantitativos. Como resultado final, o TOPSIS realiza a ordenação geral das alternativas (ALVIM et al, 2015).
A aplicação do método é descrita numa série de etapas sucessivas, nas quais podem ser utilizadas uma planilha eletrônica como ferramenta básica para seu desenvolvimento.
A seguir são descritas essas etapas, conforme salienta Costa e Duarte Júnior (2013):
Deve-se realizar inicialmente a montagem da matriz de decisão a x c, onde “a” são as alternativas e “c” os critérios. A partir daí, inicia-se a aplicação das etapas sugeridas pelo método TOPSIS.
A normalização da matriz de decisão pode ser realizada de diversos modos (COSTA; DUARTE JÚNIOR, 2013; LIMA JÚNIOR; CARPINETTI 2015). Neste trabalho foi utilizada a normalização linear, conforme a fórmula abaixo:
Onde representa o escore do j-ésimo critério para a i-ésima fonte de dados.
Multiplica-se a matriz normalizada pelos respectivos pesos dos critérios. A definição dos pesos é realizada de acordo com percepções de valor do decisor ou de um grupo de decisores. Neste trabalho optou-se por utilizar peso linear.
Nesta etapa, determina-se os melhores níveis, que representam a solução ideal (S+) para cada um dos critérios analisados. Procede-se do mesmo modo para os piores níveis, que representam a solução anti-ideal (S-). As seguintes equações são utilizadas:
Onde e representam o conjunto de critérios
5ª etapa: Calcular as distâncias entre a situação ideal positiva e cada alternativa (D+) e a situação ideal negativa e cada alternativa (D-)
Calcula-se a medida de separação para cada alternativa em relação à solução ideal e anti-ideal. Essas distâncias euclidianas entre cada alternativa e sua solução ideal positiva (D+) e sua solução anti-ideal (D-) são calculadas da seguinte forma:
6ª etapa: Calcular a similaridade para a posição ideal positiva
Por fim, chega-se ao coeficiente C ou resultado da aproximação da situação ideal (Ci) e a definição da ordenação das alternativas, através da equação:
As alternativas são classificadas em ordem decrescente de acordo com os valores do coeficiente de aproximação, definido no intervalo [0,0,1,0]. Considera-se que as alternativas mais próximas de 1,0 são as melhores.
A aplicação de todas as etapas do método TOPSIS foi modelada através de aplicativo computacional.
A matriz de decisão M, na Tabela 1, é composto por 34 alternativas e 7 critérios. Os indicadores são as alternativas e foram subdivididos em categorias que representam os indicadores associados a cada ODM (Quadro 3). Os critérios AI1 à AI7 consistem nos índices anuais de acordo com a metodologia usada TOPSIS.
A matriz de decisão foi normalizada conforme observada na Tabela 2.
Quadro 3. Categorização dos ODM.
Fonte: elaborado pelos autores.
Para verificar a efetividade do uso da técnica para ordenar os indicadores referentes aos ODM, aqueles foram categorizados, conforme é apresentado no Quadro 3 para facilitar a leitura do resultado.
Os indicadores apresentados orbitam entre classificações de indicadores de resultado e indicadores de impacto, onde,
Indicadores de resultado: expressam, direta ou indiretamente, os benefícios da implantação do programa ou iniciativa governamental que está sendo objeto da avaliação.
Indicadores de impacto: indicadores abrangentes e multidimensionais, que permitem medir os efeitos das estratégias governamentais de médio e longo prazos (MELLO, 2015, p. 90).
Os indicadores são elementos-chave para a consecução dos ODM, além de facilitar a projeção de cenários para construir um ciclo de gestão de iniciativas governamentais que visem fomentar a execução de programas e políticas públicas em consonância com os compromissos globais assumidos.
Utilizando a equação (1) foi possível criar a matriz de decisão M a qual corresponde ao desempenho das alternativas, conforme pode ser observado na Tabela 1. Nesta tabela, os indicadores representam as alternativas avaliadas e os índices anuais correspondem aos critérios usados.
Tabela 1. Matriz de decisão M
Fonte: elaborada pelos autores.
Para que a comparação entre as alternativas seja significativa, é realizada a normalização para transformar os dados em uma escala comum, conforme é apresentada da Tabela 2. A base de cálculo para os resultados foi a equação (3).
Tabela 2. Matriz normalizada
Fonte: elaborada pelos autores.
Considerando que todos os indicadores, dado o contexto desenvolvimentista que envolve o tema, têm a necessidade de serem avaliados linearmente, foi considerado o mesmo peso para cada índice na realização do cálculo da ponderação (Tabela 3). Foram utilizados os pesos com valores de wi = 1.
Os resultados apresentados na Tabela 3, tiveram como base de cálculo a equação (4).
Tabela 3. Matriz normalizada e ponderada
Fonte: elaborada pelos autores.
-----
Tabela 4. Solução ideal e anti-ideal considerando os impactos
Fonte: elaborada pelos autores.
Na Tabela 4 estão explicitados os resultados do cálculo da solução ideal (PIS) e da solução anti-ideal (NIS), efetuados através das equações (5) e (6). A avaliação referente à PIS e à NIS é efetuada levando-se em consideração os impactos que cada índice tem em relação à expectativa apontada pelos indicadores.
Os resultados dos cálculos da proximidade relativa em relação à solução ideal são apresentados na Tabela 5. Foi utilizada a equação (7) para calcular a medida de separação – ou distância euclidiana – D+, ou seja, a distância entre S+ e a pontuação de cada indicador em cada índice. Já a medida de separação D- foi calculada utilizando-se a equação (8), representando a distância entre S- e a pontuação de cada indicador em cada índice.
Por fim, utilizando a equação (9) e os valores de D+ e D-, chegou-se ao resultado do cálculo do coeficiente C, apresentado na Tabela 6, o qual permite a observação da ordenação dos indicadores. O ranking da ordenação se dá de acordo com a ordem decrescente da solução ideal (BULGURCU, 2012).
A ordenação permite aferir algumas informações relevantes. Por exemplo, ao se considerar os 10 primeiros indicadores hierarquizados, verifica-se que os indicadores da categoria b, predominam, aparecendo nas posições 1, 2, 4, 5, 7 e 10.
A categoria b representa os indicadores associados ao ODM2 – Atingir o ensino básico universal (Quadro 1). Esses resultados corroboram com o levantamento apresentado no 5º relatório brasileiro de acompanhamento dos ODM (BRASIL, 2014), onde é destacada a melhoria em relação à universalização do acesso ao ensino fundamental.
As discussões apresentadas tendo como base o uso da técnica TOPSIS permitiram que fossem observadas ferramentas úteis para o acompanhamento e suporte à decisão sobre temas que vigoram nas esferas governamentais, como é o caso dos compromissos globais assumidos por meio dos Objetivos de Desenvolvimento do Milênio.
A verificação da consistência da técnica para usos e práticas que envolvem as decisões em nível de administração pública, foi atestada através da busca de meios e possibilidades de avaliar os ODM à luz de um conjunto de indicadores de modo que os resultados possam colaborar com os desafios futuros propostos pela agenda 2030 ou pós-2015.
A técnica TOPSIS se mostrou viável para o exemplo utilizado, além de ser de simples implementação computacional. A ordenação apresentada sugere que os resultados corroboraram com os anseios governamentais para o atingimento das metas estabelecidas.
Ademais, avançar rumo ao cumprimento dos Objetivos de Desenvolvimento Sustentável (ODS), que representam o sequenciamento das ações iniciadas através do lançamento, acompanhamento e avaliação dos ODM, implica decidir por ações que envolvam práticas voltadas à sustentabilidade na abordagem de diferentes áreas do conhecimento.
A robustez das bases criadas com a consecução dos ODM, passa no pós-2015 por sua fase de consolidação e avanços para o cumprimento dos ODS através da agenda 2030.
Assim, para transcender os ODM é necessário aprender com seu processo de implementação e buscar avaliar de forma consistente as ações passadas para proporcionar continuidade nas ações propostas para o futuro. Verificar essa avaliação dos ODM à luz de um conjunto de indicadores, utilizando ferramentas de apoio à decisão multicritério, sugere que as possibilidades de reduzir a subjetividade na tomada de decisão pode ser um caminho viável para avanços nas práticas e ações governamentais.
Sugere-se como recomendações para os trabalhos futuros, o aprofundamento dos estudos sobre as possibilidades do uso de métodos multicritério para realização de avaliações e análises que envolvam objetivos e metas que representam compromissos governamentais assumidos em nível global.
Alvim, Emilly Shelly Gonçalves; Santos, Isabel Elisa dos; Sena, Larissa Gomes; Freitas, Rodrigo Randow de; Gonçalves, Wellington. Modelo de apoio à tomada de decisão para seleção de fornecedores por meio do Analytic Hierarchy Process (AHP). In: V CONGRESSO BRASILEIRO DE ENGENHARIA DE PRODUÇÃO, 2015. Anais... Ponta Grossa, PR, 2015.
AIRES, Renan Felinto de Farias; FERREIRA, Luciano. Uma Análise Sobre Reversão de ranking no Método TOPSIS. In: XLVI SIMPÓSIO BRASILEIRO DE PESQUISA OPERACIONAL, 2014. Anais... Salvador, BA, 2014.
BRASIL. Presidência da República. Objetivos de Desenvolvimento do Milênio: Relatório Nacional de Acompanhamento. Brasília: Ipea, 2014.
BULGURCU, B. K. Application of TOPSIS technique for financial performance evaluation of technology firms in Istanbul stock exchange market. Procedia – Social and Behavioral Sciences, v. 62, n. 1, p. 1033-1040, 2012.
COSTA, Leandro Santos; DUARTE JÚNIOR, Antonio Marcos. Uma metodologia para a pré-seleção de ações utilizando o método multicritério TOPSIS. In: XLV SIMPÓSIO BRASILEIRO DE PESQUISA OPERACIONAL, 2013. Anais... Natal, RN, 2013.
GALLO, Edmundo; SETTI, Andréia Faraoni Freitas. Território, intersetorialidade e escalas: requisitos para a efetividade dos Objetivos de Desenvolvimento Sustentável. Ciência & Saúde Coletiva, São Paulo, v. 19, n. 11, p. 4383-4396, 2014.
GODINHO, Jucemara Marques; MIRANDA, Luiz Miguel. Aplicação de Método de Análise Multicritério na Escolha de Traçado de Linhas de Ônibus de Transporte Público Utilizando Sistema de Informação Geográfica. E&S - Engineering and Science, Cuiabá, v. 1, n. 1, p. 1-13, 2014.
HEIN, Nelson; DEGENHART, Larissa; VOGT, Mara; KROENKE, Adriana; CAMPESTRINI, Ivan Marcos. Método TOPSIS na avaliação das empresas listadas no IBrX-100: uma avaliação multicritério dos impactos ambientais. In: V CONGRESSO BRASILEIRO DE ENGENHARIA DE PRODUÇÃO, 2015. Anais… Ponta Grossa, PR, 2015.
HWANG, C. L., YOON, K. Multiple attribute decision making: methods and applications, New York: Springer-Verlag, 1981.
KROHLING, Renato A.; CAMPANHARO, Vinicius C. Fuzzy-TOPSIS para tomada de decisão multicritério uma aplicação para o caso de acidentes com derramamento de óleo no mar. In: XLI SIMPÓSIO BRASILEIRO DE PESQUISA OPERACIONAL, 2009. Anais... Porto Seguro, BA, 2009, p. 1731-1742.
KROHLING, Renato A.; SOUZA, Talles T. M. Dois Exemplos da Aplicação da Técnica TOPSIS para Tomada de Decisão. Revista de Sistemas de Informação da FSMA, Visconde de Araújo, n. 8, p. 31-35, 2011.
LIMA JÚNIOR, Francisco Rodrigues; CARPINETTI, Luiz Cesar Ribeiro. Uma comparação entre os métodos TOPSIS e Fuzzy‑TOPSIS no apoio à tomada de decisão multicritério para seleção de fornecedores. Gest. Prod., São Carlos, v. 22, n. 1, p. 17-34, 2015.
MELLO, A. F. P. Monitoramento e avaliação da regulamentação sobre recolhimento de alimentos no Brasil: proposição de indicadores e métricas. Rio de Janeiro, 2015, 185 p. Dissertação (Mestrado) – Pontifícia Universidade Católica do Rio de Janeiro.
MELLO, Arianni F. P., ALMEIDA, Maria Fátima Ludovico; CALILI, Rodrigo Flora. Avaliação da regulamentação sobre recolhimento de alimentos no Brasil: proposição de indicadores. In: VIII CONGRESSO BRASILEIRO DE METROLOGIA, 2015. Anais... Bento Gonçalves, RS, 2015, p. 1-4.
MEYER, Patrick; ROUBENS, Marc. Choice, ranking and sorting in fuzzy multiple criteria decision aid. Chapter 12. P. 471-503. Livro: Multiple Criteria Decision Analysis: State of the Art Surveys. Editors: Figueira, José; Greco, Salvatore; Ehrgott, Matthias. Ed. Springer, 2005, 1048p.
ORGANIZAÇÃO DAS NAÇÕES UNIDAS [ONU]. Declaração do Milênio – Cimeira do Milénio 2000, Nova Iorque, 6-8 de Setembro de 2000. In: United Nations Millennium Declaration DPI/2163 — Portuguese — 2000. Lisbon: United Nations Information Centre, 2001.
PNUD. Os Objetivos de Desenvolvimento do Milênio. Disponível em: <http://www.pnud.org.br/ODM.aspx>. Acesso em: 30 jun. 2016.
REZENDE, Maria José. Os Objetivos de Desenvolvimento do Milênio e as ações voluntárias: em questão os esforços individuais e o processo de individualização. UAEMex, Cidade do México, n. 48, p. 105-135, sep-dic, 2008.
SILVA, Renaud Barbosa; NETTO, Maria Aparecida Cavalcanti. Uma estrutura de apoio à decisão para orientar a escolha de projetos prioritários para a infraestrutura de transporte do Brasil. In: XLII SIMPÓSIO BRASILEIRO DE PESQUISA OPERACIONAL, 2010. Anais... Bento Gonçalves, 2010.
SOUZA, João Paulo. A mortalidade materna e os novos objetivos de desenvolvimento sustentável (2016–2030). Rev Bras Ginecol Obstet., Rio de Janeiro, v. 37, n. 12, p. 549-51, 2015.
VEIGA, José Eli da. Desenvolvimento sustentável: o desafio do século XXI. Rio de Janeiro: Garamond, 2010.
1. Doutoranda em Sistemas de Gestão Sustentáveis na Universidade Federal Fluminense (UFF). E-mail: noemi_alice@yahoo.com.br
2. Professor Adjunto do Programa de Doutorado em Sistemas de Gestão Sustentáveis da Universidade Federal Fluminense (UFF). E-mail: glima@id.uff.br
3. Professor Adjunto do Programa de Doutorado em Sistemas de Gestão Sustentáveis da Universidade Federal Fluminense (UFF). E-mail: marcelo@latec.uff.br
4. Doutorando em Engenharia de Produção na Universidade Federal Fluminense (UFF). E-mail: luiz.gaviao67@gmail.com
5. Doutorando em Sistemas de Gestão Sustentáveis na Universidade Federal Fluminense (UFF). E-mail: marceloarese@hotmail.com
6. Doutor em Engenharia Civil pela Universidade Federal Fluminense (UFF). E-mail: cid.alledi@gmail.com
7. Professor Adjunto do Programa de Doutorado em Sistemas de Gestão Sustentáveis da Universidade Federal Fluminense (UFF). E-mail: sfranca@latec.uff.br