Ensaios

O desafio da mensuração nos direitos humanos11. Meus agradecimentos especiais a Eleanor Benko, L. David Brown, Kate Desormeau, Michael Ignatieff e Laura Klivans por contribuírem com suas idéias para este artigo, e a Juana Kweitel por ajudar a prepará-lo para sua publicação.

Fernande Raine

+ ARTIGOS

RESUMO

Até há pouco tempo, o movimento dos direitos humanos relutou em se engajar na questão da mensuração, diante das dificuldades envolvidas e resistindo à pressão dos patrocinadores para aceitar os padrões de avaliação de impacto desenvolvidos em outras áreas. Este artigo defende que as técnicas de mensuração são, na verdade, muito específicas de cada problema, e têm que estar ligadas a uma refinada compreensão da mecânica de cada um em particular. Considerando a necessidade de avançar nas questões prementes dos direitos humanos, é da maior importância que as organizações da sociedade civil saiam de sua posição defensiva em relação à mensuração e comecem a desenvolver modelos para os dois maiores desafios nesse aspecto: (1) como dimensionamos o problema e entendemos de que modo ele está se desenvolvendo ao longo do tempo? e (2) de que modo entendemos o impacto que estamos exercendo sobre o próprio problema?

Este artigo destaca de que maneira as Organizações da Sociedade Civil podem aumentar sua eficácia usando mensurações e dados para obter uma idéia mais clara do problema que estão tentando resolver, uma idéia melhor de como marcar seu progresso na consecução de uma meta, e uma compreensão de que lugar têm os seus esforços no contexto mais amplo dos solucionadores de problemas da sociedade civil. Além de tratar das dificuldades específicas que as organizações de direitos humanos enfrentam no processo de auto-avaliação, este artigo propõe passos que podem guiar as organizações de direitos humanos no sentido de ampliar seu impacto.

Palavras-Chave

| | | |

• • •
01

Introdução

Ao longo das duas últimas décadas, o cenário dos direitos humanos mudou drasticamente. O número de organizações que trabalham com as questões dos direitos humanos tem crescido em ritmo vertiginoso, conforme a sociedade civil em vários países (excluindo alguns grandes e importantes) vem experimentando uma liberdade de operação sempre crescente, encontrando meios de se expressar e desenvolvendo instrumentos voltados para a mudança social. Um número crescente de organizações pequenas, às vezes altamente ágeis e inovadoras, tem entrado em cena, enquanto algumas das organizações de maior porte vêm expandindo ainda mais seu tamanho, grau de influência e sofisticação. Novas parcerias vêm se tornando possíveis à medida que grandes corporações se aproximam da comunidade de organizações de cidadãos para tentar encontrar conjuntamente soluções para problemas públicos. A internet criou oportunidades para formar redes de informação e de idéias e para fazê-las circular de um modo que teria sido impossível há apenas dez anos. Podemos ver também algum progresso na consolidação da linguagem dos direitos humanos em outros campos. Abordagens baseadas em direitos são vistas correntemente em áreas como desenvolvimento, saúde, eliminação de minas terrestrese outras, tanto em governos como em agências e organizações internacionais. Essas tendências representam uma tremenda oportunidade para as organizações dedicadas aos direitos humanos.

Elas, no entanto, também representam um desafio. Do ponto de vista dos patrocinadores e dos voluntários, a questão de onde alocar seus recursos tornou-se mais difícil. Existem mais organizações à escolha na área dos direitos humanos, e como outras áreas se apropriam da linguagem dos direitos, parece haver maior número de opções para conseguir avanços nas questões de direitos humanos do que ficar restrito às organizações de apoio que operam sob uma bandeira explícita de direitos humanos. Financiadores – sejam eles governos, fundações ou indivíduos – estão cada vez mais determinados a dar seu apoio a alguma coisa que funcione, e estão ficando mais exigentes quanto à comunicação do impacto. Até aqui, o movimento dos direitos humanos tem estado na defensiva, criticando as mensurações a eles impostas como sendo alheias à essência de seu trabalho. Boa parte desta crítica é justificada: um foco exagerado nos números e em aspectos quantificáveis de sucesso tende a ofuscar a visão do impacto atual e futuro, muito do qual não é mensurável. Tomemos, por exemplo, o papel sempre crescente dos agentes de mudança de grande alavancagem, também chamados de ‘empreendedores sociais’, cujas qualidades pessoais de persistência, criatividade e talento para construir alianças, combinadas com uma idéia genuinamente nova e dotada de potencial de disseminação, são a chave de seu sucesso, mas não podem ser capturadas por um número ou um plano.1

Mesmo assim, este artigo defende que está na hora de a comunidade de direitos humanos sair dessa sua posição defensiva de criticar as mensurações impostas pelos financiadores e passar para uma posição construtiva, na qual as organizações desenvolvam a combinação certa de mensurações de impacto quantitativas e qualitativas que elas acreditem fazer sentido, e encontrem uma maneira de comunicá-la. Mesmo que haja aspectos do trabalho que não sejam quantificáveis, deve-se ainda assim elaborar e comunicar mensagens que expliquem por que eles são um forte fator de mudança. É verdade que os financiadores têm interesse por essa pauta, e que as técnicas de mensuração são uma ferramenta-chave para se poder prestar contas dos fundos recebidos. Mas também é verdade que a avaliação do impacto funciona como uma ferramenta para se poder prestar contas às pessoas em cujo nome, interesse, e em cuja confiança as organizações de direitos humanos defendem a mudança social. Os indicadores de impacto nada mais são do que um útil produto secundário de um processo muito mais fundamental, de tornar transparente a mecânica de um problema e de compreender os agentes da mudança. Isso, em contrapartida, enseja a cooperação e a divisão de trabalho entre as organizações, bem como uma previdente administração de recursos. Em resumo, este artigo destacará como e para que as organizações de direitos humanos devem desenvolver técnicas de mensuração como obrigação para os indivíduos e grupos de pessoas cujos direitos elas proclamam defender.

Não importa que seja descrito em termos de “mensuração de desempenho”, “avaliação de impacto” ou “eficácia organizacional”, o processo subjacente é o mesmo: estamos falando de uma avaliação sistemática pelas organizações de direitos humanos do lugar que elas ocupam dentro da comunidade de solucionadores de problemas e do grau de sucesso que vêm alcançando no cumprimento de suas próprias missões. Nenhuma das diversas razões que são – legitimamente – alegadas como fatores limitantes pode se sustentar contra as fortes razões que falam a favor. A não ser que cada organização possa mostrar que está usando sua ferramenta mais poderosa para atingir o resultado pretendido, e a não ser que compreenda o vínculo entre suas ações e a meta que espera atingir, o progresso em direção à mudança sistêmica, que é tão urgente, vai continuar lento demais. Ou, como um autor colocou muito francamente, “Se você não se preocupa com o quão bem está se saindo ou com o tipo de impacto que está tendo, então por que se preocupar em agir?”2

02

O pensamento atual sobre a avaliação do impacto

Devido à dependência de recursos externos, quase todas as organizações com uma missão social têm um sistema estruturado para relatar resultados. Ao longo dos últimos dez anos, no entanto, cresceu a pressão sobre organizações de todas as dimensões e orientações para que sejam mais explícitas e mais orientadas para resultados ao comunicarem sua eficácia. As Organizações da Sociedade Civil (OSCs) têm sido pressionadas para desenvolver relatórios mais transparentes em dois níveis: o nível interno do desempenho organizacional, ou seja, em que grau a organização está dotada de estrutura, recursos e processos para desempenhar suas tarefas, e o nível externo dos resultados, ou seja, em que medida a organização consegue o impacto pretendido. Tanto a questão do desempenho organizacional interno como a da mensuração do impacto vêm sendo tema de livros de análise teórica e pesquisa prática.3

Diversas tendências históricas têm estimulado esse interesse crescente pela mensuração do impacto e da transparência das OSCs. Uma delas é o papel crescente das OSCs nas políticas regional, nacional e internacional. O número de OSCs não apenas cresceu (em algumas partes do mundo, exponencialmente), mas algumas OSCs cresceram de tal modo que estão influenciando ativamente a política e assumiram papéis anteriormente preenchidos por instituições governamentais. Isso tem levantado questões quanto à sua legitimidade e autoridade para promover ações em nome de outros.4  Melhores mensurações de desempenho e relatórios mais rigorosos sobre impacto são tidos como passos vitais no sentido de se criar uma responsabilização e uma legitimidade maiores.

Graças à internet e ao surgimento de uma “sociedade de informação global” tem havido também uma crescente conscientização das OSCs e das sociedades nas quais elas obtêm seu apoio a respeito da necessidade de uma mudança sistêmica em diferentes partes do mundo, o que tornou ainda mais necessária uma alocação criteriosa dos escassos recursos. Imagens de transgressões aos direitos humanos são transmitidas em tempo real às residências das pessoas, em filmes, artigos e fotografias, criando um repertório aparentemente infindável de ações necessárias.

Ao mesmo tempo, a crescente consciência da importância desses problemas criou também uma base mais ampla de indivíduos e instituições que se sentem responsáveis por reagir a essas necessidades sociais.5  À medida que empresas e empreendedores tornam-se mais envolvidos como solucionadores de problemas, investidores e filantropos no terreno social, seus padrões de responsabilização são transferidos para o setor com o qual passaram a interagir. Conceitos organizacionais e de avaliação oriundos do setor privado, competitivo e orientado pela produtividade, são cada vez mais utilizados para assegurar que os recursos alcancem o máximo rendimento.6  Novas formas de filantropia, incluindo ‘filantropia de risco’ e ‘investimento social’, com alguns conceitos mais ou menos refinados de retorno social do investimento, criaram uma cultura de planejamento estratégico e de indicadores de impacto em organizações de todas as dimensões. Fundações desenvolveram sistemas para avaliar e comunicar o impacto daqueles que recebem as doações. Algumas fundações estão até começando a fazer publicidade de seu próprio desempenho como financiadoras e patrocinadoras do desenvolvimento de seus beneficiários.7

Existem vários desafios criados por esse debate, que serão destacados a seguir com maiores detalhes. Existe uma ampla variedade de vozes perseguindo a questão com um amplo leque de idéias a respeito de como deve ser configurada a avaliação do impacto, forçando as OSCs a um incômodo processo de se reportar de modo diferente a diferentes patrocinadores, e de avaliar seu trabalho segundo uma variedade de esquemas. Além disso, transportar esquemas de mensuração do setor privado para o setor civil nem sempre é possível, e fornecer prestações de contas transparentes sobre operações e impacto é bem mais difícil na esfera social. Criar mudança social simplesmente não é um processo tão linear quanto o de produzir artefatos de consumo, e não existe nenhum mecanismo de mercado que possa registrar e promover aumentos nos ganhos dos acionistas.

A discussão em outros campos

Mesmo assim, a questão da avaliação do impacto e da eficácia organizacional vem ganhando força em alguns subsetores específicos da sociedade civil. Embora um histórico exaustivo da discussão sobre responsabilização e mensuração esteja além dos limites desse artigo, um breve panorama de algumas das áreas nas quais essa discussão ocorreu pode ser útil para destacar algumas lições a serem aprendidas pelas OSCs no terreno dos direitos humanos.

Alimentadas parcialmente pelo modelo filantrópico anglo-saxão que entrelaça intimamente as chamadas “organizações sem fins lucrativos” com o mundo corporativo e empresarial, as OSCs nos Estados Unidos e no Reino Unido têm-se envolvido particularmente no desenvolvimento de técnicas de avaliação e mensuração interna. Nos últimos dez anos, grandes organizações sem fins lucrativos e OSCs como a United Way e a Save the Children UK adotaram abordagens sistemáticas para a avaliação e mensuração interna e reestruturaram seus modelos de envolvimento para dar lugar a uma cultura do desempenho entre seus beneficiários e membros.8  A comunidade acadêmica de fala inglesa dedicada ao estudo de organizações sem fins lucrativos abraçou de bom grado essa questão, produzindo uma vasta quantidade de literatura que fornece linhas gerais e modelos para organizações no setor não lucrativo sobre como criar sistemas de avaliação interna e tornar-se uma organização de “alto desempenho”.9 Nos últimos dez anos viu-se um forte incremento na pesquisa acadêmica, iniciativas de construção da capacidade e palestras sobre impacto e eficácia organizacional, e apareceram vários jornais dedicados exclusivamente a essa questão.10  Essas tendências, por sua vez, deram lugar a todo um setor de empresas de consultoria focadas no desempenho, tendo como clientes fundações e organizações sem fins lucrativos.11  Planejamento estratégico, avaliação de impacto e responsabilização são as palavras mais ouvidas, e com uma aura esperançosa de progresso, inovação e qualidade.

Os setores de organizações civis americano e britânico não são, obviamente, os únicos que iniciaram a discussão sobre mensuração do impacto e responsabilização. Já nos últimos anos da década de 1990, a avaliação do impacto estava em alta na tela do radar das organizações da sociedade civil em todo o mundo, estimulada em parte pelo interesse de seus parceiros financiadores internacionais. Um estudo abrangente das práticas das organizações não governamentais (ONGs) na avaliação do impacto, financiado pela Organização para Cooperação e Desenvolvimento Econômico (OECD) destaca as práticas numa amostragem de 25 países, concluindo que elas estavam sendo desenvolvidas em todos os países estudados.12  As organizações e redes da sociedade civil também assumiram elas próprias a liderança nessa questão, trabalhando com freqüência em estreita cooperação com instituições acadêmicas para tornar mais sólida sua metodologia sobre o assunto. Um exemplo disso é a PRIA na Índia, que aproveitou sua especialização em dar assistência ao desenvolvimento e criou recursos e treinamento on-line para organizações da sociedade civil, incluindo treinamento e literatura sobre como mensurar o impacto.13

A comunidade internacional de desenvolvimento assumiu a questão da responsabilização no final da década de 1980, na tentativa de aumentar sua influência em projetos levados a cabo pelo Banco Mundial e, em proporção menor, pelo FMI.14  Embora a discussão sobre responsabilização ainda não tenha chegado à maioria das organizações regionais e nacionais, ao longo dos dez últimos anos a maioria das grandes empresas internacionais de desenvolvimento tem colaborado com pesquisadores acadêmicos e com International Finance Institutions para aprimorar sua compreensão daquilo que funciona, e sobre como relatar práticas e resultados.15  Aqui, também, não foi meramente uma questão de ter percepção do valor intrínseco que impulsionou o desenvolvimento de técnicas de avaliação de impacto. Bem mais importante para levar esse processo adiante foi a pressão de membros e pagadores de impostos nas sociedades democráticas de algumas das maiores nações financiadoras para obterem uma prestação de contas dos recursos dedicados ao desenvolvimento, domesticamente e no exterior.

Finalmente, agências de auxílio humanitário assumiram a questão da mensuração do desempenho quando se viram confrontadas com diversos desafios à sua legitimidade, a começar pelo fracasso do auxílio humanitário em Ruanda e continuando com vários escândalos em grandes organizações internacionais ao longo dos primeiros anos da década de 1990.16  Um exemplo perfeito desse progresso inspirado publicamente foi o escândalo em torno do efeito e da eficácia de agências de proteção de crianças em 1994. Um artigo noWashington Post desencadeou a revolta pública e uma investigação do modelo de proteção de crianças, que levou a uma iniciativa conjunta das organizações envolvidas para criar um código de conduta e sistemas de prestação de contas. Mais uma vez, foram os contribuintes, isto é, os milhares de indivíduos que haviam desembolsado doações para apadrinhar uma criança, que exigiram saber se seu dinheiro tinha surtido algum efeito. Esses desafios levaram a comunidade de organizações de auxílio humanitário a se envolver muito seriamente numa discussão sobre avaliação e prestação de contas ou responsabilização.17  Entre as organizações mais ativas estão Oxfam, CARE, Save the Children e a ICRC.

Esses pequenos esboços de exemplos nos quais se verificou progresso em direção a uma melhor avaliação do impacto permitem extrair algumas lições. Os acadêmicos podem ter um papel de apoio vital. Doadores e patrocinadores com freqüência não são apenas desencadeadores, mas também parceiros no processo, e isso não é fácil. Chegar a um acordo, mesmo que básico, a respeito de um curso de ação e responsabilização foi algo que exigiu vários anos para ser feito no caso da comunidade que trabalha para a proteção de crianças, mas todas as organizações concordam que saíram fortalecidas, valorizando suas ações de proteção a crianças em risco.

Mesmo apesar da crescente pressão e da florescente literatura sobre o assunto, as OSCs – particularmente no campo dos direitos humanos – ainda não compartilham uma “cultura de indicadores”.18 Não existe ainda um consenso claro entre as OSCs de direitos humanos do que a mensuração do desempenho pode significar realmente e de como deve ser feita. Embora tenham sido feitos esforços admiráveis para promover a troca de práticas bem sucedidas, as OSCs de direitos humanos têm se mostrado relutantes em tratar das questões de eficácia organizacional e avaliação do impacto, e cada organização batalha sozinha para desenvolver uma abordagem própria.19

03

Obstáculos para a avaliação de desempenho no campo dos direitos humanos

Considerando as pressões esboçadas acima e a crescente atenção que outros membros da sociedade civil estão dando à avaliação de impacto, por que a maioria das organizações de direitos humanos permaneceu à margem da discussão por tanto tempo? Um fator certamente foi estarem a comunidade acadêmica e os ativistas no campo dos direitos humanos ocupados com o estabelecimento do mandato dessas organizações e com a expansão dos limites daquilo que é considerado objeto de sua esfera de ação. Embora algumas, incluindo a Anistia Internacional, estejam agora voltando sua atenção para a questão da mensuração,20 muitas organizações de direitos humanos estão ainda ativamente envolvidas na redefinição de seu papel no mundo. Como essas organizações estão agora chegando a conclusões,21 o tempo para a discussão da questão da mensuração já está maduro, pois elas têm que decidir como irão perseguir as missões que acabaram de redefinir.

Existe, no entanto, uma série de outros desafios que o movimento dos direitos humanos enfrenta ao lidar com a questão da mensuração, vários deles específicos do campo dos direitos humanos, e alguns deles compartilhados por qualquer OSC.22  Os obstáculos gerais enfrentados por toda organização da sociedade civil incluem:

• Equilibrar as exigências dos financiadores com as necessidades organizacionais.Considerando a pressão dos financiadores quanto à questão da mensuração, muitas organizações se viram forçadas a fazer uma espécie de registro redundante, no qual elas por um lado atuam dentro das estreitas diretrizes sugeridas pelos seus financiadores e mantêm, além disso, um registro de seu impacto junto aos seus membros, feito da maneira que consideram mais útil. Com isso, acabam com dois conjuntos de mensurações: um “para os doadores” e outros para elas mesmas.

• Adaptar instrumentos do setor privado para o setor da cidadania. Definir metas concretas, focadas e grupos distintos de investidores é muito mais difícil na sociedade civil do que nos negócios, de onde as pautas de avaliação são geralmente extraídas. Um planejamento prévio preciso pode esconder oportunidades para os chamados “saltos quânticos”, que permitem às organizações aproveitarem o momento de exercer um tremendo impacto, mesmo quando o plano original tiver definido um curso de ação diferente.

• Captar a importância da liderança. Enquanto os analistas avaliam as corporações dando sempre muita atenção às personalidades que as lideram, existe uma resistência na sociedade civil em reconhecer a importância dos indivíduos em impulsionar a mudança social. Reconhecer a importância do talento pessoal para impulsionar a mudança social vai contra a cultura de celebração da boa vontade, e é extremamente difícil de incluir em estruturas de avaliação de impacto.23

• Superar a diferença cultural. A mensuração parece estranha à cultura da área da sociedade civil. As organizações da sociedade civil são geralmente menos interessadas em gerar produtos materiais do que em estimular processos melhores, mais inclusivos. As metas fundamentalmente orientadas para processos dessas organizações da sociedade civil são difíceis de conciliar com as metodologias de avaliação orientadas para resultados.

• Administrar recursos escassos. As OSCs vivem cronicamente uma escassez de recursos humanos e de tempo necessários para uma completa avaliação dos planos e processos da organização. Além disso, a comunidade de financiadores ainda não compreendeu amplamente a importância de apoiar a capacitação de pessoal, e continua sendo muito difícil levantar dinheiro para treinamentos internos e desenvolvimento organizacional.24

• Superar o predomínio de avaliações de impacto não sistêmicas. Ativistas em geral confiam num senso de eficácia intuitivo. A abundância de testemunhos de beneficiários individuais com freqüência proporciona um senso de progresso suficiente para dar à organização uma sensação de segurança de que ela está fazendo a diferença. No entanto, o que esses testemunhos não possibilitam é uma comunicação que permita concluir se a estratégia que foi usada era a melhor alternativa disponível, e o quanto ou de que maneira esse testemunho representa alguma espécie de mudança sistêmica.

• Lidar com barreiras de língua. A maioria da literatura e do apoio referentes ao assunto está em língua inglesa, e – mesmo que os representantes da OSC saibam falar inglês – com freqüência essa língua não é acessível a um leitor não acadêmico.25

Além desses obstáculos, organizações da sociedade civil em geral, e de defesa de direitos humanos em particular, enfrentam uma lista de dificuldades específicas, ao lidar com a questão da avaliação, suficientemente longa para fazer desistir o mais ardoroso defensor da importância da mensuração:26

• Equilibrar transparência e segurança. Em certas circunstâncias, a transparência quanto a métodos e técnicas pode colocar em perigo organizações que trabalhem em ambientes de alto risco. Os defensores dos direitos humanos em muitos países nos quais seu trabalho é mais necessário, enfrentam regularmente ameaças pessoais e tentativas de fechamento de suas organizações. Nesses casos, a transparência não só colocaria em risco a segurança pessoal de indivíduos, mas também comprometeria a eficácia, em longo prazo, da ação da organização.

• Permitir respostas flexíveis. Organizações de direitos humanos com freqüência acham difícil planejar ações em detalhe, já que a amplitude de seu mandato as obriga a permanecerem flexíveis para reagirem à medida que as questões se desenvolvem. Mudanças e resultados inesperados ocorrem regularmente, tornando os modelos lineares de planejamento insuficientes.27

• Reconhecer a natureza colaborativa da defesa de uma causa. Dada a variedade de fatores, de indivíduos e de instituições que influenciam qualquer mudança em sistemas, costuma ser muito difícil para uma organização assumir o crédito individualmente por um resultado específico.

• Atribuir a outros o crédito por resultados positivos. Muito do trabalho de direitos humanos é voltado para a realização de mudanças políticas. Em muitos casos, a agência governamental ou autoridade que precisa fazer a mudança pode ficar política e pessoalmente comprometida ao admitir que uma pressão da comunidade de direitos humanos causou transformações na sua forma de pensar. Nesses casos, por mais que a organização de direitos humanos possa estar consciente do caráter imediato de seu efeito, reclamar isso para si pode limitar seu acesso a esse canal de influência no futuro.

• Admitir a natureza de longo prazo do impacto. Campanhas efetivas de defesa de uma causa e intervenções de direitos humanos devem definir suas metas dando atenção tanto a objetivos de curto prazo (por exemplo, um programa de rádio ou uma sessão de treinamento sobre violência doméstica) quanto a objetivos transformacionais, sistêmicos em longo prazo (por exemplo, mudança de atitude quanto aos direitos da mulher).

• Adaptar-se à cultura de voluntarismo baseado em valores. O movimento dos direitos humanos – particularmente no hemisfério norte – carrega uma longa tradição de uma base de apoio voluntária, emocionalmente motivada, para a qual falar em mensuração e eficácia é largamente irrelevante para justificar o sentimento de ter “feito o bem”.

• Valorizar a natureza contextual do trabalho de direitos humanos. É difícil comparar as técnicas de defesa dos direitos humanos nos diversos países, porque muito desse trabalho é cultural e específico em cada contexto. Trabalhar no sentido de erradicar a violência doméstica numa sociedade em que a mulher passa a maior parte de seu tempo em casa, por exemplo, requer estratégias bem diferentes do que em uma sociedade na qual a mulher tem um papel mais forte e tem voz na esfera pública.

Em vez de constituírem argumentos contra a avaliação do impacto como um todo, esses pontos devem se tornar elementos de projeto e princípios orientadores de um movimento no sentido de promover esquemas de avaliação.

04

Por que mesmo assim a avaliação do impacto é importante?

O principal motivo pelo qual o movimento dos direitos humanos deve superar esses obstáculos e desenvolver uma cultura de mensuração de impacto não é nem para agradar os financiadores, nem para seguir uma tendência. Ao contrário, as organizações de direitos humanos devem se sentir encorajadas a adotar ações e dar destaque à cultura de mensuração em seus sistemas por cinco razões intrínsecas ao movimento dos direitos humanos:

a. necessidade de apoio constante (e crescente),

b. obrigação moral de cumprir com promessas feitas,

c. necessidade de maior colaboração regional e transnacional,

d. quantidade sempre crescente de problemas a enfrentar com uma base de recursos limitada, e

e. mudança geracional futura.

a. Necessidade de apoio

Sem estatísticas sobre os recursos de que desfrutam as organizações de direitos humanos é difícil obter um quadro nítido das tendências atuais de apoio. No entanto, é comprovadamente claro que as organizações de direitos humanos se sentem muito pressionadas a obter recursos financeiros e de voluntários. Também é claro que faz parte da natureza humana sentir que o tempo e os recursos que alguém dedica a uma causa pode fazer diferença, e que dificilmente haverá algo que dê maior sensação de poder e de júbilo do que a experiência de sucesso na arena social. Metas claras e indicadores de desempenho e impacto ao longo do tempo podem ter um papel tremendamente importante como ferramentas de poder e motivação, tanto para os voluntários como para os potenciais financiadores. Uma equipe, doadores e voluntários sub-remunerados podem ficar todos revigorados em seu papel ao sentirem que seu trabalho contribuiu para a solução de um problema.

b. Obrigação moral

Para obter sucesso uma organização depende de uma variedade de apoios: o reconhecimento daqueles a quem está tentando servir, o dinheiro dos financiadores, as doações de tempo por parte dos voluntários, reconhecimento e ações por parte dos articuladores políticos, um conhecimento crescente da população em geral sobre a questão específica de direitos humanos – em resumo: sinais de reconhecimento positivo por parte dos beneficiários, ou daqueles que poderíamos chamar de comunidade de pessoas a quem a organização deve prestar contas. Cada sinal de apoio a uma OSC é dado na expectativa de que ela irá cumprir sua promessa de ser parte da solução. A não ser que uma organização compreenda em que medida está acionando um fator de mudança, ela não estará correspondendo às suas responsabilidades e ficará aquém da sua obrigação para com os seus beneficiários.

E o mais importante de todos para uma organização de direitos humanos, para quem mantém sua obrigação moral principal, é o grupo populacional ou o conjunto de indivíduos cujos direitos proclama defender. Se 10 dólares permitem que uma família de indígenas da Amazônia sobreviva durante um mês e alguém está gastando 10 dólares numa campanha para defender os direitos que aquele grupo tem sobre a terra em que vive, esse alguém tem uma obrigação moral para com esta família, e para com todas as outras famílias, de garantir que aqueles 10 dólares possam deixá-las mais próximas de gerar renda.

c. Necessidade de colaboração

Ações conjuntas dentro de um país ou região sobre um tópico específico sempre foram um elemento central do modo de trabalho das organizações de direitos humanos. Com o avanço da tecnologia de comunicação e a globalização do trabalho de direitos humanos, o chamado para a colaboração se intensifica por todo o globo. Para que a colaboração faça sentido, no entanto, é essencial que cada organização engajada em uma parceria compreenda o que ela traz e qual de suas técnicas mostra mais eficácia. Cada organização que entra no relacionamento deve entender (e ser capaz de “vender”) os benefícios específicos do conjunto de instrumentos que ela usa, ou ser capaz de reconhecer as vantagens da abordagem de outra organização e incorporá-las ao seu repertório. Sem uma noção clara de como as organizações operam e de onde sua força-chave reside, torna-se muito difícil dividir trabalho entre parceiros de modo eficiente.

d. O desafio da limitação de recursos

O ativismo nos direitos humanos deve ter como meta mudanças sistêmicas eficazes. A fim de alavancar recursos escassos ao lidar com problemas cada vez mais complexos e crescentes, as organizações de direitos humanos devem ser capazes de trocar idéias sobre quais estratégias e táticas funcionam. Isso é muito simples no nível programático, por exemplo, ao considerar como um programa de alfabetização pode ser comparado com outro na expansão do alcance da educação. No entanto, é muito mais difícil e necessário no nível estratégico e sistêmico, onde é preciso ser capaz não só de avaliar o impacto direto de uma determinada ação, mas também o impacto indireto de certas atividades. Um foco estreito num nível programático pode impedir alguém de enxergar de que modo os diversos elementos de um problema estão inter-relacionados, e de compreender que alavancas devem ser acionadas conjuntamente. Um exemplo básico dessa interdependência é a questão do trabalho infantil e do tráfico. Se não forem levadas em conta as alternativas existentes para crianças que são removidas da força de trabalho, o ativismo contra o trabalho infantil pode acabar aumentando o risco de as crianças serem traficadas.28  O exemplo bem-sucedido, como mencionado acima, de redes de educação unidas pelo desejo de definir papéis e responsabilidades na erradicação do problema, pode motivar outras organizações em outros campos a seguirem o exemplo.

e. O desafio da mudança geracional

Como as décadas de 1980 e 1990 foram um período de grande crescimento da sociedade civil em todo o mundo, em que se testemunhou a criação de incontáveis organizações de direitos humanos, muitas OSCs vão se defrontar com uma transição de liderança na década que está por vir. A não ser que as organizações consigam criar estruturas e processos que sejam independentes do carisma e da presença de seus fundadores, o movimento dos direitos humanos irá enfrentar uma perda de saber em larga escala no futuro próximo. A avaliação interna das organizações e as técnicas de análise de impacto podem ser de grande ajuda para tornar mais sólidas as bases sobre as quais uma organização se assenta e fazer com que tenha maiores possibilidades de sobreviver à perda de seu líder original.29

Finalmente, a questão não é se as avaliações internas de desempenho e as mensurações de impacto serão importantes ou não no futuro. A questão é apenas se as OSCs de direitos humanos podem sair da posição defensiva em que estão agora – na qual as exigências dos financiadores ditam de que modo as OSCs produzem provas de seu impacto – para uma posição mais pró-ativa na qual definam para si mesmas que medidas e técnicas de avaliação fazem sentido para as suas missões. O hiato atual entre os “avaliadores” e as organizações deste campo só poderá ser fechado se as OSCs tomarem passos efetivos para formular o que elas vêem como abordagem correta à avaliação dos processos organizacionais e do impacto de seu ramo de trabalho.

De que maneira as organizações de direitos humanos podem se encaminhar para uma cultura de compreensão e comunicação do impacto? Se os argumentos acima são convincentes, e se concordamos que se trata de algo importante para uma organização de direitos humanos, quais são os próximos passos? Há dois passos separados e primordiais a serem tomados. O primeiro é um esforço coletivo de mapear a mecânica de um problema específico, ou seja, compreender quais são as causas da questão e como cada uma pode ser tratada mais eficazmente. O segundo passo é criar modelos de avaliação do impacto para cada organização individual.

05

Mapear a mecânica do problema

A fim de que uma OSC possa compreender em que medida está se saindo bem na obtenção de suas metas, ela primeiro deve compreender seu lugar num contexto mais amplo de solucionadores de problemas. Mapear um problema dentro de um esquema colaboracional é um exercício importante para capacitar as organizações individuais a compreenderem seu papel na realização de uma ampla mudança da sociedade. Vamos tomar, por exemplo, o problema do tráfico humano. Centenas de organizações em centenas de países estão enfrentando a questão, mas elas certamente não dominam um esquema de compreensão de todos os fatores que motivam as inúmeras pessoas traficadas e de como eles podem ser encaminhados. Portanto, quando uma rede internacional de OSCs começou a tentar descobrir quais eram as melhores práticas no terreno do tráfico humano no portal on-line <changemakers.net>, o primeiro passo foi dividir o problema em causadores e estratégias. Essa é apenas uma das maneiras possíveis de lidar com a questão, mas o simples fato de que esta prática feita em esquema de colaboração tenha sido iniciada e tenha ajudado a organizar o pensamento sobre diferentes táticas e estratégias define um precedente para o trabalho futuro.30

A beleza de qualquer esquema dessa espécie é que ele pode estruturar uma discussão sobre uma colaboração de longo prazo, sistemática, o que de outro modo seria impossível. Qual a importância de cada causa num contexto dado? Quais as fontes de informação e coleta de dados para a mensuração da mudança? Quais são as diferentes estratégias para encaminhar cada subparte? Quanto cada uma custa? Que estratégias lidam com múltiplas causas? Que partes do problema estão no presente momento sendo pobremente encaminhadas?

Desenvolver, refinar e adaptar esses esquemas a contextos específicos pode e deve envolver acadêmicos e fundações, além das OSCs. Pesquisadores acadêmicos podem desempenhar um papel importante em vários níveis: na coleta de dados sobre a importância relativa de cada causa, na criação de esquemas para a coleta e interpretação das informações, na pesquisa das melhores práticas e na contribuição para construir capacidade com base nas lições extraídas dessa pesquisa. As fundações podem desempenhar um papel de apoiar e estimular esses esforços de colaboração, e depois pegar essas lições aprendidas e aplicá-las às suas estratégias de financiamento. Mas são as OSCs que devem conduzir esse processo a partir de seu desejo de efetuar a mudança social. Várias iniciativas prévias falharam desde o início porque as OSCs perceberam que estavam sendo conduzidas pelas instituições erradas (isto é, financiadores e empresas do setor privado). Outros percalços fatais incluíram o uso de uma linguagem exageradamente “administrativa”, o foco em tecnicalidades, e uma falha em levar em conta a importância dos valores. Algumas dessas iniciativas estimularam as OSCs a entrar nesse processo de introspecção a fim de conseguir mais legitimidade e responsabilização fora de suas redes imediatas de apoiadores e beneficiários – por exemplo, com governos ou setores empresariais, que muitas OSCs encaram como secundários para as suas metas.31  Apenas se vistos como instrumento para melhorar a colaboração e maximizar a alavancagem dos escassos recursos disponíveis no terreno dos direitos humanos é que esse processo será capaz de se tornar bem sucedido e deitar raízes.

Esse tipo de mapeamento do problema fornece o contexto para as organizações avaliarem o próprio impacto interno. Cada organização deve perguntar-se o quanto é eficaz em lidar com essas questões de direitos que ela identificou como sua área de preocupação. Agora que o problema foi mapeado, de que modo nos encaixamos no panorama? A questão não é apenas criar medidas e estimular um falatório sobre avaliação de desempenho. É ajudar a criar uma bem enraizada cultura de mensuração do impacto, ao desenvolver um instrumento que vai permitir às organizações de direitos humanos guiarem a si mesmas em um processo de mudança cultural.32

Ao fazer sugestões sobre como as organizações de direitos humanos da área devem pensar a respeito da mensuração do desempenho, é aconselhável que nos façamos as seguintes perguntas: “Por que precisamos de uma abordagem colaboracional para mapear os problemas e esquematizar nosso pensamento a respeito da eficácia organizacional e da mensuração do impacto? Será que isso não irá inadvertidamente estimular a competitividade em uma área cuja força depende de alianças interorganizacionais? A auto-avaliação não seria uma coisa que as organizações deveriam fazer quando achassem que fosse o caso, em base individual?” A resposta a esse questionário deve ser um sonoro “não”, porque as OSCs que levam a sério o registro do seu impacto e a maximização da sua eficácia na conquista de uma efetiva mudança social precisam saber de que maneira se encaixam no mosaico mais amplo da sociedade civil dentro da área específica que escolheram. Mais ainda: só um esforço de colaboração, com a adoção de modelos de papéis de organizações líderes da área, pode dar a OSCs individuais a posição que elas precisam ter diante dos financiadores para que estes levem a sério suas visões sobre auto-avaliação. Só a cooperação permitirá às OSCs passarem da posição defensiva para a pró-ativa ao demonstrarem seu impacto a financiadores e críticos. E, finalmente, a colaboração irá minimizar o esforço que cada organização individualmente precisa fazer para adquirir competência em auto-avaliação.

Também é ilusório negar que existem forças competitivas em ação, mesmo no campo dos direitos humanos. Nem todas as abordagens a um problema específico nascem iguais. Embora as comparações invariavelmente pareçam comparações entre estruturas díspares, algumas organizações são mais eficazes do que outras, algumas estratégias funcionam melhor do que outras. Se existem 50 OSCs comprometidas com a ajuda às vítimas da violência doméstica, haverá uma grande variedade entre elas no que se refere às estratégias que utilizam e ao grau de eficácia que demonstram. Muito depende do modelo de mudança, do contexto, do líder individual e da sua equipe. Quer queiram ou não, organizações de direitos humanos enfrentam competição por recursos, e precisam demonstrar a seus membros e a si mesmas que sua abordagem está entre as melhores das possíveis alternativas para resolver o problema. Como freqüentemente vieram de organizações ou de antigas vítimas de abusos de direitos humanos, este é um salto cultural que irá demandar algum tempo para ser dado pelas organizações e seus membros, mas novamente: o primeiro passo é reconhecer que, sim, existem diferentes alavancas a serem acionadas; sim, nós devemos compartilhar o trabalho e, sim, desenvolver uma clara compreensão do problema é o primeiro passo para avaliarmos nosso efeito sobre ele.

06

Desenhar um esquema de avaliação de impacto

Pode-se dizer que “existem muitas estradas que levam a Roma” no que se refere ao desenvolvimento de um esquema de avaliação de impacto. O que vamos descrever aqui não pode servir como um guia completo sobre como fazer. Ao contrário, pretende servir como um modelo para as organizações da área de direitos humanos que estejam procurando embarcar no processo de desenvolver tais instrumentos, também para construir impulso institucional. O cerne desta idéia é que os indicadores de impacto não podem e não devem ser criados a partir de indícios pouco consistentes. Uma vez que a organização despendeu tempo para conceber de que maneira o problema está estruturado, ela pode embarcar na jornada para encontrar os indicadores de impacto, uma jornada que pode consistir de três estágios distintos. O primeiro estágio é uma avaliação da missão (ou estratégia) da organização, sua rede de apoio e suas operações. O segundo estágio consiste na definição dos indicadores que capturam o desempenho da organização. Finalmente, o terceiro estágio envolve a criação de um mecanismo de relatoe feedback que permita aprender com a comunidade mais ampla de organizações de direitos humanos, tanto regionalmente como internacionalmente. De maneira ideal, se uma organização está fazendo seu trabalho direito, bons indicadores de desempenho organizacional irão alimentar o mapa geral do problema e correlacionar-se com um efeito projetado e esperado em uma das causas da questão relacionada aos direitos.

Estágio Um: Avaliar sua missão, rede de apoio e operações

O modelo proposto para guiar uma organização através dessa avaliação de nível baseia-se no chamado “triângulo estratégico,”33 que destaca as três dimensões-chave de qualquer organização orientada para a mudança social que devem estar alinhadas: a missão e os próprios valores, a rede de apoio que a organização pode levantar a serviço dessa missão e a capacidade operacional da organização de atingir suas metas.

Missão

Muitas organizações dizem ter o que chamam de técnicas de mensuração do desempenho, mesmo sem terem passado pelas séries de análises necessárias para assegurar que elas estão realmente medindo impacto, e não simplesmente registrando atividade. Confiando no que tem sido chamado de uma “bem-quista teoria de mudança”34  muitas organizações não têm uma compreensão refinada de sua atuação e dos efeitos do seu trabalho. Em vez disso, produzem volumosos relatórios a respeito de quantas mulheres elas aconselharam ou de quantas crianças colocaram na escola, sem compreender verdadeiramente se aquelas atividades realmente ajudaram a conquistar a meta última de reduzir a violência doméstica ou aumentar os índices de alfabetização. A mensagem dada por especialistas no campo da mensuração é: os sistemas de avaliação que não estão intimamente ligados a uma clara declaração de missão e a uma compreensão de que impacto a organização almeja ter, estão fadados ao fracasso.35  As OSCs interessadas em auto-avaliação devem antes de tudo definir suas declarações de missão.

Aqui, uma vez mais, é importante destacar o valor de fazer preceder essa revisão da missão por uma discussão colaborativa sobre como o problema pode ser dividido em partes, de modo que a discussão sobre missão possa ser definida dentro do contexto de uma comunidade de organizações e de uma multiplicidade de estratégias de sucesso. Depois de ter definido claramente uma missão com objetivos, o desafio é, então, avaliar a medida em que as atividades da organização contribuem para alcançar a meta definida, e com que eficácia. O esclarecimento sobre a missão é um processo que consome tempo e requer a participação de toda a organização. Só então o processo será guiado pela visão de uma contribuição mais alta para o bem público, e portanto será um projeto no qual todos os membros da organização terão desejo de participar. Afinal, a mensuração do desempenho não é um processo do tipo que ocorre apenas uma vez, mas uma profunda mudança na cultura e no estilo dos relatórios da organização que pode levar vários anos para ser implementado.36

Redes de apoio

As organizações de direitos humanos particularmente confiam numa variedade de fontes não apenas para o financiamento, mas para o apoio moral, reconhecimento e a legitimidade necessária para que as suas sugestões de política tenham efeito. Compreender o nível de apoio com que a organização conta, e o que determina o grau de apoio que ela recebe deve ser parte de qualquer análise de eficácia e de impacto. Se, por exemplo, o número de membros está em declínio, apesar de as receitas estarem crescendo, a organização deve analisar as forças subjacentes a essas tendências – que podem ser quaisquer umas, desde a perda de apelo popular mais amplo da questão a um declínio das atividades mais prolongadas dos membros devido ao sucesso no recrutamento de um grande financiador. Qualquer organização que dependa demais de um reduzido número de financiadores, e não tenha uma ampla base de apoio de cidadãos, corre o risco de perder contato com as pessoas que está tentando servir, e de ficar aquém de sua responsabilidade em promover maior consciência entre a população local do problema que está tentando resolver. Pensar criativamente em como mobilizar recursos – sejam eles monetários, voluntários ou em espécie – permite que as organizações não apenas diversifiquem sua base de financiamento, mas repensem suas estratégias de abrangência.37

Capacidade operacional

Finalmente, uma organização deve olhar de perto sua estrutura interna e recursos, para determinar se conta com bens financeiros e humanos suficientes para poder cumprir os objetivos que definiu. Aqui, também, há uma armadilha comum à espreita: a de simplificar essa análise para uma relação de “custos gerais” e “custos de programa”. Para muitas organizações na área de direitos humanos (e no setor social como um todo) o “custo geral” pode ser onde a maior parte do valor é criada, isto é, as pessoas, seus talentos, suas atividades podem ser exatamente onde a maior parte do impacto relacionado à missão é conseguido. Portanto, a análise da capacidade deve focar-se na aptidão da organização em combinar seu capital, seus recursos humanos e seu conhecimento de uma maneira que maximize a quantidade de impacto que ela é capaz de produzir.38

Estágio Dois: Definir indicadores de progresso

Uma vez que uma OSC tenha completado seu primeiro passo de avaliação – ter deixado clara sua missão e revisto os recursos e o apoio com os quais pode contar a serviço de sua missão – a organização pode passar para o passo dois: definir indicadores que capturem a natureza do progresso que ela espera alcançar. Esses indicadores devem ser sensíveis aos quatro níveis de atividade que levam ao impacto: atividades, conseqüências, resultados e impacto (ver tabela abaixo).

Nos níveis de atividades, conseqüências e resultados, encontrar indicadores de progresso é bem direto, desde que o processo de deixar clara a própria missão tenha sido completado.39  A OSC deve simplesmente certificar-se de que os indicadores de desempenho e impacto se baseiam numa relação claramente demonstrável entre as atividades da organização e a realização de suas metas, conforme descrita na declaração de missão.

Consideravelmente mais desafiador é desenvolver indicadores para o último estágio, impacto. Embora seja esse estágio que realmente demonstre o grau de sucesso que a organização está tendo em alcançar sua missão última, os indicadores de impacto no final dessa cadeia devem ser relativamente simples, e é aconselhável escolher quatro ou cinco indicadores fortes, em vez de cair na tentação de criar uma longa lista de aspectos e indicadores que a organização está tentando afetar. São esses os números que a organização irá usar para comunicar seu impacto ao mundo exterior. Eles devem oferecer uma sensação do grau em que organização foi capaz de afetar a política, mudar mentes, afetar vidas. Uma progressiva avaliação de impacto muito provavelmente precisará incluir elementos qualitativos e quantitativos, incorporando os pontos de vista de uma variedade de pessoas envolvidas, incluindo a equipe da organização, os beneficiários e os financiadores. Só uma combinação de histórias e números pode capturar a riqueza do impacto de uma organização sobre a sociedade.

Obviamente este é o conjunto de indicadores mais difícil de definir, e aquele em que devemos conseguir um equilíbrio entre querer definir impacto na sociedade e precisar ser honesto a respeito de nossa atuação. À medida que cresce a pressão em relação à mensuração do impacto, algumas organizações podem ver-se pressionadas a proclamar um impacto que elas não estão seguras de ter alcançado. Uma organização sem fins lucrativos dedicada à construção de parques infantis, por exemplo, foi pressionada a criar uma correspondência entre seus espaços para brincar e o combate à obesidade juvenil – uma associação na melhor das hipóteses frágil, e em relação à qual ninguém na organização se sentia confortável. Além disso, muitas das mudanças de longo prazo na área de direitos humanos são simplesmente difíceis de rastrear. De que modo podemos medir uma mudança de atitude e a adoção de valores,  antes de a política ter mudado?  A campanha para acabar com a pena de morte é um fracasso pelo simples fato de que a pena capital ainda existe nos Estados Unidos, ou será que alguém poderia apontar para o fato de que muita coisa mudou na maneira segundo a qual os tribunais estão limitando sua aplicação e comemorar as possíveis mudanças que isso poderia trazer em médio prazo? Aqui ainda há muita pesquisa a ser feita – e algumas já estão sendo levadas adiante – até que se encontrem linhas gerais de orientação para capturar mensurações de impacto em alguns dos programas de direitos humanos que são mais difíceis de rastrear.40

Estágio Três: Criar comunidades de conhecimento

A parte mais negligenciada na literatura sobre mensuração de desempenho e eficácia organizacional é o importante papel que as comunidades de conhecimento podem ter. As OSCs não precisam embarcar sozinhas no esforço para a auto-avaliação. Primeiro, existem redes de acadêmicos e consultores com longa experiência em auto-avaliação tanto no terreno das organizações voltadas para o lucro como no das sem fins lucrativos, e elas podem ajudar as OSCs a pensar em grande detalhe que tipos de modelos de auto-avaliação podem ser mais adequados para elas. E, segundo, as OSCs têm muito a aprender umas com as outras. A comunicação regular e a troca de experiências entre as OSCs que estão passando pelo mesmo processo podem ser extremamente úteis, não apenas para evitar a repetição de erros, mas também para compartilhar a aprendizagem positiva que ocorre. De novo, como mencionado, fundações podem e devem desempenhar um papel importante em possibilitar essas aprendizagens. É fundamental que a comunidade de direitos humanos tenha financiadores que atuem como parceiros, não só como um doadores distantes.

07

Conclusão

A proposta de uma avaliação de impacto feita aqui se apóia em diversas justificativas. Este artigo sugere que as avaliações de impacto em direitos humanos devem ser motivadas internamente e guiadas pelo desejo de responder à questão: “O que a sua organização está tentando conseguir, e como? Como ela se encaixa no campo mais amplo das OSCs que trabalham com esse mesmo problema? A sua organização sai fortalecida no seu trabalho cotidiano pelo fato de saber como está movimentando as alavancas da mudança?”

Mais ainda, é fundamental reconceitualizar o espaço para a discussão da mensuração do impacto. Ele não deve ser alocado somente ou mesmo principalmente no âmbito das relações entre financiador e financiado. Ao contrário, a questão da avaliação de impacto é um assunto que primariamente afeta o relacionamento entre as OSCs e entre uma organização e seus componentes. A necessidade de cooperação e a responsabilidade moral de uma organização de fazer o melhor trabalho possível são com a maior freqüência os aspectos mais comumente descuidados na mensuração dos resultados.

Os vários passos propostos não são simples, nem são passos que possam ser completados num curto período de tempo. Mas colocar um processo intimidador como esse certamente não valeria a pena se o retorno esperado não fosse tão grande. O preço que está sendo pedido do movimento é um investimento de algum tempo e pensamento compartilhado dentro de um esforço conjunto – junto com a comunidade acadêmica relevante – em:

a. criar esquemas que descrevam as causas de problemas específicos de direitos humanos e discutir a força e interdependência das várias estratégias usadas para abordá-los;

b. criar um esquema de auto-avaliação da eficácia que as organizações de direitos humanos possam usar para compreender com que eficiência estão tratando os problemas que identificam como seus.

O retorno que técnicas de mensuração melhores pode trazer é nada menos do que um aumento na colaboração, um revigoramento dos membros do movimento dos direitos humanos, maior apoio por parte do financiador e aceleração da mudança social. Será que existe algum investimento de recursos e de tempo que valha mais a pena do que este?

• • •

Notas

1. Quanto a este fenômeno, primeiramente detectado e mobilizado pela Ashoka—Innovators for the Public, veja o excelente estudo de David Bornstein, How to change the world:  Social entrepreneurs and the power of new ideas, Oxford, Oxford University Press, 2004.

2. J. Shapiro. Monitoring and Evaluation Toolkit, CIVICUS, 2004, disponível em <www.civicus.org/new/media/Monitoring%20and%20Evaluation.doc>.

3. Entre os trabalhos mais recentes incluem-se: Jessica E. Sowa, Sally Coleman Selden e Jodi R. Sandfort, “No Longer Unmeasurable? A Multidimensional Integrated Model of Nonprofit Organizational Effectiveness,” Nonprofit and Voluntary Sector Quarterly,  33:4, Dez 2004, págs. 711-728; J. Cutt e V. Murray, Accountability and Effectiveness Evaluation in Non-profit Organizations, Londres, Routledge, 2000; Robert S. Kaplan, “Strategic Performance Measurement and Management in Nonprofit Organizations,” Nonprofit Management & Leadership, 11:3, abril de 2001, págs. 353-370; e Christine Letts, William P. Ryan e Allen Grossman, High Performance Nonprofit Organizations: Managing Upstream for Greater Impact, New York: John Wiley & Sons, 1999.

4. Ver Hugo Slim, “By What Authority? The Legitimacy and Accountability of Nongovernmental Organizations,” The Journal of Humanitarian Assistance, 2002.

5. A questão sobre quem é responsável pelas promessas de direitos humanos tornou-se recentemente foco de análise e debate. Ver, por exemplo, Andrew Kuper, ed., Global Responsibilities: Who Must Deliver on Human Rights?, New York, Routledge, 2005.

6. Para uma boa discussão sobre a transferência de modelos baseados no lucro para o setor não lucrativo ver Rob Paton, Jane Foot e Geoff Payne, “What Happens When Nonprofits Use Quality Models for Self-Assessment,” Nonprofit Management and Leadership 11:1, setembro 2000; e Robert S. Kaplan, op. cit., 2001.

7. A respeito da autoanálise da Hewlett Foundation, ver “Grantee Perception Report,” Center for Effective Philanthropy, 2003, disponível em . Nem todo esse interesse na comunidade de fundações tem sido produtivo. Na verdade, “as práticas de subvenção de muitas fundações na realidade minam a capacidade das organizações sem fins lucrativos desenvolverem condições para um alto desempenho sustentado”. Christine Letts, et al., op. cit.s, 1999, págs. 169-170.

8. Ver, por exemplo, a pesquisa conduzida internamente pela United Way, “Agency Experiences With Outcome Measurement: Survey Results,” United Way of America, 2000.

9. Ver Center for the Study of Global Governance (LSE) e Center for Civil Society (UCLA), Global Civil Society Report, Londres, Sage Publications, 2004; Christine Letts, et al., op. cit.; Robert Kaplan, op. cit.; e Jessica E. Sowa, et al., op. cit., págs. 711-728.

10. Jornais acadêmicos dedicados à avaliação de desempenho incluem Evaluation and Program Planning, American Journal of Evaluation, Evaluation Practice, New Directions for Program Evaluation, Educational Evaluator and Researcher, the Evaluation Exchange. A pesquisa e os textos sobre estes assuntos e tendências não foi, no entanto, traduzida, nem literalmente nem conceitualmente, para mercados de outras línguas.

11. Não foram apenas as principais empresas de consultoria em estratégia que começaram a oferecer sua assistência (geralmente pro bono) neste campo (Ver, por exemplo, o relatório da McKinsey&Co. “Effective Capacity Building in Nonprofit Organizations,” relatório preparado para a Venture Philanthropy Partners, em agosto de 2001, <http://www.vppartners.org/learning/reports/capacity>. Novas empresas surgiram nesse nicho, incluindo a Bridgespan (uma empresa derivada da empresa de consultoria Bain & Co.), a Givingworks e a New Sector Alliance.

12. Searching for Impact and Methods: NGO Evaluation Synthesis Study.  Relatório preparado para o OECD/DAC Expert Group on Evaluation.  Helsinki, 1997.

13. <http://www.pria.org/cgi-bin/index.htm>

14. Jonathan A. Fox e L. David Brown, The Struggle for Accountability: The World Bank, NGOs and Grassroots Movements (Cambridge: MIT Press, 1998) 2ff.

15. L. David Brown e Mark H. Moore, “Accountability, Strategy, and International Nongovernmental Organizations,” Nonprofit and Voluntary Sector Quarterly 30.3 (2001): 569-587. Ver também Tina Wallace, Standardising Development (Oxford: Worldview, 1997).

16. Margaret Gibelman, Sheldon R. Gelman, “Very Public Scandals: Nongovernmental Organizations in Trouble,” Voluntas: International Journal of Voluntary and Nonprofit Organizations, Vol. 12, No. 1 (2001).

17. Os últimos anos da década de 1990 testemunharam uma intensa atividade entre as organizações humanitárias a respeito dessa questão, o que produziu várias iniciativas internacionais de grande âmbito voltadas para criar um código de conduta (SPHERE, ver ), padrões de responsabilização, (HAP—Humanitarian Accountability Project) e redes de aprendizagem profissional (ALNAP, Active Learning Network). Ver Dorothea Hilhorst, Wageningen University, “Being Good at Doing Good? “Review of Debates and Initiatives Concerning the Quality of Humanitarian Assistance”, paper apresentado na conferência internacional de trabalho do Ministro das Relações Exteriores da Holanda sobre a melhoria da qualidade da assistência humanitária, em 12 de outubro de 2001.

18. Ver Nancy Thede, “Human Rights and Statistics: Some Reflections on the no-Man’s Land between Concept and Indicator”,  Statistical Journal of the United Nations ECE 18 (2001) 269-70.

10. O International Council on Human Rights Policy, sediado em Genebra, conduziu dois grandes esforços de pesquisa sobre a questão da mensuração e da responsabilidade nessa área, com um relutante envolvimento das OSCs (entrevista com Mike Dotteridge, 10 de março de 2005). O Centro para as Vítimas de Tortura desenvolveu um programa de “Novas Táticas” objetivando reunir e compartilhar idéias para abordagens ‘bem sucedidas’ a desafios específicos no campo dos Direitos Humanos, incluindo apenas um exemplo de técnicas de avaliação internas (DANIDA). Ver e .

20. A Anistia Internacional, por exemplo, está empreendendo um grande esforço para estabelecer uma abordagem para a avaliação do impacto. Veja relatório interno: AI²: Assessing AI’s impact for Human Rights, 2005.

21. Ver, por exemplo, os debates internos na Oxfam and Amnesty, conforme discutidos em Claude E. Welch, NGOs and Human Rights:  Promise and Performance (Philadelphia, 2000)

22. Para uma análise de alguns desses obstáculos ver Christine Letts et al. 32-35.

23. A maior rede de empreendedores sociais de destaque, Ashoka, coloca grande ênfase nessas qualidades individuais em seu processo de seleção e então mapeia o impacto analisando o alcance da idéia, considerando quantas organizações têm replicado a idéia e se ela afetou a política nacional. Ver <www.ashoka.org/global/measuring.cfm>.

24. Uma exceção a isso é o campo de apoio a indivíduos destacados, defensores dos direitos humanos e empreendedores sociais. Por exemplo, a Ashoka, a Reebok e a RFK Memorial Foundation todas elas se associam com seus colegas e patrocinados para trabalhar nessas questões.

25. Algumas das raras exceções a isso são as “ferramentas” fornecidas pela Civicus para as OSCs (), e uma publicação conjunta focada na sociedade civil produzida pela McKinsey & Co. e pela Ashoka em Planejamento de Negócios, que inclui seções sobre mensuração e administração de desempenho e foi publicada em espanhol e português.  Ver McKinsey & Co. e Ashoka, Empreendimentos Sociais Sustentáveis – Como elaborar planos de negócio para Organizações da Sociedade Civil (São Paulo: Peiropolis, 2001).

26. Alguns desses fatores estão listados numa apresentação da doutora Linda Kelly, “International Advocacy: Measuring Performance and Effectiveness,” paper apresentado na conferência da Australian Evaluation Society International em 2002, outubro/novembro de 2002.

27. Alan Fowler, “Assessing Development Impact and Organizational performance,” em Alan Fowler, Striking a Balance (Earthscan: Londres, 1997).

28. Entrevista com Mike Dottridge, 8 de março de 2005.

29. Hugo Slim, “By What Authority” 109.

30. Ver, por exemplo, o trabalho feito pelos membros da Ashoka na questão do tráfico humano: .

31. Ver, por exemplo, o elaborado esforço da coalizão Keystone (formerly ACCESS) no sentido de criar padrões de relatório para organizações sem fins lucrativos em todo o mundo, a fim de tornar a eficácia das organizações mais comparável para os potenciais investidores. Ver <http://www.accountability.org.uk>.

32. Já existem alguns compêndios de ferramentas analíticas e modelos, destacando uma ampla série de listas de diagnóstico e esquemas elaborados, alguns deles parecendo enormes teias de aranha, outros parecendo um sistema de desvios de uma estação ferroviária, outros ainda apresentados como cubos tridimensionais. Ver, por exemplo, P.F. Drucker, The Drucker Foundation Self-Assessment Tool: Participant’s Workbook (São Francisco: Jossey-Bass, 1998); James Cutt e Vic Murray: Accountability and Effectiveness Evaluation in Non-Profit Organizations(Londres/NY: Routledge, 2000).

33. Esse esquema aparece em diversas formas, incluindo o “triângulo estratégico” descrito por Mark H. Moore, Creating Public Value (Cambridge: Harvard University Press, 1996), e o “modelo de três círculos: valor, capacidade e apoio” descrito em Herman B. “Dutch” Leonard, “A Short Note on Public Sector Strategy-Building”, Kennedy School of Government research report/working paper, 2002.

34. Devo esse termo a S. “Dutch” Leonard.

35. Esse argumento foi defendido com ênfase particular por John C. Sawhill e David Williamson, “Mission Impossible? Measuring Success in Nonprofit Organizations,” Nonprofit Management and Leadership (Spring 2001).

36. O tempo médio de implementação está citado num estudo como exigindo de 3 anos e meio. Rob Paton, Jane Foot e Geoff Payne, “What Happens When Nonprofits Use Quality Models for Self-Assessment?”  Nonprofit Management & Leadership 11:1 (outubro de 2000).

37. Para um exemplo de uma tentativa global de encorajar maior mobilização de recursos baseada nos cidadãos ver, uma iniciativa conduzida pela Ashoka and Changemakers.

38. Para um recente e muito abrangente compêndio de pesquisa em sistemas de avaliação de desempenho ver Wholey, Joseph et al, Handbook of Practical Program Evaluation, (São Francisco, 2004).

39. Essa análise também recebeu uma variedade de nomes, de “esquema lógico” a uma “teoria da mudança”. Existem muitos esquemas voltados para suavizar esses processos de conectar atividades a uma missão por meio de série de estágios e de criar indicadores correspondentes. Entre os mais populares estão o “Modelo da teoria da mudança” (Frumkin) e o modelo “Logframe” (isto é, logical framework). Sobre o modelo da teoria da mudança ver Peter Frumkin, On Being Nonprofit: A Conceptual and Policy Primer. Harvard University Press, 2002. O “logframe”, ou modelo logic frame (que foi inicialmente desenvolvido pela USAID), ele se tornou crescentemente popular entre fundações, que estimulam seus donatários a mapear seu trabalho seguindo esse esquema. Como tal, ele permaneceu não como um processo motivado internamente, mas como um processo impulsionado pelo financiador e que não provê o necessário nível de envolvimento institucional e saber. Isso é discutido exaustivamente no primeiro capítulo de Wholey et alii (op. cit., 2002)

40. Dois dos mais ambiciosos esforços internacionais de mensuração do impacto que estão atualmente em curso são o Carr Center for Human Rights Policy’s Measurement and Human Rights program, ver <www.ksg.Harvard.edu/cchrp>> e o OECD’s Metagora Project, ver .

Fernande Raine

É diretora-executiva do Carr Center for Human Rights Policy, da Kennedy School of Government, Universidade de Harvard. Trabalhou anteriormente com a Ashoka – Innovators for the Public, lançando programas na Alemanha e na França. Fernande foi consultora da McKinsey&Co e completou seu Ph.D. em História na Universidade de Yale.

Original em inglês. Traduzido por Luís Reyes Gil.