Rapport d’échec 1.0

On January 14, 2012 With No Comments Permanent Link to Rapport d’échec 1.0Permalink
Chez Peace Dividend Trust (PDT), nous déballons nos rapports d’échecs. J’avais commencé à en rédiger les grandes lignes pour que le personnel puisse y ajouter ses contributions, puis je me suis ravisé; l’échec part d’en haut. Avant de demander à mon personnel d’écrire quoi que ce soit, j’ai senti que c’était d’abord à moi de faire aller ma plume. J’ai donc dressé une liste de tout ce que PDT fait de travers, vu de 30 000 pieds au dessus, et je l’ai partagée avec Jennifer (notre directrice adjointe) et quelques autres gestionnaires qui y sont allés de leurs ajouts. Puis, j’ai envoyé à toute l’équipe de PDT la lettre qui suit. Nos prochains rapports, eux, mettront l’accent sur nos problèmes opérationnels et incluront un volet approfondissant les solutions proposées, mais voilà déjà un point de départ.

CulturalRevolution.StruggleSession

Rapport d’échec 1.0

Chère collègue,
Cher collègue,

Comme mentionné dans ma précédente correspondance ce mois ci, PDT produira, au début de l’an prochain, un rapport des échecs à l’échelle de l’organisation selon les modèles fournis par Ingénieurs sans frontières. Nous en sommes encore à affiner les directives. Nous inspirant de Cornell West qui se questionnait à savoir, lorsque c’était un échec, s’il était réussi, nous cherchons à établir un modèle qui se concentre sur l’apprentissage par l’erreur. C’est donc dans l’optique d’échouer en beauté que j’ai décidé de rédiger notre premier rapport du point de vue de la direction de PDT.

Portez une attention à cet avertissement crucial : Les échecs dont fait état se rapport ne sont pas ceux du personnel de PDT; ils sont plutôt l’œuvre de notre administration générale, c’est à dire moi, Jennifer, et les autres membres de la direction. Nos gens sur le terrain accomplissent un travail incroyable, et ce, dans des conditions difficiles et souvent dangereuses. Chacune des lacunes mentionnées est le résultat d’une décision ou d’une directive reçue de personnes placées au sommet de l’organigramme de l’organisation.

  1. Nous décernons le premier prix des échecs aux projets de Peace Dividend Marketplace, une organisation qui a acheminé des économies dépassant 600 000 $ en Afghanistan, à Haïti et à Timor. Cette stratégie présente deux problèmes. D’abord, nous n’avons strictement aucune idée de la part de ce montant qui aurait été investie dans l’économie locale, n’eût été notre intervention. Pour certains projets, sans avoir redirigé les fonds, nous en avons accéléré la dépense sur le marché international. À titre d’exemple, là où les donateurs auraient mis plusieurs mois avant de trouver un vendeur local, nous les avons aidés à le faire en quelques semaines. Ces deux démarches ont été bénéfiques sur le plan économique, mais puisque l’on ne peut distinguer les bienfaits de l’une ou l’autre, il est difficile d’évaluer l’impact réel de ces projets. Cela n’est donc pas suffisant. Dorénavant, il nous faudra implanter, dans notre système de pistage de résultats, une nouvelle composante qui tiendra compte de la nature des contrats octroyés.
  2. Toujours dans la veine des échecs de nos projets de cybermarché, nous suivons l’impact économique brut des dépenses à l’étranger plutôt que de suivre leur impact net. Il va sans dire, dépenser 1 000 000 $ d’argent de dons pour acheter du mobilier chinois d’un vendeur kaboulien, ce n’est pas comme dépenser cet argent pour acheter des légumes chez un fermier local à Helmand. Il y a fort à parier que, des deux transactions, la dernière aura un impact économique plus important. Elle entraînera la création d’emplois supplémentaires, et peut être même une augmentation des revenus d’impôt et du produit intérieur brut. Cependant, nous n’avons aucun moyen de mesurer avec précision les effets directs de dépenses locales accrues; par ailleurs, l’approche selon la valeur brute en dollars manque de précision. Elle déforme l’évaluation des bénéfices économiques réels de nos activités et peut entraîner la priorisation de montants importants n’ayant qu’un faible impact local; de plus, cette approche ne crée absolument aucun emploi. Par ailleurs, il nous est tout à fait impossible de prévoir les impacts qui nous permettront de diriger efficacement les activités du projet. Il nous faudra faire beaucoup mieux. Forts de l’expansion de notre équipe d’économistes, Jennifer et moi nous sommes mandés pour mettre au point une méthodologie d’analyse qui pourra ensuite être étendue à nos autres programmes variés dans ce pays. .
  3. Comme nous le mentionnons déjà aux points 1 et 2 ci dessus, nous n’évaluons tout simplement pas suffisamment l’impact de nos projets. Bien sûr, nous pourrions aisément en jeter le blâme sur les donateurs, dont la plupart n’ont pour seul souci que l’évaluation des processus tels le rendement du budget, le nombre de sessions de formation, etc. Cependant, PDT est ardemment convaincu que des données précises influeront l’impact des projets. Il nous faut donc concentrer davantage nos ressources sur celles ci, ce qui nous permettra de faire la preuve que certains de nos projets ont réellement produit des résultats remarquables en matière de réduction de la pauvreté ou de création d’emploi, et que d’autres n’en valent tout simplement pas la peine (ce qui entraînera la dissolution de ces projets pour mettre nos énergies autre part). En ce qui concerne nos nouveaux projets, nous y intégrerons, dans les ententes de contribution, des activités pour en mesurer l’impact et des dispositions assurant qu’il soit d’abord jugé selon ces paramètres.
  4. Notre stratégie de financement, qui est possiblement notre échec capital. Nous sommes devenus beaucoup trop dépendants des organismes d’aide gouvernementaux, ce qui a eu pour effet de nous ralentir et de complexifier notre processus. Notre marge de manœuvre avec les « fonds sans restriction », l’argent que nous pouvons dépenser pour développer et tester de nouvelles idées, est très mince. Nous aurions dû nous pencher davantage sur cet aspect, et le faire bien avant aujourd’hui. J’aurais dû tirer profit de la bonne presse que nous avons eue pour la convertir en soutien financier. D’ailleurs, ce n’est qu’au cours des douze derniers mois que nous avons entamé notre processus de recherche de fonds privés! Lors du premier trimestre de 2011, nous procéderons à l’embauche d’un directeur du développement qui travaillera directement avec moi pour réévaluer l’ensemble de notre stratégie et de nos modes de financement.
  5. Nous avons ignoré les leçons apprises par d’autres. Plusieurs des « nouvelles idées » que PDT développe n’en sont pas vraiment. Quelqu’un d’autre dans l’industrie de l’aide les a déjà imaginées et essayées ailleurs. Il nous faut redoubler d’ardeur pour découvrir des idées innovatrices; ceci nous permettra : a) d’en accorder le crédit lorsque ce doit être fait, b) de concentrer nos précieuses ressources sur des idées réellement nouvelles, et enfin c) de bâtir sur l’expérience des autres pour raffiner ces concepts ou les innover. Comment remédier à cela? Entre autres, en augmentant la curiosité et le dynamisme dont nous faisons preuve dans notre recherche. Il est également possible que Jennifer et moi placions, quelque part dans la zone d’entraînement de New York, une enseigne géante affichant le message « Génial, comme idée. Maintenant, découvrons qui y a pensé le premier. »
  6. Nous avons perdu un temps très précieux (et avons gaspillé des fonds facilement accessibles de nos donateurs) à mesurer l’« impact économique de l’aide ». Il y a 5 ans, lorsque le projet d’impact économique du maintien de la paix avait démontré que seule une infime partie des dépenses internationales était injectée dans l’économie locale, ce travail était important, utile et révélateur. Maintenant, cependant, ce n’est plus nouveau. Ce n’est plus surprenant. Et l’on peut aisément extrapoler, à partir des données recueillies au Libéria en 2007, afin d’estimer l’impact de donateurs dans tel pays en 2010. Toutefois, les donateurs continuent à offrir de payer pour d’autres études; c’est pourquoi nous continuons à en faire. Nous devons mettre fin à cette pratique. Après tout, les nouvelles études permettent rarement d’augmenter l’efficacité de l’aide. Certains de ces projets ne font déjà plus partie de notre fonctionnement. À compter de maintenant, nous nous assurerons que les nouveaux projets d’analyses économiques feront progresser la recherche de façon évidente.
  7. Notre mécanisme d’embauche prend vraiment du retard. Soyons honnêtes; notre organisme a quand même doublé en importance presque tous les ans depuis 6 ans; cela génère de la pression sur nos processus administratifs. Toutefois, si nous voulons conserver dans notre équipe nos honnêtes gens et trouver d’autres personnes comme elles, il nous faudra trouver comment répondre aux besoins de notre équipe PDT de façon rapide, efficace et innovatrice. (Notre département de ressources humaines ne peut rien à cela; il nous supplie déjà de lui fournir davantage de ressources, et je lui promets de les trouver!) Au cours de l’année à venir, nous évaluerons de nouvelles structures de soutien pour les équipes sur le terrain et un budget pour permettre aux ressources humaines d’augmenter leurs effectifs.
  8. Les efforts de communication de PDT sont réellement vraiment pénibles. Avez vous visité notre site Web? Ou encore, remarqué que nous en avions plusieurs? Et c’est sans parler de notre documentation imprimée. Nous avons passé tant de temps sur les accomplissements du directeur senior (c’est à dire moi) que nous en avons totalement oublié l’aspect « dire et se faire porte parole ». Il va de soi que notre personnel assigné au projet est frustré par cette lacune, et que cette frustration ne fait que s’accentuer parce nous continuons de promettre de réparer cet oubli. Ce n’est pas seulement d’un plan dont il a besoin, mais aussi un message clair et une l’aide de l’organisation pour livrer ce message. Il faudrait plus d’une phrase pour expliquer comment remédier à tout cela. Dès le début de l’année à venir, notre nouveau directeur des communications acheminera un plan détaillé qui expliquera non seulement comment pour remédier à ce problème, mais également comment implanter une nouvelle approche innovatrice pour les communications.
  9. Nous avons la critique trop rapide envers les autres. Hier, par exemple, j’ai été lamentable envers Bob Geldoff dans une entrevue journalistique (désolé, Bob, on t’adore). Si c’est vrai que certains dans l’industrie de l’aide méritent de recevoir toutes les critiques qu’on formule à leur égard, dans certains cas, des facteurs complexes imposés obligent les gestionnaires de projets, les OGN et les donateurs à se comporter comme ils le font. Il nous faut savoir reconnaître cela, modérer nos critiques envers les organisations pour plutôt nous limiter à blâmer les conditions et les normes répandues dans l’industrie qui, non seulement acceptent les échecs, mais, dans certains cas, l’encouragent. Honnêtement, je ne sais pas si nous pouvons améliorer ce point. Mais si, au moins, nous nous critiquons aussi vite que nous critiquons les autres, cela sera peut être acceptable.
  10. Cela peut paraître incroyable, mais nous ne disposons de pratiquement aucun système de gestion des connaissances. Notre organisation est pourvue d’un système intranet où sont archivés les documents importants, mais ce système est défaillant. Nous nous évertuons à parler de l’importance pour l’industrie de l’aide et les Nations Unies de saisir ce à quoi Donald Rumsfeld réfère comme les « connaissances connues » , mais nous avons systématiquement échoué dans la tâche de saisir nos propres connaissances. Ce n’est rien pour simplifier la tâche à nos chargés de projets, qui doivent souvent trouver une solution sans pouvoir tirer profit des connaissances d’un autre membre de PDT qui, deux ans plus tôt, a fait exactement la même chose dans le même projet. Afin de remédier à cela, Jennifer et moi entretiendrons notre équipe de la technologie de l’information et aux autres afin de bien définir nos besoins; nous vous proposerons ensuite des solutions.
  11. Toujours en lien avec notre échec précédent, PDT a été d’une hypocrisie embarrassante en demandant à ce que soient implantées, dans l’industrie de l’aide, des réformes qu’elle n’avait pas elle même implantées dans son organisation, dont voici deux exemples. Pendant des années, nous avons invoqué que l’industrie de l’aide devait mettre en place un système de bonus afin de récompenser l’excellence et d’encourager l’innovation. Également, nous avons essayé de convaincre les Nations Unies de créer de nouveaux programmes de reconnaissance afin de souligner les bonnes pratiques de leur personnel sur le terrain. Ces deux suggestions, toutefois, PDT avait tenté d’en faire l’implantation dans sa propre organisation, et cela avait échoué. Par ailleurs, je désire revenir sur les points 1 à 3 ci dessus : certes, nous demandons une augmentation du nombre de données et d’analyses, mais nous n’en faisons pas suffisamment nous mêmes. Comment remédier à cela? Par une prise de conscience de soi. Gardons à l’esprit que PDT augmentera de volume, et alors, on démontrera autant de minutie dans notre examen que nous l’avons fait pour d’autres. Également, voyons un examen comme l’occasion non seulement de promouvoir l’innovation, mais aussi de la démontrer.

Nous accueillerons chaleureusement tous vos commentaires, et espérons avoir le plaisir de travailler avec vous pour remédier à ces échecs dans l’année à venir.

Scott

On January 12, 2012 With 2 Comments Permanent Link to Failure Report 1.0Permalink
We’re rolling out Failure Reports at PDT. I began drafting the guidelines for staff to draft their contributions, and then stopped and decided failure starts at the top. Therefore, before asking them to write something, I opted to get the ball rolling myself.  I made a list of what PDT’s doing wrong as viewed from the 30,000′ level and I shared it with Jennifer (our Deputy Director) and a few of the managers who added some more items. Then I sent the letter below to the PDT team.  Our next reports will be more focused on operational problems with a strong focus on proposed solutions. But, it’s a start.

CulturalRevolution.StruggleSession

Failure Report 1.0

Dear Colleagues:

As I wrote earlier this month, PDT will be issuing an organization-wide failure report early next year along the lines of those provided by Engineers Without Borders.  We are still refining the guidelines.  Inspired by Cornell West, who asked “Yes it’s failure, but how good a failure?, we want a template that focuses on learning from these mistakes. So, in the spirit of failing well, I’ve chosen to draft our first report from the perspective of PDT’s management.

Please note this important disclaimer: The failures listed in this report don’t belong to the PDT staff. They belong to me and Jennifer and the rest of the leadership at HQ.  Our people in the field do amazing work under difficult and often dangerous conditions.  Each of the shortcomings listed is due to decisions or direction that came from the people at the top of the org chart.

  1. Our biggest accolades come for our Peace Dividend Marketplace projects that have redirected over $600m into the economies of Afghanistan, Haiti, and Timor. There are two problems with this. First, we really don’t know how much of that would have been spent in the local economies without our intervention. In some cases, we have not redirected, but accelerated international spending. For example, the donors would have spent several months trying to find a local vendor, but we helped them find it in a couple of weeks. Both outcomes are economically beneficial, but without being able to accurately distinguish the two it is very hard to measure the actual impact of these projects. This isn’t good enough.  Going forward, we need to implement a new component to our results tracking systems that also looks at the nature of the contracts being tendered.
  2. The second problem with our Marketplace projects is that we track the gross economic impact of foreign spending, instead of the net impact. As you all know, $1m of donor money spent buying Chinese desks from a Kabul vendor is not the same as $1m spent in Helmand buying vegetables from a local farmer. Frankly, the latter will probably have a bigger economic impact than the former. It will create more jobs, and possibly even greater tax revenue and GDP growth. But we don’t have a grip on how to accurately analyze the direct effects of increased local spending, and the gross dollar figure approach is too crude. It distorts how we measure the true economic benefit of our activities, and it leads to prioritizing large dollar value spending that may have very low local benefit, and it entirely ignores job creation. Furthermore, we definitely can’t predict impact in advance that would allow us to efficiently focus the project activities.  We need to be far better at this. With the expansion of our Economist team, Jennifer and I have asked that we develop a methodology for this analysis and that it be rolled out across our various country programs.
  3. Related to 1 & 2 above, we don’t do nearly enough impact measurement. It would be easy to blame the donors here, since for the most part they only care that we measure process: Budget performance, number of training sessions held, etc. But PDT believes passionately in enhancing impact through better data. We need to focus more of our resources on this. If we did, we could show that some of our projects are indeed producing remarkable results in terms of poverty reduction or job creation, but that others are simply not worth the effort (and then cut those projects to work elsewhere.)  For new projects, we will write into the contribution agreements impact measurement activities and clauses to ensure that the project will be primarily judged on those metrics.
  4. Perhaps one of our biggest failures is our fundraising strategy. We have grown far too dependent on government donor agencies. This has slowed us down and made us more process driven.  Our “unrestricted funding”, the money we can spend on finding and testing new ideas, is tiny. We should have been focusing on this far more, far earlier. With all the good press we’ve gotten, I should have been working far harder on turning that into financial support. In reality, we only started looking for private funders in the last 12 months! In the first quarter of 2011 we will be hiring a Development Director who will work directly with me to review and overhaul our funding strategy and activities.
  5. We’ve ignored the lessons learned by others. A lot of the “new ideas” that PDT develops aren’t actually new. Someone else in the aid industry thought of it before and tried it elsewhere. We need to put far more energy into ferreting this out. It will allow us to a) give credit where credit is due, b) focus our precious resources on genuinely new ideas, and c) build on the experience of others to fine tune or further innovate these concepts.  How can we fix this? Partly we need to be more curious and more energetic in our research.  Jennifer and I may also put up a big sign in the New York bullpen that reads “Great idea. Now find out who thought of it first.”
  6. We have wasted far too much time (and readily available donor money), measuring the “economic impact of aid”. That work was important and useful and groundbreaking 5 years ago when the Economic Impact of Peacekeeping initiative showed that only a small fraction of international spending was going into the local economy. But now, it’s not new. It’s not surprising. And it’s very safe to extrapolate the data collected in Liberia in 2007 to estimate the donor footprint in country x in 2010. But the donors keep offering to pay for another study, so we keep doing it. We need to stop. Aid is rarely made more effective by the production of yet another study.  We’ve already cut some of these projects out of our pipeline. Going forward, we will ensure that new economic analysis projects clearly move the research forward in obvious ways.
  7. Our staffing systems are really lagging. To be fair, we’ve doubled in size almost every year over the last 6 years. This creates strains on our administrative processes. But still, if we want to keep our good people, and find more people like them, we need to be faster, smarter, and better on how we look after the PDT team. (This isn’t the fault of our HR team. They’ve been crying for more resources to do this, and I promise I’ll find them!) In the new year we will look at some new support structures for field teams and budget for additional resources in the HR unit.
  8. PDT’s communications efforts are terrible, I mean truly painfully awful. Have you seen our website? Or noticed that we have multiple websites? Our print material is even worse. We’ve spent so much time focused on the “doing” senior leadership (i.e. me) has totally forgotten about the “telling and advocating”.  Our project staff are understandably frustrated by this, and even more frustrated because we keep promising to fix this.  They need not only a plan, but a clear message, and assistance from HQ on how to deliver it.  The fix for this can’t be summarized in a sentence. Early in the new year our new Communications Director will be circulating a detailed plan for not just fixing this problem but for implementing an aggressively innovative new approach for comms.
  9. We are too quick to criticize others. For example, just yesterday I took a cheap shot at Bob Geldoff in a newspaper interview (sorry Bob, we love you). I agree that some folks in the aid industry deserve all the criticism we can shovel on them. But in more cases there are complex and intractable reasons why projects, NGOs, and donors behave the way they do. We need recognize this, and be far less eager to blame the entities, but rather we should blame the industry wide conditions and norms that not only tolerate failure, but in some cases encourage it.  To be frank, I’m not sure if we’re going to get better at this. But, perhaps, if we are quick to criticize ourselves it won’t seem quite so bad.
  10. Unbelievably, we have almost no Knowledge Management system. We have a shared intranet, where important documents are stored, but nothing that actually functions well. While we rail about the importance of the aid industry and the UN capturing what Donald Rumsfeld called the “known knowns”, we have failed to systematically capture our own knowledge. This makes it especially hard on our project staff who often are forced to “figure it out” without the benefit of knowing that another PDT staffer did exactly that, in the same project, 2 years earlier. Jennifer and I will be talking to you, our IT team, and others to first determine the scope of our needs, and then to propose some solutions.
  11. Related to the previous failure, PDT has been embarrassingly hypocritical in demanding reforms in the aid industry that we haven’t implemented ourselves. Here are just two examples. We’ve argued for years that the aid industry should bring in performance bonuses to reward excellence and encourage innovation. We also have tried to convince the UN to offer more staff recognition awards to highlight the best practices of their field staff. But in both cases, PDT has planned but failed to roll out similar programs internally. And refer back to items 1 through 3 above. We demand more data and analysis, but we don’t do enough of it ourselves.  How do we fix this? By being more self-aware. By reminding ourselves that as we grow, we will draw the same scrutiny we apply to others. And by using that scrutiny as an opportunity to not only advocate for innovation, but also demonstrate innovation.

We welcome your comments and look forward to working with you to fix these failures in the year ahead.

Sincerely,
Scott