Impact M+E Venro DT

prüfen und lernen
Praxisorientierte Handreichung zur

Wirkungsbeobachtung und Evaluation
Impressum
Impressum
Herausgeber: VENRO-Geschäftsstelle
Kaiserstr. 201
53113 Bonn
Tel: +49-(0)2 28 - 9 46 77 - 0
Fax: +49-(0)2 28 - 9 46 77 – 99
Email: [email protected]
http://www.venro.org
Der Verband Entwicklungspolitik deutscher Nichtregierungsorganisationen e.V. (VENRO)

Ist ein freiwilliger Zusammenschluss von rund 100 deutschen Nichtregierungsorganisationen
(NRO), von denen die meisten bundesweit tätig sind. Lokale Initiativen sind im VENRO durch die
NRO-Landesnetzwerke repräsentiert, die ebenfalls VENRO-Mitglieder sind.
Die VENRO-Mitglieder sind private und kirchliche Träger der Entwicklungszusammenarbeit, der
Nothilfe sowie der entwicklungspolitischen Bildungs-, Öffentlichkeits- und Lobbyarbeit.
Autor:
Dr. Eberhard Gohl
Redaktion:
Marc Wiemann
Presserechtlich verantwortlich:
Dr. Ulla Mikota, Geschäftsführerin
Oktober 2002
2
Inhaltsverzeichnis
Inhaltsverzeichnis
1. Was vor der Erfolgskontrolle zu klären ist 4

1.1 Akteure des Projektes 4
1.2 Formulierung von Problemen und deren Indikatoren 6
1.3 Klärung und Formulierung von Zielen und deren Indikatoren 9
1.4 Klärung von Aktivitäten und Budget 12
1.5 Klärung von Rahmenbedingungen und Risiken 15
1.6 Berichtswesen 17
1.7 Zuständigkeiten für Erfolgskontrolle und Management-Entscheidungen 18
1.8 Projektvereinbarungen und Begleitung 19
2. Wirkungsbeobachtung 29
2.1 Wozu dient die Wirkungsbeobachtung? 29
2.2 Was wird beobachtet? 31
2.3 Wer beobachet? 35
2.4 Wann (und wie oft) wird beobachtet? 36
2.5 Wie wird dokumentiert? 37
2.6 Wer hält den Spiegel vor? 41
2.7 Wem wird berichtet? 42
2.8 Wie werden die Berichte ausgewertet? Wer entscheidet über die Konsequenzen? 43
3. Evaluation 51
3.1 Wozu dient die Evaluation? 51
3.2 Was wird evaluiert? 54
3.3 Wer evaluiert? 58
3.4 Wann (und wie oft) wird evaluiert? 60
3.5 Wie wird dokumentiert? 61
3.6 Wer prüft gegen? 62
3.7 Wem wird berichtet? 62
3.8 Wie werden die Berichte ausgewertet? Wer entscheidet über die Konsequenzen? 63
4. Glossar 75
5. Weiterführende Literatur 76
3
Vorwort
Vorwort
Mit begrenzten Mitteln eine möglichst optimale Wirkung erzielen. Dieses Ziel ist allen
entwicklungspolitischen Nichtregierungsorganisationen in ihrer Projektarbeit grundsätzlich
gemein, unabhängig von ihrer Größe, ihren finanziellen Mitteln oder ihren sektoralen und
regionalen Schwerpunkten. Die Praxis sieht natürlich viel komplizierter aus. Wie muss ein Projekt
konzipiert und durchgeführt werden, um mit möglichst geringem finanziellen Input einen
optimalen "impact" (Wirkung) zu erzielen? Welches Know-how, welche Ressourcen, welche
Instrumente werden gebraucht und ist es überhaupt möglich, gewünschte Wirkungen, aber auch
nichterwünschte Nebenwirkungen zu messen? "Machen wir das Richtige?" Mit der guten Absicht
allein ist es also nicht getan. Sowohl von Seiten der Politik, wie natürlich auch von Seiten der
Spender und Spenderinnen werden die NRO immer drängender mit diesen Fragen konfrontiert.
Wie gut ist die Arbeit der NRO wirklich und wird die berühmte Spendermark auch wirklich
optimal eingesetzt?
Als Reaktion auf diese Anfragen, aber auch aufgrund eigener Erfahrungen und Erkenntnisse ist der
Ruf nach "mehr Professionalisierung" zu einer der zentralen Herausforderungen bei den
entwicklungspolitischen NRO geworden. Einige der großen Hilfsorganisationen haben bereits
eigene Evaluierungsabteilungen eingerichtet, Workshops zu diesem Thema finden großen
Zuspruch. Auf einem solchen Workshop, der im Juni 1998 von der Karl Kübel-Stiftung
durchgeführt wurde, ist auch die Idee zu der vorliegenden Handreichung entstanden. VENRO
wurde aufgefordert ein Nachschlagewerk zu erarbeiten, das in übersichtlicher Form
praxisorientierte Hilfestellung vor allem für mittlere und kleinere Organisationen bereitstellt. Dabei
war allen Beteiligten klar, dass auch diese Handreichung nur ein Teil des Lernprozesses und der
Auseinandersetzung mit einer möglichst optimalen Form der Projektplanung, der Partizipation der
Projektpartner, der Projektsteuerung, Wirkungsbeobachtung und der Evaluation ist. Der
vorliegende Text versteht sich also weder als Patentrezept noch als der Weisheit letzter Schluss,
sondern vor allem als Grundlage für die weitere Diskussion zu dieser Fragestellung. Kommentare
und Anregungen zur Handreichung sind ausdrücklich erwünscht.
Ganz herzlich danken möchte ich an dieser Stelle dem Autor der Handreichung, Dr. Eberhard Gohl,
für die Bereitschaft, seine vielfältigen Praxiserfahrungen in möglichst "appetitanregenden und
verdaulichen Häppchen" zu verarbeiten. Ebenso gilt der Dank der Kübel-Stiftung, die sich in dem
gesamten Diskussionsprozess zu "Wirkungsbeobachtung und Evaluation" entwicklungspolitischer
Projektarbeit mit mehreren Workshops in besonderer Weise engagiert hat. Finanziell ermöglicht
wurde die Handreichung durch den Nachlass des Bensheimer Kreises, der sein Restvermögen
ausdrücklich für dieses Projekt zur Verfügung gestellt hat.
Dr. Reinhard Hermle
Vorstandsvorsitzender
4
Zum Autor
Zum Autor
Dr. Eberhard Gohl arbeitet als systemischer Berater, Moderator bei organisatorischen
Veränderungsprozessen, insbesondere bei der Gestaltung von lernenden Organisationen.
Er war maßgeblich am Aufbau des Finanz- und Wirkungs-Controllings bei Brot für die Welt
beteiligt.
Mit Dorsi Germann veröffentlichte er eine reich illustrierte Handreichung zum Thema
"Participartory Impact Monitoring" zur wirkungsorientierten Steuerung von Projekten mit starker
Basisbeteiligung, als Ergänzung und Alternative zur zielorientierten Projektplanung.
5
Einleitung
Einleitung
Die Handreichung "Wirkungsbeobachtung und Evaluation" soll Projektsachbearbeitern und

-sachbearbeiterinnen von NROs, die in der entwicklungspolitischen Projektförderung tätig sind,
befähigen, Wirkungen der von ihnen geförderten Projekte zu ermitteln. Dazu wird beschrieben, wie
laufende Erfolgskontrolle in Form von Wirkungsbeobachtung und Evaluation organisiert werden
kann.
Die Weichen für eine effiziente Wirkungsbeobachtung und für eine fruchtbare Projektevaluation
werden bereits vor Projektbeginn gestellt: Monitoring und Evaluation müssen geplant und in die
Projektdurchführung eingebaut sein. Um sinnvolle Aussagen über Wirkungen mit relativ geringem
Aufwand zu erhalten, müssen wesentliche Dinge bereits bei Projektbeginn vereinbart und
umgesetzt werden. Damit eine Evaluation nicht als Strafaktion empfunden (und durchgeführt) wird,
muss der Rahmen dazu von Anfang an klar sein.
idealerweise sollte darum eine Handreichung zur Ermittlung von Wirkungen auch die Schritte
Projektentstehung, Planungsdokumentation, Antragsprüfung, Projektvereinbarung,
Projektbegleitung und Berichtswesen beinhalten. Allerdings würde eine grundsätzliche Darstellung
des entwicklungspolitischen Projektmanagements den Rahmen einer Handreichung sprengen.
Die Fokussierung dieser Handreichung auf Wirkungsbeobachtung und Evaluation, die ja erst im
Verlauf oder am Ende des Projektzyklus durchgeführt werden, lässt nur kurze Hinweise auf die
vorhergehenden Schritte der Projektbearbeitung zu. Wir versuchen im folgenden, die Planung von
Wirkungsbeobachtung und Evaluation einzubeziehen, ohne jedoch die gesamte planvolle
Projektbearbeitung durch eine entwicklungspolitische NRO oder gar das Thema Projektplanung
des nationalen Partners zu vertiefen.
Die Handreichung vermittelt die Zusammenhänge und die Fachterminologie in leicht
verständlicher Sprache; dazu wird ein durchgängiges Fallbeispiel verwendet. Für
Unterrichtszwecke sind zu wichtigen Zusammenhängen und Begriffen Vorlagen für
Overhead-Folien oder Umdrucke am Ende eines jeden Kapitels enthalten.
6
1. Was vor der Erfolgskontrolle zu klären ist

1.1 Akteure des Projekts
Bei allen Bemühungen um Konsens, bei allem ehrlichen Willen zum partizipativen Vorgehen: wir
müssen uns im klaren sein, dass es völlig normal ist, dass es in einem entwicklungspolitischen
Projekt unterschiedliche Akteure mit unterschiedlichen Interessenlagen gibt. Die drei
Hauptgruppen bei Entwicklungsprojekten sind
• die Basisorganisation
• die Entwicklungsorganisation
• die Förderorganisation
Mit Basisorganisation ist die Organisationsform der Adressaten des Projekts gemeint: z.B. die
Dorfgemeinschaft, die Kirchengemeinde, die Frauengruppe. Ihnen soll das Projekt zugute kommen.
Bei ihnen soll sich ein Projekterfolg einstellen, zu ihren Gunsten wird eine Projektwirkung
erwartet. Die Basisorganisation selbst ist immer weiter unterteilt, z.B. in
• Frauen und Männer
• Alte und Junge
• Ärmere und Reichere
und viele andere mögliche Untergruppen. Nicht immer sind alle diese Differenzierungen wichtig,
aber sie können wichtig werden, wenn wir feststellen, dass das geförderte Projekt sich nicht für alle
gleich auswirkt, oder etwa wenn Konflikte in der Basisorganisation zu beobachten sind. In unseren
Zusammenhängen ist die Unterscheidung der Lebenssituationen von Frauen und Männern fast
immer ziemlich wichtig.
Die Entwicklungsorganisation ist die Einheit, die vor Ort für die Projektdurchführung
verantwortlich ist: eine nationale NRO, eine Kirche, eine karitative Organisation; sie arbeitet fast
immer mit ehrenamtlichen, oft aber auch mit bezahlten Mitarbeitern oder Mitarbeiterinnen. Sie
sollen nicht die direkten Nutznießenden des Projekts sein, sondern sie helfen, dass die Adressaten
des Projekts einen Nutzen vom Projekt haben. Manchmal aber sollen sie auch indirekt einen
Vorteil vom Projekt haben, etwa wenn in der Entwicklungsorganisation Wissen aufgebaut oder
ihren Beschäftigten eine wirtschaftliche Sicherheit geboten werden soll.
Auch die Entwicklungsorganisation ist natürlich weiter unterteilt, z.B. nach:
• Organisationshierarchie (Chef oder Chefin, Fachpersonal, Hilfskräfte)
• Frauen und Männern
• sozialer und ethnischer Herkunft
Analog zu dem oben Gesagten gilt, dass hinsichtlich der Einschätzung von Projektwirkungen und
bei möglichen Konflikten diese Unterscheidungen bedeutsam werden können.
Vor allem in Bezug auf die erwarteten Projektwirkungen ist es sinnvoll, Basis- und
Entwicklungsorganisation sorgfältig zu unterscheiden. Allen Beteiligten sollte klar sein, dass in der
Regel die Mitglieder der Basisorganisation - und nicht die der Entwicklungsorganisation - die
Adressaten, „Zielgruppe“ des Projekts sind.
Keine Regel ohne Ausnahmen:
7
Es kann Projekte geben, die speziell auf die Verbesserung der Leistungsfähigkeit der
Entwicklungsorganisation ausgerichtet sind; dann werden aber zugleich indirekte Wirkungen
zugunsten der Basisorganisationen erwartet.
Viele Projekte werden direkt von einer kleinen Basisorganisation durchgeführt. In diesem Fall
gilt das über Entwicklungsorganisationen Gesagte nicht, oder es gilt nur für einzelne
Funktionstragende innerhalb der Basisorganisation.
Manche Basisorganisationen sind sehr groß, z.B. Mitgliederorganisationen wie Kirchen,
Genossenschaften oder Gewerkschaften, die dann auch wieder Dachverbände oder
Föderationen bilden. Hier werden in der Regel Teile der Basisorganisation (z.B. die
Entwicklungsabteilung) die Rolle einer Entwicklungsorganisation übernehmen. Und hier kann
es zu Interessenkonflikten zwischen Funktionsträgern und Adressaten des Projekts kommen,
wenn erstere aufgrund ihres Einflusses die institutionellen oder gar individuellen Interessen in
den Vordergrund bringen.
Last not least kommt die Förderorganisation, d.h. die Gruppe, der Verein oder das Hilfswerk,
welche Entwicklungsprojekte z.B. von Deutschland aus fördert. Sie arbeitet teils mit
ehrenamtlichen, teils mit hauptamtlichen Mitarbeitern oder Mitarbeiterinnen, deren Hauptanliegen
es ist, eine bestimmte Gruppe benachteiligter Menschen in der Dritten Welt bei der Verbesserung
ihrer Lebensbedingungen zu unterstützen. Die Fördermittel kommen im wesentlichen von der
(deutschen) Öffentlichkeit, und ihr gegenüber ist die Förderorganisation rechenschaftspflichtig.
Sofern die Mittel direkt von Spendenden kommen, unterziehen sich die Hilfswerke in der Regel
einer freiwilligen Selbstkontrolle, etwa um das Spendensiegel des Deutschen Zentralinstitutes für
soziale Fragen (dzi) zu erhalten. Bei staatlichen Mitteln sind die Anforderungen des Haushaltsrecht
einzuhalten. Im Falle von Ko-Finanzierungen kann eine Förderorganisation anderen Hilfswerken
gegenüber rechenschaftspflichtig sein. Die Förderorganisation ist ebenso diesen gegenüber
verpflichtet nachzuweisen, dass die Mittel wirksam zugunsten der armen Bevölkerung eingesetzt
wurden. Angesichts der kritischen bis ablehnenden Haltung gegenüber der Entwicklungshilfe, die
hierzulande oft anzutreffen ist, stehen die Förderorganisationen zunehmend in der Pflicht, die
korrekte und wirkungsvolle Verwendung der weitergeleiteten Spenden nachweisen zu müssen.
Alle diese projektbeteiligten Organisationen unterscheiden sich hinsichtlich
• ihrer Vorstellung darüber, was Projekterfolg bedeutet
• ihrer Wahrnehmung von Veränderungen
• ihrer Zuordnung von Ursachen zu den beobachteten Veränderungen
• ihrer Verantwortung für Erfolge und Misserfolge
• ihrem Interesse an Transparenz
um nur einige Aspekte zu nennen. Wer hat mehr, wer hat weniger Interesse daran,
Projektwirkungen zu ermitteln? Wer wird sie eher beschönigen, wer wird sie eher herunterspielen?
Wer wird sich eher als Kontrolleur oder Kontrolleurin fühlen, wer eher als Kontrollierter oder
Kontrollierte? Welche Auswirkungen hat das auf einen sachlichen Dialog?
Sicher ist nur, dass es nicht einfach sein wird, eine gemeinsame Beurteilung der Erfolge, sprich
Wirkungsbeobachtung und Evaluation, zu erreichen.
Die obigen Kategorisierungen und Feststellungen sind in dieser Kürze sehr verallgemeinernd. Sie
sollten sie für Ihr Projekt nochmals überprüfen und ergänzen.
8
1.2 Formulierung von Problemen und deren Indikatoren

Wenn wir später einmal Erfolge oder Auswirkungen des geförderten Projekts ermitteln wollen, so
geht das kaum, wenn wir nicht die Ausgangssituation genau erfasst haben! Obwohl diese
Feststellung vielleicht banal ist, so haben wir in der Projektrealität hier doch meist eine
Fehlanzeige!
In den Projektanträgen bzw. in den Projektunterlagen gibt es in der Regel eine Rechtfertigung für
die geplanten Maßnahmen, die auch eine Beschreibung der Ausgangssituation beinhaltet. Doch
leider ist sie oft so vage, dass sie für eine spätere
Wirkungsbeobachtung und Evaluierung wenig taugt.
Wie könnte die Beschreibung der Ausgangssituation aussehen, damit sie für die spätere
Wirkungsbeobachtung und Evaluierung nützt? Neben den allgemeinen wichtigen Informationen
wie z.B. Rahmenbedingungen im Lande und in der Region müssen schon spezifische
Informationen auch über den Projektort vorliegen. Diese sollen z.B. auch die positiven Aspekte der
Situation vor Ort und die Potentiale der Bevölkerung benennen. Aber wir kommen nicht umhin,
uns auch genau berichten zu lassen, welche Probleme die Menschen vor Ort haben, insbesondere
diejenigen Probleme, die jetzt mit Hilfe eines Projekts angegangen werden sollen.
Nur wenn wir genau wissen, wie die verbesserungswürdige Situation vor Beginn des Projekts
beschaffen ist, können wir später die Veränderungen feststellen.
Was ist ein Problem ?
Ein Problem ist

ein real existierender Zustand, der als negativ betrachtet wird und eine Veränderung erfordert.
Wir brauchen also in jedem Fall auch die Beschreibung des jetzigen Zustandes, in dem die
benachteiligte Bevölkerungsgruppe lebt, um den späteren Zustand beurteilen zu können.
Beispiel:
• die Frauen und Kinder sind unterernährt
• die Einkommen der Bauernfamilien sind gering
Was ist der typischste Fehler bei der Problemformulierung?
Ein häufiger Fehler bei der Formulierung von Problemen ist, dass das Problem als ein Fehlen einer
ganz bestimmten Lösung ausgedrückt wird, z. B.
• Mangel an Milchpulver und an Medikamenten
• Mangel an Düngemitteln
Das ist dann nur ein abgeleitetes Problem, hinter dem sich ein anderes verbirgt. Solch eine
Problemformulierung ist falsch, weil sie eine bestimmte Problemlösung schon vorgibt (eben die
Lieferung von Milchpulver, Medikamenten, Düngemitteln), ohne geprüft zu haben, ob alternative
Lösungen nicht gar besser sind. Das tatsächliche Problem erfahren wir in diesem Fall, wenn wir
erkunden, was sich hinter diesem „Mangel an ...“ versteckt, z.B. indem wir fragen:
Wenn es einen Mangel an ... gibt, dann ist die Folge, dass ...? Die richtige Formulierung dieser
Problembeispiele könnte dann lauten:
• die Kindersterblichkeit ist sehr hoch (anstatt „Mangel an Milchpulver und an
Medikamenten“)
9
• die Erträge des Manioks sind sehr gering (anstatt „Mangel an Düngemitteln“)
Eine solche Beschreibung des Problems ist zwar der wesentliche Ausgangspunkt, allerdings noch
nicht ausreichend, um Veränderungen beobachten zu können. Wir brauchen (mindestens) einen
Indikator für das Problem und eine Information, wie seine Ausprägung ist.
Was ist ein Indikator?
Die beispielhafte, konkrete Beschreibung eines Merkmales (Indikator = Anzeiger) eines Zustandes
nennen wir Indikator. Diese Beschreibung, also der Indikator, sollte möglichst objektiv
nachprüfbar sein, d.h. wenn er von verschiedenen Akteuren beobachtet wird, sollten diese nicht zu
unterschiedlichen, sondern zu gleichen Beobachtungsergebnissen kommen. Es wird nicht immer
gelingen, objektiv nachprüfbare Indikatoren zu finden, weil viele Merkmale der Problematik in der
Entwicklungszusammenarbeit im Bereich der weichen (nicht eindeutig erfassbaren) Faktoren
liegen und außerdem individuell (subjektiv) nur sehr unterschiedlich wahrgenommen werden
können.
Die Indikatoren, und insbesondere die objektiv nachprüfbaren, erlauben natürlich nicht die
befriedigende Beschreibung der gesamten Situation oder Problematik, doch sie ermöglichen uns
zumindest, ein wesentliches Merkmal zu erfassen, um spätere Veränderungen wahrzunehmen. Die
Erfahrungen zeigen, dass niemandem damit gedient ist, wenn die Indikatoren recht schwammig
sind, sondern dass auch die Basisorganisationen ein Interesse an objektiv nachprüfbaren
Indikatoren haben, weil sie für alle Beteiligten - und eben auch die Adressaten - leicht
nachvollziehbar sind.
Ein objektiv nachprüfbarer Indikator hat fünf wesentliche Informationen. Die ersten drei
Informationen dienen zur Beschreibung dessen, was gemessen werden soll; die folgenden zwei
Informationen beschreiben die beobachtete Ausprägung des Indikators zum jeweiligen Zeitpunkt:
... welches Kriterium? ... das Gewicht
... bei welcher Bevölkerung? ... bei Frauen mit Kindern unter 6 Jahren ...
... in welcher Region? ... in den Vierteln XYZ von M.
... zu welchem Zeitpunkt? Dezember 1998 (vor Projektbeginn)
... auf welchem Niveau? 48 kg (Problem-Niveau)
An dieser Stelle sei bereits gesagt: die Indikatoren beschreiben nicht nur die Ausgangssituation -
den “Ist“-Zustand -, sondern sie werden auch die folgende Entwicklung - den „Soll“-Zustand -
beschreiben; das wird im Kap. 1.3 noch ausgeführt.
Nicht immer können wir die Indikatoren so leicht beobachten oder gar messen: wenn unser
Problem ist, dass die Einkommen der Bauern niedrig sind, dann können wir schließlich keine
Einkommensteuererklärung heranziehen, um es zu beschreiben. Auch eine Befragung der Bauern
über die Höhe ihrer Einkommen mag nutzlos sein, weil solche Informationen zu vertraulich sind,
als dass sie selbst engen Freundinnen und Freunden genau mitgeteilt werden. Wenn also direkte
Indikatoren nicht zu erheben sind, sollten wir versuchen, indirekte Indikatoren zu ermitteln (Proxy-
Indikatoren, „Proxies“).
Beim Einkommen hieße das, wir müssen etwas messen, was damit in engem Zusammenhang steht
und leicht zu beobachten ist, z.B.:
• der Kauf neuer Kleider für die Kinder
• die Häufigkeit des Schulbesuchs
10
• die Häufigkeit des Fleischkonsums

• das Vorhandensein eines Fernsehers oder bestimmter Möbel
Diese indirekten Indikatoren sind immer sehr kontextspezifisch, sie lassen sich also nicht von
Region A nach Region B ohne weiteres übertragen. Am besten sind sie von den Menschen vor Ort
zu benennen und zu beobachten.
Und nicht immer lassen sich Indikatoren genau messen. Die folgenden Wege zur Festlegung von
Indikatoren lassen sich unterscheiden:
Vier Wege um Indikatoren zu erarbeiten:

1. Messen oder zählen: (gibt uns genaue Zahlen dazu)
Beispiel: die Personen wiegen, Gewicht in kg angeben
2. Skalieren: (gibt uns eine abstufbare Beschreibung)
Beispiel: die Häufigkeit von Krankheiten staffeln: immer - häufig - manchmal - selten - nie
3. Klassifizieren: (gibt Auskunft über nicht abstufbare Merkmale)
Beispiel: JA oder NEIN: „Ist Ihr Kind heute krank?“
Beispiel: FRAU oder MANN: „Wird die Beratungsstelle von einer Frau oder einem Mann
geleitet?“
4. Qualitativ beschreiben: (gibt uns eine beispielhafte Beschreibung nur in Worten)
Beispiel: einfach in Worten beschreiben, was im Zusammenhang mit diesem Indikator wichtig ist:
„Eine Gruppe von Frauen vom Viertel X in M. hat an gefangen, Krapfen aus Sojamehl zu backen,
um sie im Viertel Y zu verkaufen.“
Wer erkundet die Ausgangssituation?
Wer soll die Erkundung der Ausgangssituation nun durchführen? Wenn wir unsere drei Gruppen
von Akteuren nehmen:
• die Basisorganisation ?
• die Entwicklungsorganisation ?
• die Förderorganisation ?
Und wer im Auftrag dieser Organisationen ?
Die Antworten lassen sich schlecht verallgemeinern. Folgende Überlegungen mögen als
Entscheidungshilfe dienen:
Die Förderorganisation sollte es nach Möglichkeit nicht tun. Ausnahmen: die Angaben im
Projektantrag scheinen zweifelhaft; die Beteiligten sind nicht ausreichend erfahren; oder aber diese
Studie soll exemplarisch ein Wirkungsmonitoring auf die Schiene setzen! Und wenn die
Förderorganisation dabei ist, muss sie sich eng mit der Entwicklungs- und Basisorganisation
abstimmen.
In der Regel beauftragt die Förderorganisation dafür eine unabhängige Gutachterin oder einen
unabhängigen Gutachter. Zu Übungs- oder Praxiszwecken könnte auch einmal eine Mitarbeiterin
oder ein Mitarbeiter der Förderorganisation an einer solchen Studie teilnehmen; die unabhängige
Fachexpertise wäre dann möglicherweise in Frage gestellt, aber für kleinere entwicklungspolitische
NRO könnte der deutlich erhöhte Praxisbezug der Projektbearbeitung ein wichtiger Zugewinn sein.
11
Die Entwicklungsorganisation wird in den meisten Fällen diese Erhebung selbst durchführen, da
sie meistens auch den Projektantrag schreibt; da sie später für die Projektdurchführung und
Berichterstattung gerade stehen muss; da sie eher als die Basisorganisation über das Know-how zur
Situationsanalyse verfügt.
Es ist sicherlich der Normalfall, dass das Projektpersonal die Erhebung durchführt; das macht auch
Sinn für ein differenziertes Kennenlernen der Situation. Es ist aber auch bereichernd, wenn
zusätzlich ein unabhängiger Gutachter oder eine Gutachterin eine „unbefangene“ Situationsanalyse
vornimmt, um die Wahrnehmung des Projektpersonals gegen zu prüfen, zu schärfen und zu
erweitern.
Die Basisorganisation wird leider in den wenigsten Fällen mit einer Erhebung der
Ausgangssituation betraut. Wäre sie nicht dazu in der Lage? Immerhin kennt sie doch ihre eigene
Situation am allerbesten; sie hat sich doch in der Regel an der Projektplanung beteiligt; sie muss ja
später Teile des Projekts durchführen.
Es ist unzweifelhaft, dass es schwierig ist, die Basisorganisation an der Erhebung der
Ausgangssituation zu beteiligen. Je nach dem, wie lange ein Projekt schon läuft, und welche
Verantwortung die Adressaten im geplanten Projekt übernehmen sollen, lässt sich abschätzen, ob
es möglich ist.
Dabei kann auch die Basisorganisation Außenstehende beauftragen, z.B. den Dorflehrer, die Ärztin
etc., oder aber die Betroffenen (die Frauen, die landlosen Bauern, ...) beschreiben ihre Situation
selbst. Es gibt ein beträchtliches Risiko, dass diese Situationsanalysen sehr interessengeleitet
werden, manchmal sogar beeinflusst von Einzelpersonen. Dann kann externe Unterstützung zu
einem realistischeren Bild verhelfen, etwa durch Fachkräfte der Entwicklungsorganisation oder
durch externe Gutachtende oder Beratende. Insbesondere wenn so etwas noch nie zuvor gemacht
wurde, ist eine externe methodische Unterstützung notwendig.
Die Entwicklungsorganisationen setzen immer häufiger partizipative Methoden des
Projektmanagements ein, die es auch der Dorfbevölkerung erlauben, sie aktiv an der Analyse und
Steuerung von Projekten zu beteiligen. Inzwischen gibt es viele gute Erfahrungen mit
Erhebungsmethoden, an denen die betroffene Bevölkerung aktiv beteiligt ist, weil diese ja selbst
über das reichhaltigste kontextspezifische „Insider“-Wissen verfügt (z.B. Participatory Rural
Appraisal - PRA). In der Aufwertung dieses Wissens und dessen Einbindung in das gesamte
Projektmanagement durch partizipative Methoden liegen gewaltige Potentiale in der
Entwicklungspolitik.
Auch eine gemeinschaftliche Situationsanalyse der beteiligten Akteure kann sehr gut zu einer
weitgehend gemeinsamen Sicht führen: mit Hilfe einer routinierten Moderation können die
Sichtweisen und Informationen zusammengetragen und zu einem einheitlichen Bild abgerundet
werden. Das ist z.B. ein wesentliches Anliegen der ersten Schritte eines ZOPP-Workshops
(zielorientierte Projektplanung); doch häufig gelingt es nicht, die Vertreter und Vertreterinnen der
Entwicklungs- und Basisorganisation in diesem Rahmen gleichgewichtig mit den hauptberuflichen
Planerinnen und Planern der Förderorganisationen zu beteiligen.
1.3 Klärung und Formulierung von Zielen und deren Indikatoren

Nachdem die Probleme formuliert und auch mit Hilfe von Indikatoren genauer beschrieben sind,
fällt es uns leichter, die Ziele und die dazugehörigen Indikatoren zu beschreiben.
Was ist ein Ziel?
12
Das Ziel beschreibt die gewünschten Wirkungen oder die erwarteten Vorteile des Projekts. Es wird
formuliert als ein
erwünschter Zustand, der in der Zukunft erreicht werden soll.
Dabei gibt es unterschiedliche Zeithorizonte bei den Zielen. Wir haben zwei Möglichkeiten, die zu
verschiedenen Zeitpunkten erwünschten Zustände zu beschreiben:
als verschiedene Ziele: dies macht Sinn, wenn verschiedene Zeithorizonte (z.B. kurzfristig -
mittelfristig - langfristig) unterschiedliche Zielebenen beschreiben;
als ein Ziel, dass zu verschiedenen Zeitpunkten unterschiedliche Ausprägungen hat, wie sie
durch einen Indikator ausgedrückt werden können (vgl. Kap. 1.2): dies empfiehlt sich
beispielsweise bei einem Projektziel.
Während das Problem also einen gegenwärtigen negativen Zustand beschreibt, beschreibt das Ziel
einen zukünftigen positiven Zustand. Es gibt daher eine einfache Verbindung zwischen den beiden:
Das Ziel ist gewissermaßen das Gegenteil des Problems.
Wenn wir die positive Veränderung in der Situation der Adressaten bei den oben genannten
Beispielen darstellen wollen, dann lauten die Ziele beispielsweise:
• die Kinder und die Frauen sind besser ernährt
• die Kindersterblichkeit ist gering
• die Einkommen der Bauernfamilien sind gestiegen
• die Erträge des Manioks sind zufriedenstellend
Was ist der typischste Fehler bei der Zielformulierung?
Ein sehr häufiger Fehler bei der Formulierung von Zielen ist, dass das Ziel als Durchführung von
Maßnahmen (Aktivitäten) ausgedrückt wird, z.B.
• Ausbildung von Krankenschwestern oder -pflegern
• Ernährungsberatung durchführen
• Bohren von Tiefbrunnen zur Trinkwasserversorgung
Aber nicht die Durchführung der Projektmaßnahmen macht den Sinn und Erfolg eines Projektes
aus, sondern das Erreichen eines verbesserten Zustandes im Umfeld der Adressaten - dieser
erwünschte Zustand sollte darum als Ziel formuliert sein! (vgl. auch Kap. 1.4)
Welche Ebenen von Zielen gibt es?
Gelegentlich ist es sinnvoll, drei Ebenen von Zielen zu unterscheiden:

• Oberziel
• Projektziel
• Ergebnis
Das Oberziel bezieht sich auf den erwünschten Zustand bei den Adressaten des Projekts und ist ein
Zustand, der in der Zukunft zu erreichen ist, zu dem das Projekt einen Beitrag leisten wird.
13
Das Oberziel kann also nicht durch ein einzelnes Projekt erreicht werden, sondern vielmehr durch
ein Zusammenwirken von mehreren Projekten oder weiteren Faktoren gleichzeitig. In der Regel
kann das Oberziel nur langfristig erreicht werden.
Beispiel:
- Die Lebensbedingungen der armen Familien in M. haben sich verbessert
Das Projektziel bezieht sich auch auf den erwünschten Zustand bei den Adressaten des Projekts
und ist ein Zustand der Zukunft, der durch ein bestimmtes Projekt erreicht werden kann, genauer
gesagt mit Hilfe von den geplanten Projektaktivitäten, den Bemühungen des Projektpersonals, den
Projektmitteln sowie mit der aktiven Partizipation der Adressaten.
Wenn ein erwünschter Zustand in der Situation der Adressaten erreicht ist, kann man es wie
folgt formulieren:
Beispiel:
- Die Frauen von M., die durch das Projekt ... ausgebildet worden sind, sowie deren Kinder sind
besser ernährt
Häufig setzt sich ein Projekt aus verschiedenen Projektkomponenten zusammen. So kann
beispielsweise ein Projekt, das die verbesserte Ernährung von Frauen und Kindern zum Ziel hat,
eine Komponente „Gesundheit“, eine Komponente „Ernährung“ und eine Komponente
„Einkommensschaffung“ haben. Das Ziel jeder Komponente entspricht einem Unterziel.
Das Ergebnis ist also ein Unterziel, für welches das Projekt verantwortlich ist.
Beispiel:
Die Frauen haben Grundkenntnisse im Bereich Gesundheit und Hygiene
Die Frauen können nahrhaftere und preiswertere Speisen zubereiten
Die Frauen erzielen ein höheres Einkommen
Im ZOPP/Logical Framework werden ebenfalls Ergebnisse formuliert. Ein Ergebnis beschreibt
dort, von der o.a. Vorstellung des Unterziels abweichend,
ein Produkt oder eine Dienstleistung, welche das Projekt den Adressaten des Projekts zur
Verfügung stellen muss, damit die gewünschten Wirkungen eintreten.
Beispiele:
Die mobile Gesundheitsberatung in den Stadtviertel XYZ von M. funktioniert
Das Frauenzentrum ist in Betrieb und wird von den Frauen besucht
Dieses Verständnis von Ergebnis kann sinnvoll sein für NROs und Projekte, die einen starken
Dienstleistungscharakter haben.
Ergebnis, Projektziel und Oberziel sind also verschiedene Ebenen von Zielen, die durch
angenommene Wirkungszusammenhänge miteinander verknüpft sind. Sie beschreiben alle einen
erwünschten Zustand, der in der Zukunft erreicht werden soll. Um die Ziele zu erreichen, müssen
wir Aktivitäten oder Maßnahmen organisieren.
Oft werden die Wirkungshypothesen als Kausalkette formuliert: wenn wir eine Reihe von
Aktivitäten oder Maßnahmen durchführen, erhalten wir ein erwartetes Ergebnis; wenn wir die
erwarteten Ergebnisse erreichen, erreichen wir auch unser Projektziel; und mit
unserem Projektziel leisten wir einen Beitrag zu dem angestrebten Oberziel. Das ganze gilt unter
der Voraussetzung, dass bestimmte Rahmenbedingungen gegeben sind, die vorher analysiert
werden.
14
In der Wirklichkeit sind die Zusammenhänge allerdings nicht so linear und scheinbar monokausal,
sondern sie sind komplizierter: eine systemische Betrachtung erlaubt uns, eine starke Vernetzung
von Problemen und Zielen zu sehen. Doch leider ist die Darstellung dieser Vernetzung sehr
schwierig, so dass in der Praxis doch oft auf einen Zielbaum zurückgegriffen wird.
Wie bilden wir die Zielindikatoren?
Wie zuvor bei den Problemen beschrieben, sind diese Zielvorstellungen noch nicht genau genug,
um die späteren Veränderungen beobachten zu können. Wir brauchen auch für jedes Ziel wieder
(mindestens) einen Indikator und eine Information, wie dessen Ausprägung zu bestimmten
Zeitpunkten in der Zukunft sein sollte.
... bei welcher Bevölkerung? ... bei Frauen mit Kindern unter 6 Jahren ...
... zu welchem Zeitpunkt? ... auf welchem Niveau?
Dezember 1998 (vor Projektbeginn) 48 kg (Problem-Niveau)
Dezember 1999 51 kg
Dezember 2000 53 kg
Dezember 2001 (nach Projektende) 54 kg (Ziel-Niveau)
Wie Indikatoren gebildet werden, wurde bei der Formulierung von Problemen bereits dargestellt.
Wir haben gesehen, dass die Indikatoren auch schon bei der Planung den Zielzustand beschreiben
und dabei möglichst im Zeitverlauf dargestellt werden sollten.
Hinsichtlich der Qualität von Zielindikatoren gibt es viele Regeln, vor allem die folgende häufig
zitierte Formel: Zielindikatoren sollen “SMART“ sein:
S specific = auf das Ziel bezogen
M measurable = messbar
A achievable = erreichbar
R realistic = realistisch
T timebound = auf Zeitpunkte bezogen
Das wesentliche dieses Kürzels sei nochmals in anderen Worten erklärt:
• der Zusammenhang zwischen Ziel und Indikator muss nachvollziehbar sein
• der Indikator sollte ohne übermäßig großen Aufwand regelmäßig messbar sein
• das Ziel sollte gerade so hoch gesteckt werden, dass es auch realistischerweise mit den
gegebenen Mitteln (Arbeitskraft, Geld, Material) erreicht werden kann - auch in seinen
Abstufungen im Zeitverlauf!
1.4 Klärung von Aktivitäten und Budget

Wenn die Ziele geklärt sind, wissen wir, welcher Zustand bei den Adressaten des Projekts in der
gegebenen Zeit erreicht werden soll, möglicherweise sogar mit Zwischenergebnissen. Aber wir
haben damit noch nicht definiert, welche Maßnahmen dafür durchzuführen sind. Dies geschieht
durch die Formulierung der Aktivitäten.
15
Was sind Aktivitäten?
Eine Aktivität ist eine

Maßnahme oder Tätigkeit, die im Rahmen des Projekts durchzuführen ist, um zu den
Ergebnissen oder Zielen zu gelangen.
Beispiele (zu o.a. Ergebnis 1):
• eine Kampagne zur Bewusstseinsbildung organisieren
• Kurse über Hygiene bei der Essenszubereitung für Frauen veranstalten
• intensive Betreuung durch Hebammen organisieren
Die Aktivitäten beschreiben also, was das Projektpersonal und andere Projektbeteiligte tun müssen,
damit die gewünschte Veränderung in der Situation der Adressaten erreicht wird. Gleichzeitig wird
über sie festgelegt, wo und in welcher Menge Arbeitskraft, Geld und Material benötigt werden. Mit
anderen Worten: über die Aktivitäten - und nicht über die Ziele - wird das Budget des Projekts
ermittelt (vgl. Ende dieses Absatzes).
Während die Unterscheidung der oben beschriebenen Zielebenen sehr hilfreich, aber nicht
unbedingt notwendig ist, so ist es für die Planung der späteren Erfolgs- und Wirkungskontrolle
doch unerlässlich, dass eine Unterscheidung gemacht wird zwischen den zwei logischen Ebenen:
• Zielen, die einen gewünschten Zustand beschreiben, der in der Zukunft erreicht werden soll,
und
• Aktivitäten, die Maßnahmen oder Tätigkeiten darstellen, die vom Projektpersonal
durchzuführen sind.
Was ist ein häufiger Fehler bei der Formulierung von Zielen und Aktivitäten?
Wie bereits in Kap. 1.3 erwähnt, finden wir in Projektanträgen häufig Zielformulierungen, die in
Wirklichkeit Beschreibungen von Aktivitäten sind:
• Durchführen von Trainingskursen für Landwirte im Maniokanbau
• Ausbildung von Krankenschwestern und -pflegern
• Beratung von Schwangeren
Wir können auch für die Aktivitäten Indikatoren für die erfolgreiche Durchführung finden:
• 20 Feldtage und 5 dreitägige Schulungen durchgeführt, 500 Bauern geschult
• 25 Krankenschwestern und -pfleger ausgebildet, davon 22 mit bestandenem Examen
• regelmäßige Schwangerenberatung findet in 3 Gesundheitszentren statt, 80 Frauen pro Monat
beraten
Zugegeben: die Durchführung solcher Aktivitäten kann das Ziel des Projektes gewesen sein. Alle
sind zufrieden. Wer sollte den Erfolg anzweifeln? Allerdings: über die Wirkungen wäre damit
noch nichts gesagt!
Sie selbst, gemeinsam mit den Projektpartnern und -partnerinnen, sollten nochmals prüfen: was ist
denn das Problem hinter dem Projekt? Was würde die Situation der Adressaten des Projekts
verbessern? Wann hat das Projekt „echt etwas gebracht“?
• Sollten die Landwirte informiert werden, oder sollten etwa ihre Maniokerträge steigen?
16
• Sollten die jungen Frauen und Männer einen Beruf erlernen, oder sollte etwa die
Gesundheitssituation in einer bestimmten Region verbessert werden?
• Sollte die Beratungsstelle funktionieren, oder sollten etwa die Zahlen der Fehlgeburten und
der Kindersterblichkeit zurückgehen?
Vergessen wir nicht, dass viele Brunnen gebohrt wurden, Trainingszentren errichtet, Werkstätten
eingerichtet, Menschen ausgebildet, Kampagnen durchgeführt .... lag dann der Erfolg bereits darin,
dass dies durchgeführt wurde, oder erst darin, dass es den Adressaten genützt hat?
gesagt ist nicht gehört
gehört ist nicht verstanden
verstanden ist nicht zugestimmt
zugestimmt ist nicht angewandt
angewandt ist nicht übernommen
übernommen ist nicht verbessert
„gemacht“ ist nicht „bewirkt“!
Was ist ein Budget?
Das Budget ist eine Aufstellung der vorgesehenen Ausgaben und Einnahmen; es wird auch
„Kosten- und Finanzierungsplan“ genannt. Der Kostenplan ergibt sich direkt aus den geplanten
Aktivitäten; nur auf diese direkt zuordbaren Ausgaben beschränken wir uns an dieser Stelle, weil
sie der wesentliche Punkt sind. (Allerdings wird es außerdem nötig sein, Ausgaben von Kosten zu
unterscheiden - besonders im Falle von Investitionen -, und es kommen noch Gemeinkosten hinzu,
die sich daraus ergeben, dass eine gewisse Organisationsstruktur auch außerhalb des Projekts
aufrechterhalten werden muss, um das Projekt durchzuführen.)
In das Budget kommt letztlich nur, was auch wirklich mit Geld zu bezahlen ist, bzw. wofür Geld
eingenommen wird. Wir müssen deshalb diejenigen Aufwände und Erträge herausnehmen, die
nicht in Form von Geld fließen. Sie kommen in eine gesonderte Aufstellung.
Um die voraussichtlichen Ausgaben eines Projekts zu ermitteln, gehen wir sinnvollerweise drei
Schritte:
Ermittlung der Ausgaben:
alle Projektaktivitäten werden aufgelistet (Aktivitätenplan)

für jede Aktivität wird die erforderliche Menge an Arbeit und an Material ermittelt
voraussichtlicher Aufwand)
die für den jeweiligen Aufwand erforderliche Geldsumme wird berechnet (voraussichtliche
Ausgaben)
Für den Fall, dass das Projekt auch Einnahmen erwirtschaften wird, gehen wir nochmals drei
analoge Schritte:
Ermittlung der Einnahmen:
alle Projekterträge, die Geld einbringen können, werden aufgelistet (Liste der Produkte)
17
für jedes Produkt wird die voraussichtlich produzierte Menge ermittelt (voraussichtlicher
Ertrag)
die für den jeweiligen Ertrag zu erzielende Geldsumme wird berechnet (voraussichtliche
Einnahmen)
die darüber hinaus zu erwartenden Fördermittel werden aufgelistet, wobei zu beachten ist, ob
sie an bestimmte Projektaktivitäten zweckgebunden sind, oder frei zugeordnet werden können
Das Budget hat drei wesentliche Funktionen, die auch bei der späteren Erfolgskontrolle von
Bedeutung sind:
Verteilung der Ressourcen (Arbeitskraft, Geld, Material) auf die Aktivitäten und damit auf
bestimmte Verantwortlichkeiten ( Ausgaben)
Mobilisierung der notwendigen Ressourcen (Arbeitskraft, Geld, Material), um den Plan
durchzuführen ( Einnahmen)
Festlegung von Obergrenzen, die mit den Ausgaben nicht überschritten werden dürfen, und
von Untergrenzen, die bei den Einnahmen zu erreichen sind.
Ausgaben und Einnahmen müssen in einem Budget im Gleichgewicht sein. Der Kostenplan allein
reicht nicht; es ist auch nicht selbstverständlich - und oft auch nicht den entwicklungspolitischen
Zielen dienlich - wenn die Kosten zu 100 % von einem ausländischen Hilfswerk finanziert werden.
Das Projekt kann die geplanten Aktivitäten nur durchführen, wenn es die entsprechenden
finanziellen Mittel zur Verfügung hat. Daher müssen alle Beteiligten auch wissen, welches die
Quellen für die Einnahmen sind.
1.5 Klärung der Rahmenbedingungen und Risiken

In der Projektplanung sind die Pflichten der einzelnen Projektbeteiligten festgelegt: Was sie oder er
aufwenden muss, und für welche Ergebnisse sie oder er Verantwortung trägt. Wenn diese Planung
schlüssig ist, lässt sich das Projektziel erreichen - sofern alle Beteiligten ihre Aufgaben richtig
wahrnehmen.
Aber das gilt nur, wenn es keine Störungen von außen oder innen gibt. Und genau das ist leider
allzu häufig der Fall, so häufig, dass manchmal die Planung (und damit auch das gesamte Budget)
gar keinen Sinn zu haben scheinen.
Es gehört zur Vorbereitung der Wirkungsbeobachtung und Erfolgskontrolle, dass vorab geprüft
wird, welche Rahmenbedingungen für den Projekterfolg wesentlich sind. Damit ist es nicht
notwendig, eine endlose Liste sämtlicher Rahmenbedingungen zu erstellen, sondern
herauszufinden, welche davon wesentlich sind und zugleich unsicher. Wir müssen die Risiken
ermitteln.
Nicht alle Risiken können vor Projektbeginn bekannt sein. Trotzdem lassen sich einige Risiken
ermitteln, indem wir uns z.B. fragen:
• Was kann schief gehen?
• Was könnte unseren Projekterfolg behindern?
• Was sollte nicht passieren?
Die Wahrnehmung dieser Risiken wird übrigens je nach Gruppe von Projektakteuren sehr
unterschiedlich sein. Es ist nicht nur wichtig, dass die Förderorganisation sich bei der Entscheidung
über eine mögliche Förderung diese Fragen „am grünen Tisch“ stellt, sondern noch wichtiger, dass
die Entwicklungsorganisation diese Risiken in ihrer Planung berücksichtigt. Wenn sie allerdings zu
18
viele Risiken benennt, kann es für sie heikel werden, falls sich dann keine Förderorganisation
beteiligen möchte. Und am allerwichtigsten ist es, dass die Basisorganisation immer wieder
Gelegenheit erhält, sich dazu zu äußern - selbst wenn sich ihre Mitglieder zu Beginn des Projektes
möglicherweise damit schwer tun.
Wenn Risiken identifiziert sind, ist zu prüfen, inwieweit das Erreichen der Projektziele stark
angezweifelt werden muss. Es ist sicher auch nochmals ein Anlass, alternative Vorgehensweisen
für das Projekt zu erkunden.
Die Risiken lassen sich im wesentlichen in zwei Arten einteilen:
externe Risiken, die außerhalb der Verantwortung der Projektbeteiligten liegen
interne Risiken, die in der Verantwortung der Projektbeteiligten liegen
Für die Risiken müssen - ebenso wie für Probleme und Ziele - Indikatoren gefunden werden, die
anschließend auch regelmäßig beobachtet werden müssen, und auf die ggf. auch reagiert werden
muss, wenn die Zielerreichung gefährdet ist.
Wenn wir ein Risiko identifiziert haben, müssen wir es so umformulieren, dass wir den Zustand
beschreiben, der eigentlich gegeben sein sollte:
• die Versorgung mit Milchpulver und Medikamenten ist ausreichend
• die örtlichen Vertreter und Vertreterinnen des Gesundheitsministeriums halten die
Absprachen ein
Hinsichtlich der externen Risiken sollten sich die Projektbeteiligten fragen, ob sie diese nicht doch
etwas beeinflussen können, etwa durch Absprachen oder Kooperation mit den anderen
Verantwortlichen, oder ob sie sich durch Vorsorgemaßnahmen in gewisser Weise davor schützen
können. Solche Maßnahmen könnten als zusätzliche Aktivitäten in die Planung aufgenommen
werden.
Was für die externen Risiken gilt, gilt noch viel mehr für die internen Risiken:
zusätzliche Maßnahmen sollten auch den internen Risiken vorbeugen.
Wie interne Risiken zu Entwicklungszielen umformuliert werden können
Wenn wir fragen „Was sollte nicht passieren?“, so fragen wir genau genommen nach einem Ziel.
Wir formulieren einen Zustand in der Zukunft, den wir vermeiden wollen. Und häufig können wir
dieses Ziel so umformulieren „Was sollte (stattdessen) passieren?“, dass wir positiv ausdrücken,
was wir erreichen wollen:
Risiko (negativ) Ziel (positiv)
„Was sollte nicht passieren?“ „Was sollte (stattdessen) passieren?“
dass die Buchhaltung nicht regelmäßig dass die Buchhaltung regelmäßig geführt
geführt wird wird
dass die Mitglieder ihre Darlehen nicht dass die Mitglieder ihre Darlehen rechtzeitig
rechtzeitig zurückzahlen zurückzahlen
dass in der Basisorganisation die interne dass in der Basisorganisation die interne
Kontrolle nicht funktioniert Kontrolle funktioniert
19
Ein zweiter Aspekt dieser Umformulierung von Risiken in Ziele ist noch wichtiger in Hinblick auf
die spätere Wirkungsbeobachtung: In den meisten Fällen ist ein Projekt durch eine konkrete
Problemsituation veranlasst. Die Projektziele beziehen sich dann auf technische oder ökonomische
Veränderungen, die angestrebt werden. Wenn wir dagegen aber Ziele aus den Befürchtungen
ableiten, dann sind das häufig Ziele, die sich auf Fähigkeiten beziehen.
Dieser Weg erlaubt uns, sehr konkret Indikatoren für indirekte, eher verborgene Ziele zu
identifizieren, die Merkmale für die Fähigkeiten beschreiben, welche die Voraussetzung für die
Durchführung von Projekten und für die Entwicklung generell sind. Es sind Indikatoren der
personalen und sozialen Entwicklung, und es gibt dafür Begriffe wie „soft skills“, „empowerment“
oder „Problemlösungskompetenz“.
Herkömmlicherweise werden die entsprechenden Ziele und Indikatoren eher vage beschrieben; mit
dem Zwischenschritt über die Umformulierung von Risiken kommen wir zu sehr
kontextspezifischen und präzisen Indikatoren, die von den Betroffenen selbst beobachtet werden,
die ihnen ein Anliegen sind, und die ihr Bewusstsein und Selbstbewusstsein bilden. Wenn es
gelingt, dass die Mitglieder einer Basisorganisation oder einer Entwicklungsorganisation die
Risiken bei sich selbst identifizieren können, dann haben sie einen Teil ihrer eigenen
Entwicklungsziele benannt, die sich hervorragend für eine entwicklungspolitische
Wirkungsbeobachtung eignen.
1.6 Berichtswesen
Ein systematisches Berichtswesen - selbst in der einfachsten Form - ist das A & O einer
Wirkungsbeobachtung und späteren Erfolgskontrolle. Es muss zu Beginn vereinbart und dann auch
regelmäßig eingefordert werden.
Es kann ganz einfach sein; folgendes Grundschema empfiehlt sich:
Was war geplant/ Was wurde erreicht? Begründungen von Korrekturmaßnahmen
vereinbart Abweichungen
hier ist exakt zu hier ist exakt sofern Wenn
wiederholen, die Struktur der wesentliche Abweichungen
was vereinbart Vereinbarung Abweichungen vorkamen:
worden war wiederzugeben vorkommen, ist entweder wurde
zu erläutern,
Ziele mit Ziele mit innerhalb der
wodurch sie
Indikatoren wie Indikatoren: Planungen
zustande kamen
vereinbart was wurde korrigiert
erreicht? was
Aktivitäten: oder es ist eine
„wesentlich“
wie vereinbart Aktivitäten: Änderung der
ist, kann
Budget: was wurde Pläne notwendig
quantitativ
durchgeführt?
Einnahmen und vorher vorab klären: Ist
Ausgaben in Budget: was festgelegt eine Änderung
der wurde werden (z.B. zustimmungs-
vereinbarten eingenommen, 20%), pflichtig
Struktur mit was wurde ansonsten kann
den ausgegeben? flexibel
vereinbarten nachgefragt
Beträgen werden
20
Das Grundschema wird noch „umrahmt“ von bestimmten Grundinformationen, z.B.:

• Veränderung der Rahmenbedingungen des Projekts
• Interne Veränderungen (z.B. Personal, Verantwortlichkeiten) bei Basisorganisation und
Entwicklungsorganisation
• Unvorhergesehene Maßnahmen und Ergebnisse
• Beobachtung der Risiken
• Offene Fragen
Bei den Risiken lassen sich ganz ähnliche Fragen stellen wie bei Zielen, Aktivitäten und Budget:
• Welche Rahmenbedingungen waren erwartet?
• Welche Rahmenbedingungen waren tatsächlich gegeben?
• Sofern Abweichungen vorkommen: wodurch sind diese begründet?
• Sofern Korrekturmaßnahmen notwendig sind: was wurde getan, was wird weiter
vorgeschlagen?
Das Berichtswesen ist übrigens nicht nur für das Verhältnis zwischen Entwicklungsorganisation
und Förderorganisation relevant, sondern auch im Verhältnis zur Basisorganisation und ganz
besonders als internes Kontrollinstrument bei jedem der beteiligten Akteure.
So sollte beispielsweise innerhalb der Entwicklungsorganisation keine Entscheidung über
Geldausgaben für das Projekt fallen, ohne dass die oder der Verantwortliche sich mit Hilfe eines
(mindestens monatlich) aktualisierten Finanzberichts vergewissert hätte, dass die Budgetlinie im
betreffenden Zeitraum noch nicht überschritten ist.
Eine zunehmend wichtige Funktion nimmt auch die Wirtschaftsprüfung ein. Das Audit ist nicht nur
eine wichtige Form der Selbstkontrolle mit Hilfe einer extern prüfenden Person, die dem Vorstand
der Organisation eine unabhängige Meinung über die Jahresrechnung sowie die Leistung des
Managements vorlegt. Die Wirtschaftsprüfung legt zudem ein Schwergewicht auf die
Untersuchung der internen Kontrollmechanismen der Organisation und macht Vorschläge für deren
Verbesserung. Auch wenn die Wirtschaftsprüfung relativ teuer und durch Fälle von
Gefälligkeitsgutachten durch selbsternannte Auditors in Verruf geraten sein mag, so wird sie von
den größeren Entwicklungsorganisationen und Hilfswerken doch zunehmend geschätzt. Sie ist ein
wichtiger Schritt zu mehr Transparenz.
1.7 Zuständigkeiten für Erfolgskontrolle und Management-

Entscheidungen
Innerhalb jeder Organisation gibt es mehrere Hierarchieebenen, die sich in unterschiedlichem Maße
für die Details der Projektdurchführung interessieren (bzw. interessieren sollten).
Je näher jemand an der Durchführungsebene ist, desto konkretere Informationen braucht sie oder er
über die durchgeführten Aktivitäten der Mitarbeiterinnen und Mitarbeiter. Wir haben dann eine
eher durchführungsorientierte Erfolgskontrolle.
Je mehr jemand in die Führung eingebunden ist, desto mehr braucht sie oder er zusammengefasste
Informationen; das kann, je nach Führungsmodell, darauf hinauslaufen, dass nicht mehr so sehr
nach dem pünktlichen Durchführen von Aktivitäten gefragt wird, sondern eher nach dem Erreichen
von Ergebnissen oder dem Erzielen von Wirkungen. Das beinhaltet eine mehr ergebnisorientierte
Erfolgskontrolle.
21
Die durchführungsorientierte Kontrolle ist im Kontext der Armut meistens sehr wichtig und daher
häufiger anzutreffen, da viele Projektbeteiligte darauf angewiesen sind (oder von der
Verwandtschaft gedrängt werden), kleine Ermessensspielräume und wenig kontrollierte Aufgaben
zu ihren privaten Gunsten zu nutzen.
Die ergebnisorientierte Kontrolle entspricht vermutlich mehr dem Denken in den Industrieländern.
Beim „Management by Objectives“ wird eine Vereinbarung über die zu erreichenden Ergebnisse
oder Ziele getroffen, mithilfe welcher Aktivitäten das geschieht, ist in gewisser Weise sekundär,
solange das Budget und die Projektphilosophie eingehalten werden. Zu dieser Verantwortlichkeit
für ein Ergebnis oder Ziel gehört dann in der Regel auch ein Budget, über welches die oder der
Verantwortliche weitgehend frei innerhalb der Zweckbestimmung verfügen kann.
Dieses Managementkonzept ist zwar bei unseren Projektpartnern in der Dritten Welt kaum
anzutreffen, aber wir müssen uns klarmachen, dass die Projektvereinbarung zwischen
Förderorganisation und Entwicklungsorganisation auf diesem Konzept beruht, und ebenso die
meisten der in der Entwicklungszusammenarbeit verwandten Planungsmodelle wie z.B. ZOPP.
Diese Kontrollmechanismen wirken sich auch auf die Form der internen Kontrolle und
Berichterstattung aus. Auch wenn wir sehen müssen, dass die Form der Kontrolle sehr stark eine
Kultur- und Stilfrage ist, so sollten wir im Interesse der Wirkungsbeobachtung und
Erfolgskontrolle auf der Steuerungsebene doch mehr den Akzent auf die ergebnisorientierte
Kontrolle setzen.
Die Verantwortlichen der Entwicklungsorganisation müssen nach Möglichkeiten suchen, sich
selbst auf eine ergebnisorientierte Kontrolle konzentrieren, und dabei die durchführungsorientierte
Kontrolle zu delegieren:
• entweder auf eine untergeordnete Führungsebene
• oder an eine interne Verwaltungseinheit.
1.8 Projektvereinbarung und Begleitung

In den oben ausgeführten Punkten wurde aufgezeigt, dass vor Projektbeginn wesentliche Weichen
für die spätere Wirkungsbeobachtung und Evaluation gestellt werden. Bei der Zusage einer
Förderung sollte darum eine schriftliche Vereinbarung getroffen werden, vor allem zwischen der
Entwicklungsorganisation und der Förderorganisation, welche die gemeinsame Sicht von Zielen,
Arbeitsplan, Budget und Berichtswesen klärt und die jeweiligen Verpflichtungen regelt. Doch es
reicht nicht, dass die Vereinbarung schriftlich fixiert ist; wesentlich ist letztlich, dass alle
Beteiligten sie verstehen und inhaltlich vertreten können.
Die Projektbegleitung muss sich im weiteren dann auf diese Projektvereinbarung berufen. Die
Einhaltung der vereinbarten Regeln muss unter Umständen auch im Konfliktfall durchgesetzt
werden. Durch ein geeignetes Berichtswesen erleichtern wir uns später die Arbeit bei
Wirkungsbeobachtung und Evaluation, wir vermeiden wesentliche Missverständnisse.
22
Anhang – Kopiervorlagen Kapitel 1
23
1.1 Akteure des Projekts

1. 2. 3.
Basisorganisation Entwicklungs- Förderorganisation
organisation
Ihre Mitglieder unterscheiden sich weiter z.B. hinsichtlich
Frauen Organisations Vorstand

und -hierarchie Hauptamtliche
Männer (Chef/in,
Fachpersonal Ehrenamtliche
Alte und
Junge Hilfskräfte) Öffentlichkeit
Frauen und / Spender
Ärmere
und Reiche Männer
Soziale und
ethnische
Herkunft
Diese unterscheiden sich weiterhin z.B. hinsichtlich
Interessen
Wahrnehmungen
Nutzen
Verantwortung
...
Wirkungsanalysen !
24
Fünf Schlüsselbegriffe
für Planung und Monitoring
von Projekten
Problem Indikator (Problem-Niveau)
Ziel Indikator (Ziel-Niveau)
Aktivität Budget
25
1.2 Probleme und Indikatoren
Problem: ein real existierender Zustand, der als negativ betrachtet wird und
eine Veränderung erfordert
Beispiel: die Frauen und Kinder sind unterernährt

die Einkommen der Bauern sind gering
Falsche Hinführung zur richtigen

Problemformulierung Problemformulierung
(„Woran fehlt es?“) („Wenn es einen Mangel an ... gibt, dann

ist die Folge, dass: ...“)
Mangel an Milchpulver und an Die Kindersterblichkeit ist sehr hoch

Medikamenten
Die Erträge des Manioks sind sehr
Mangel an Düngemitteln gering
Indikator: Die beispielhafte, konkrete Beschreibung
• eines Merkmales
• eines Zustandes
Ein objektiv nachprüfbarer Indikator hat fünf wesentliche

Informationen
Beispiel:
... bei welcher Bevölkerung? ... bei Frauen mit Kindern unter6 Jahren...
... zu welchem Zeitpunkt? Im Dezember 1998 (vor Projektbeginn)
... auf welchem Niveau? Beträgt 48kg (Problem-Niveau)
26
1.3 Ziele und Indikatoren
Ziel: erwünschter Zustand, der in der Zukunft erreicht werden soll
Beispiel: • die Kinder und die Frauen sind besser ernährt

• die Einkommen der Bauern sind gestiegen
Falsche Zielformulierung Hinführung zur richtigen

Zielformulierung
(„Welche Maßnahmen sollen am Ende („Wie soll die Situation der

durchgeführt sein?“) Projektadressaten zum Projektende
aussehen?“)
Ausbildung von Die Kindersterblichkeit ist gering

Krankenschwestern
Die Einkommen der Bauern sind
Ernährungsberatung gestiegen
Indikator: enthält Informationen, wie die Ausprägung des Zieles zu

bestimmten Zeitpunkten in der Zukunft sein sollte.
Beispiel:

... bei welcher Bevölkerung? ... bei Frauen mit Kindern unter6 Jahren...
... zu welchem Zeitpunkt? ... auf welchem Niveau?
Dezember 1998 (vor Projektbeginn) 48 kg (Problem-Niveau)
Dezember 1999 51 kg
Dezember 2000 53 kg
Dezember 2001 (nach Projektende) 54 kg (Ziel-Niveau)
27
1.4 Aktivitäten und Budget
Aktivität: eine Maßnahme oder Tätigkeit, die im Rahmen des

Projekts durchzuführen ist, um zu den Ergebnissen
oder Zielen zu gelangen
Beispiele:
• eine Kampagne zur Bewusstseinsbildung organisieren
• Kurse über Hygiene bei der Essenszubereitung für Frauen

veranstalten
• Intensive Betreuung durch Hebammen organisieren
Budget: Aufstellung der vorgesehenen Ausgaben und Einnahmen, die

sich aus den geplanten Aktivitäten ableiten lassen (oder aber
zur Aufrechterhaltung einer Projekt- oder
Organisationsstruktur notwendig sind)
Das Budget hat drei wesentliche Funktionen, die auch bei der späteren
Erfolgskontrolle von Bedeutung sind:
Verteilung der Ressourcen (Arbeitskraft, Geld, Material) auf die
Aktivitäten und damit auf bestimmte Verantwortlichkeiten (
Ausgaben)
Mobilisierung der notwendigen Ressourcen (Arbeitskraft, Geld,
Material), um den Plan durchzuführen ( Einnahmen)
Festlegung von Obergrenzen, die mit den Aussagen nicht überschritten
werden dürfen, und von Untergrenzen, die bei den Einnahmen zu
erreichen sind ( Wirtschaftlichkeit, Effizienz)
28
1.5 Rahmenbedingungen und Risken
Frage nach Risiken

• Was stellt das Erreichen der Projektziele in Frage?
Wenn wahrscheinlich ist, dass bestimmte Risiken das Erreichen

der Ziele in Frage stellen, klären:
• Gibt es alternative Vorgehensweisen?
• Was können wir selbst beeinflussen?
Wenn Risiken weiterhin bestehen, nach Rahmenbedingungen

fragen:
• Welche Rahmenbedingungen müssen gegeben sein, damit
wir unsere Ziele erreichen?
• Woran können wir sehen, dass die erforderlichen
Rahmenbedingungen gegeben sind? ( Ermittlung und
Beobachtung von Indikatoren)
29
Umformulierung von internen Risiken zu

Entwicklungszielen
Risiko (negativ) Ziel (positiv)
„Was sollte nicht passieren?“ „Was sollte (stattdessen)

passieren?“
• dass die Buchhaltung nicht • dass die Buchhaltung

regelmäßig geführt wird regelmäßig geführt wird
• dass die Mitglieder ihre • dass die Mitglieder ihre

Darlehen nicht rechtzeitig Darlehen rechtzeitig
zurückzahlen zurückzahlen
• dass in der • dass in der

Basisorganisation die Basisorganisation die
interne Kontrolle nicht interne Kontrolle
funktioniert funktioniert
30
1.6 Berichtwesen
Grundschema vier Spalten:
Was war geplant/ Was wurde Begründungen Korrektur-

vereinbart? erreicht? von maßnahmen
Abweichungen
Hier ist exakt zu Hier ist exakt die Sofern wesentliche Wenn Abweichungen
wiederholen, was Struktur der Abweichungen vorkamen:
vereinbart worden Vereinbarung vorkommen, ist zu
war wiederzugeben erläutern, wodurch
sie zustande kamen:
Ziele Ziele Was „wesentlich“ entweder:

ist, kann quantitativ
vorher festgelegt
mit Indikatoren: mit Indikatoren: was werden (z.B. 20%), wurde innerhalb der
wie vereinbart wurde erreicht? ansonsten kann Planungen korrigiert
flexibel nachgefragt
werden
Aktivitäten: Aktivitäten: oder:
wie vereinbart was wurde es ist eine Änderung

durchgeführt? der Pläne notwendig
Budget:
Budget: vorab klären:
Einnahmen und
Ausgaben in der Was wurde ist eine Änderung
vereinbarten tatsächlich zustimmungspflichtig
Struktur mit den eingenommen und
vereinbarten ausgegeben?
Beträgen
31
32
2. Wirkungsbeobachtung
2.1 Wozu dient die Wirkungsbeobachtung?
2.1.1 Warum die Wirkungen?
Effektivität und Effizienz
Jede Organisation erzeugt bestimmte Produkte. Während ein Unternehmen greifbare Produkte oder
Dienstleistungen anbietet, die einen Marktpreis haben, ist die Beschaffenheit der Produkte im
gemeinnützigen Bereich undeutlicher. In der Regel sind die Produkte einer „Non-Profit-
Organisation“ eben die Wirkungen, die sie im Sinne ihrer gemeinnützigen oder mildtätigen Ziele
erzeugt.
Der in der Entwicklungspolitik häufig verwendete Begriff hierzu ist Wirksamkeit oder
Effektivität eines Projektes oder einer Organisation; wir fragen: „Machen wir das Richtige?“ (Sind
unsere Ergebnisse sinnvoll?)
Des weiteren wollen wir unsere Arbeitskraft oder unser Geld (wovon wir ja nicht unendlich viel
haben) wirtschaftlich einsetzen, d.h. mit unseren begrenzten Mitteln wollen wir eine möglichst
große Wirkung erzielen. Während bei einem Unternehmen das Verhältnis von Aufwand und Ertrag
(„Input“ und „Output“) die Wirtschaftlichkeit (z.B. Rentabilität, niedrige Stückkosten) berechnet
wird, sind bei einer gemeinnützigen Organisation sowohl der Aufwand (z.B. die ehrenamtliche
Arbeit) als auch der Ertrag (eben die Wirkungen im Sinne ihrer gemeinnützigen oder mildtätigen
Ziele) nicht in Geld zu bewerten, und Wirtschaftlichkeitsrechnungen daher nur begrenzt möglich.
In der Entwicklungspolitik sprechen wir eher von Leistungsfähigkeit oder Effizienz eines
Projektes oder einer Organisation; wir fragen: „Machen wir es richtig?“ (Setzen wir unsere Mittel
und Kräfte richtig ein?)
Annähernd sinnvolle Aussagen über Effektivität und Effizienz einer gemeinnützigen Organisation
können wir also nur machen, wenn wir die Wirkungen im Sinne ihrer Ziele kennen, ergänzt um
eventuelle nicht beabsichtigte Wirkungen.
Rechenschaftslegung
Diese Aussagen über Effektivität und Effizienz sind natürlich kein Selbstzweck. Jede Förder- und
Entwicklungsorganisation steht im Rampenlicht der Öffentlichkeit und muss jederzeit in der Lage
sein, wahrheitsgetreu und umfassend Auskunft über die anvertrauten Gelder und die damit
erzeugten Ergebnisse geben zu können. Sogar der Staat interessiert sich dafür, nicht nur als
„Zuwendungsgeber“, z.B. prüft das Finanzministerium, ob die Organisation wirklich gemeinnützig
arbeitet und damit zu Recht steuerlich begünstigt ist.
Öffentlichkeit + Staat Öffentlichkeit + Staat
Entwicklungsorganisation Förderorganisation
Vorstand + Management Vorstand + Management
Mitglieder Mitglieder
Zuwendungsgeber Zuwendungsgeber
Adressaten („Zielgruppen“) Spender („Zielgruppen“)
33
Auch nach innen ist immer eine Rechtfertigung notwendig, denn es wird relativ viel Geld bewegt,
und die richtige Verwendung der Mittel ist auch intern nachzuweisen: die Mitarbeiter und
Mitarbeiterinnen gegenüber der Geschäftsführung (dem Management); das Management gegenüber
den Mitgliedern, vertreten durch den Vorstand.
Ob außen oder innen: es gibt noch weitere spezifische Zielgruppen, denen die gemeinnützigen
Organisationen nachweisen müssen, dass sie gut arbeiten, z.B. den Zuwendungsgebern,
Spendenden oder Projektadressaten. Sie sind im engeren oder weiteren Sinne beteiligt, weder die
Entwicklungsorganisation noch die Förderorganisation können auf ihr Vertrauen verzichten und
sind darum ihnen gegenüber rechenschaftspflichtig.
2.1.2 Warum die regelmäßige Beobachtung?
Selbststeuerung und Veranlassung interner Lernprozesse
In Basisorganisationen, Entwicklungsorganisationen und Förderorganisationen hat die

Beobachtung von Wirkungen neben der Rechenschaftslegung noch eine weitere Bedeutung: die
Wirkungsbeobachtung dient zur Selbststeuerung und zum Auslösen von internen Lernprozessen.
Hinsichtlich der Selbststeuerung lassen sich in der Entwicklungspolitik zwei Ebenen unterscheiden:
1. die Steuerung (das Management) der Projektdurchführung, sozusagen die Feinsteuerung des
Projektes im Rahmen der (bei Bedarf zu ändernden) Projektvereinbarung: dies wird meist
durch den Begriff Monitoring abgedeckt.
2. die Steuerung (das Management) der Organisationspolitik, z.B. Entscheidungen über
Organisationsziele, über Form und Inhalte der unterstützten Projekte (welche „Produkte“),
über die Zweckmäßigkeit von Strukturen und Kooperationen. Für diese Ebene der
Steuerung ist Monitoring nur eine Voraussetzung, ein wichtiges weiteres Instrument ist die
Evaluation, bei der auch die bisherigen grundsätzlichen Entscheidungen mit hinterfragt
werden können.
Die Selbststeuerung kann etwa so funktionieren, dass ergänzende Maßnahmen ergriffen werden,
wenn ein Projektansatz nicht die erwartete Wirkung bringt - bzw. wenn bestimmte Aktivitäten
erfolgreicher sind als erwartet, können diese ausgedehnt werden.
Zwei Aspekte der Steuerung seien hier erwähnt: Intern dient die fortlaufende
Wirkungsbeobachtung zunächst der Selbststeuerung. Extern dient sie außerdem der Steuerung der
Zusammenarbeit zwischen den verschiedenen Akteuren der Projektarbeit; sie dient dem Dialog, der
gemeinsamen Zielbestimmung, Interessenabklärung und dem koordinierten Handeln. In beiden
Fällen wird evtl. frühzeitig vermieden, dass unter äußerem Druck korrigierende Eingriffe erst
erfolgen, wenn „das Kind schon in der Brunnen gefallen ist“.
Mit diesen Steuerungsfunktionen ist auch verbunden, dass die Wirkungsbeobachtung ein
Instrument des Lernens ist: indem wir uns Veränderungen bewusst machen, ihre Ursachen
analysieren, verstärken wir die ganz normalen Lernvorgänge eines „trial and error“-Prozesses, die
sonst vielleicht eher bruchstückhaft reflektiert und nicht zwischen verschiedenen Akteuren
mitgeteilt werden.
Die Selbststeuerung beinhaltet also nicht nur die Beobachtung, sondern auch ihre Bewertung und
eine daraus abzuleitende Entscheidung. Verallgemeinernd sind es die drei Schritte sehen - denken -
handeln.
34
Da Kapitel 3 der Evaluation gewidmet ist, sollen sich die Ausführungen in Kapitel 2 stärker auf die
Wirkungsbeobachtung im Sinne des Monitorings beziehen; anders ausgedrückt:
Wirkungsbeobachtung wird als Instrument des täglichen Projektmanagements dargestellt.
2.2 Was wird beobachtet?

Monitoring richtet sich nicht nur auf Wirkungen; vielmehr werden konventionell Aktivitäten und
Finanzen wesentlich stärker im Sinne des Monitorings beobachtet (vgl. Kap. 1.7).
Aber im folgenden soll dargestellt werden, wie Wirkungen beobachtet werden können, um damit
Managemententscheidungen zu treffen. Und in diesem Abschnitt soll eine praktische Anleitung zur
Wirkungsbeobachtung gegeben werden. Doch dieser Begriff „Wirkungen“ muss zunächst einmal
von ähnlichen Begriffen abgegrenzt werden. Anschließend ist zu differenzieren, welche Arten von
Wirkungen es gibt. Und letztlich, was welchen Akteur interessiert.
Was sind Wirkungen?
Es scheint uns sinnvoll, bei der Begriffsklärung schrittweise vorzugehen:

Zunächst einmal können wir einen Zustand erfassen. Dabei ist es immer einfacher, den aktuellen
Zustand zu ermitteln (vgl. auch Kap. 1.2), aber wir können mit mehr oder weniger Aufwand auch
rückwirkend frühere Zustände ermitteln. Es ist naheliegend, dass die Information um so unpräziser
wird, je weiter zurück der untersuchte Zustand in der Vergangenheit liegt, wir uns aber nur auf die
Erinnerung an „damals“ berufen können.
Wenn wir zwei Zustände vergleichen, z.B. bei Projektbeginn und heute, dann können wir meist
eine Veränderung feststellen. Auch wenn wir im ersten Moment über die Ursachen der
Veränderung keine Klarheit haben, so müssen wir doch erst einmal die Fakten sammeln, die wir
mit unserer Ausgangssituation in Verbindung bringen können.
Zum Zeitpunkt der Planung hatten wir Wirkungshypothesen (vgl. Kap. 1.3) erstellt, d.h. Annahmen
über bestimmte Ursache-Wirkungs-Zusammenhänge gemacht, die zu einer Ziel-Mittel-Struktur der
Ziele und Aktivitäten geführt hatten. Wenn die beobachteten Veränderungen in einem Ursache-
Wirkungs-Zusammenhang mit unseren Aktivitäten stehen, dann müssen wir annehmen, dass sie
Wirkungen unseres Projektes sind.
Ob eine Veränderung eine „reine“ Projektwirkung ist oder nicht, wird sich letzten Endes nie
beweisen lassen. Je weiter die Veränderung von unseren Aktivitäten „entfernt“ ist, d.h. je indirekter
die Einflussmöglichkeit unseres Projekts auf den veränderten Zustand, desto undeutlicher wird der
ursächliche Zusammenhang. Es kann die Aufgabe einer Evaluation sein, solche
Wirkungshypothesen zu hinterfragen bzw. andere Zusammenhänge aufzuzeigen; das kann sowohl
theoriegeleitet geschehen, als auch anhand von Befragungen von Betroffenen.
Immer häufiger wird das englische und französische Wort „impact“ (spanisch: impacto) mehr oder
weniger synonym für Wirkung benutzt. In den drei Sprachen steht es für Bedeutungen wie
„Aufprall“, „Einschlag“, „Wucht“ oder gar „Treffer“. Daher können wir „impact“ - das zunehmend
in die deutsche Fachsprache eingeflossen ist - als eine kräftige Auswirkung eines Projektes deuten.
Welche Wirkung nun stärker ist als eine gewöhnliche, ist nicht eindeutig, aber es wird sich dabei
meist um eine oder mehrere signifikante Projektwirkungen gehen, die entweder den Adressaten
sehr wichtig waren bzw. sind, oder die entscheidend eine Kette von weiteren Veränderungen
bewirken.
Der Begriff „impact“ wird manchmal auch im Sinne von langfristiger Wirkung benutzt; dafür
scheint jedoch das Wort Nachhaltigkeit bzw. nachhaltige Wirkung präziser. Das heißt aber nicht,
dass die Wirkung auf ewig anhalten wird: selbst wenn nach einigen Jahren gewünschte
35
Projektwirkungen noch vorhanden sind, ist damit noch nicht gesagt, dass sie mit Dauerhaftigkeit
bleiben werden.
Daraus ergeben sich zusammenfassend folgende Schritte für die Ermittlung von Wirkungen:
• Zunächst wird der Ausgangszustand ermittelt.
• Durch regelmäßige Beobachtung wird festgestellt, inwieweit sich die Situation verändert.
• Mit Hilfe von Wirkungshypothesen wird eine Annahme getroffen, ob die Veränderung der
Situation eine Projektwirkung ist.
• Regelmäßige Beobachtung des Zustandes, auch nach Projektende, wird zeigen, ob eine
Wirkung nachhaltig oder gar dauerhaft ist.
Wie wird abgeleitet, welches die zu beobachtenden Wirkungen sind?
Weil die Wirkungsbeobachtung im Sinne von Monitoring hier als ein Instrument des Projekt-
Managements dargestellt wird, steht die Frage im Vordergrund: Was ist wichtig für die Steuerung
des Projekts?
Die Zielebenen (formelle Ziele):
Wie in Kap. 1.3 dargestellt, beschreiben die Ziele eines Projekts - wenn sie nach den dort
genannten Regeln formuliert sind -, welche Wirkungen durch das Projekt erwartet werden. Je
nachdem wie systematisch bei der Projektplanung vorgegangen wurde, können mehrere Ebenen
von Zielen unterschieden werden:
• Oberziel: ein Zustand, der in der Zukunft zu erreichen ist, zu dem das Projekt einen Beitrag
leisten wird (= das Projekt leistet einen Beitrag zu diesem Oberziel, aber er ist eher indirekt)
• Projektziel: ein Zustand in der Zukunft, der durch ein bestimmtes Projekt erreicht werden soll
(= das Projektmanagement kann das Projektziel mit großer Wahrscheinlichkeit erreichen, ist
aber nicht alleine dafür verantwortlich)
• Ergebnis: ein Unterziel, für welches das Projekt verantwortlich ist (= das Projekt kann das
Ergebnis mit großer Wahrscheinlichkeit in eigener Verantwortung erreichen) oder aber ein
Produkt oder eine Dienstleistung, welche das Projekt den Adressaten des Projekts zur
Verfügung stellen muss, damit die gewünschten Wirkungen eintreten.
Die Sicht der verschiedenen Akteure (informelle Ziele):
Wie in Kap. 1.1 dargestellt, haben die einzelnen projektbeteiligten Organisationen unterschiedliche
Sichtweisen und Interessen in vielen Dingen, u.a. auch hinsichtlich der Ziele eines Projekts. Zwar
ist es wahrscheinlich, dass sie sich über eine Projektvereinbarung auf eine gemeinsame
Zielformulierung geeinigt haben, doch es ist trotzdem anzunehmen, dass es sich dabei um einen
Kompromiss handelt, und keinen vollen Konsens:
• weil sie unterschiedliche Problemsichtweisen haben
• weil sie unterschiedliche Prioritäten haben
• weil sie unterschiedliche Bedürfnisse haben
• weil sie unterschiedliche Zielvorstellungen haben
• weil sie sich unterschiedlich gut (im Entwicklungsjargon) artikulieren können
• weil sie sich unter einer (abstrakten) Formulierung Unterschiedliches vorstellen
Es ist anzunehmen, dass es bei den Zielen mehrere Perspektiven gibt:
36
• eine - formelle - Zielvorstellung in der die Projektvereinbarung, die relativ professionell

formuliert, manchmal aber auch etwas abstrakt ist
• mehrere - informelle - Zielvorstellungen, die oft unausgesprochen und diffus sind, manchmal
auch irrational scheinen, die aber nichtsdestotrotz die Entscheidungen der Projektbeteiligten
bestimmen
Die Wirkungen, die aufgrund der formellen Zielvorstellungen erwartet werden, müssen in jedem
Fall beobachtet werden. Aber die anderen? Wir müssen immer davon ausgehen, dass es auch
andere als die formellen Ziele gibt. Teilweise können wir sie erforschen,
indem wir die anderen Projektbeteiligten danach befragen - möglichst ohne direkte Bezugnahme
auf die formell vereinbarten Ziele -, was sie sich denn von dem Projekt erwarten, oder von ihm
befürchten. Teilweise werden sich uns die informellen
Zielvorstellungen aber auch nie klar erschließen, sei es, weil sie zu diffus sind oder im
Unterbewusstsein verharren, sei es, weil sie als sehr persönliche Interessen eher im Verborgenen
bleiben sollen.
Zielformulierungen aus Rahmenbedingungen und Risiken:
In Kap. 1.5 wurde bereits dargestellt, wie interne Risiken zu Entwicklungszielen umformuliert
werden können. Auch wenn es nur unser Ziel zu sein scheint, bestimmte Dinge zu vermeiden, so
setzen wir damit doch ein weiteres Ziel: die Beispiele in Kap. 1.5 zeigen, dass es hierbei um
besonders wichtige Entwicklungsziele gehen kann.
Es versteht sich, dass diese Risiken von den unterschiedlichen Projektbeteiligten verschieden
wahrgenommen und beurteilt werden - meist sehen wir eher die Risiken bei den anderen als bei uns
selbst, eigene interne Risiken zu benennen kommt einem Eingeständnis von Schwäche gleich.
Wertvorstellungen und Grundsätze:
Nicht selten finden wir in der Satzung, in der Selbstdarstellung oder in den Grundsatzdokumenten
einer Organisation sehr wichtige Zielvorstellungen: z.B: die Situation der Frauen soll sich
verbessern, die interne Demokratie soll gestärkt werden, einheimische Erzeugnisse sollen wieder
aufgewertet werden oder die natürlichen Ressourcen sollen geschont werden. Die
entwicklungspolitischen Grundsätze bleiben manchmal nur auf dem Papier, sie geraten in
Vergessenheit, niemand fordert darüber Auskunft, wie denn die tatsächlichen Ergebnisse der Arbeit
aussehen.
Das gilt übrigens nicht nur für „die anderen“, sondern es gilt ebenso für uns selbst: bewirken wir
denn tatsächlich, was wir für uns als entwicklungspolitische Organisation anstreben, bzw. was wir
nach außen hin versprechen?
Auch hier müssen wir die Wirkungen beobachten, um nach innen und außen auskunftsfähig zu
sein. Und zwar sollte jede und jeder Projektbeteiligte nochmals prüfen, hinsichtlich welcher
Wertvorstellungen und Grundsätze besondere Aufmerksamkeit notwendig ist.
Welche Unterscheidungen von Wirkungen gibt es?
Auch wenn es teilweise Wiederholungen geben mag, seien nochmals einige Unterscheidungen von
Wirkungen vorgenommen:
Erwartete und unerwartete Wirkungen:
Die erwarteten Wirkungen sind insbesondere diejenigen, die ausdrücklich durch die
Zielformulierung des Projekts angestrebt werden; sie werden in der Regel von Anfang an
beobachtet. Darüber hinaus ist es natürlich denkbar, dass manche erwartete Wirkungen nicht
37
explizit erwähnt werden, weil sie eng mit dem Ziel zusammenhängen, oder aber nicht besonders
erwähnenswert erscheinen. Ebenso können - auch als Begleiterscheinung zu einer positiven
Zielerreichung - negative Nebenwirkungen befürchtet werden.
Die unerwarteten Wirkungen sind nicht vorhergesehen worden, in den seltensten Fällen werden sie
darum von Anfang an beobachtet. Wir können diese unerwarteten Wirkungen nicht erfassen, wenn
wir nur nach den Zielen (= angestrebten Wirkungen) fragen.
Ausnahme könnte allerdings sein, dass es als ein Ziel (oder Risiko oder Grundsatz) formuliert war,
einen bestimmten Zustand unverändert zu lassen, das Projekt nun aber doch unvorhergesehen
Auswirkungen hat.
Beispiel: die Erhaltung der Trinkwasserqualität bei der Ansiedlung von Kleinbetrieben in den
Stadtvierteln XYZ von M.
Positive und negative Wirkungen:
Es sei hier nur daran erinnert, dass Wirkungen nicht immer nur positiv (= wünschenswert) sein
müssen. Wir sollten versuchen, Wirkungen auch vorherzusehen und zu beobachten, wenn sie
negativ (= nicht wünschenswert) sind; meist aber stellen sich die negativen Wirkungen unerwartet
ein. Die Bewertung, ob eine Wirkung positiv oder negativ ist, kann oft subjektiv sein, sie hängt
letztlich ab von den Wertesystemen und Grundsätzen der Akteure.
Direkte und indirekte Wirkungen
Bei den direkten Wirkungen gibt es nach den Wirkungshypothesen, die der Planung zugrunde
liegen, meist eine klare Ziel-Mittel-Beziehung zwischen den Projektmaßnahmen und den
beobachteten Wirkungen.
Bei den indirekten Wirkungen ist die Ziel-Mittel-Beziehung weniger klar, entweder weil zwischen
Projektmaßnahmen und Wirkungen mehrere Stufen sind, oder weil außer den Projektmaßnahmen
noch mehrere andere Maßnahmen und Rahmenbedingungen bedeutenden Einfluss auf die
Veränderungen gehabt haben können.
Die Einschätzung, ob direkte oder indirekte Wirkung, kommt ausschließlich aus den
Wirkungshypothesen; sie lässt sich nicht beweisen (vgl. Kap. 1.), und die Unterscheidung zwischen
beiden ist natürlich fließend.
Projektbudget:
Wie in Kap. 2.1 beschrieben, sind die Finanzen bzw. ist das Projektbudget mit Sicherheit kein
Indikator für Wirkungen. Aber es gibt ja viele Gründe, das Projektbudget regelmäßig zu
beobachten:
Wenn kein Überblick über Einnahmen und Ausgaben da ist, können keine wichtigen
Projektentscheidungen fallen.
Monitoring von Aufwand (Arbeitskraft, Geldausgaben, Material) und Ertrag (Ergebnisse,
Wirkungen) eines Projekts müssen als wesentliche Führungsinformationen immer in
Verbindung zueinander gesehen werden.
Ein wesentlicher Grund ist, dass häufig Aussagen über Effizienz erwartet werden, und dabei
können Wirkungen zum monetären Aufwand (den Geldausgaben) in Beziehung gesetzt
werden.
Die Budgetkontrolle ist in jedem Fall ein elementares Management-Instrument; hier sei nur daran
erinnert, dass sie ebenfalls in Verbindung mit der Wirkungsbeobachtung relevant ist.
Auswahl der zu beobachtenden Wirkungen:

38
Es wird deutlich, dass es eine schier unendliche Anzahl von Dingen zu beobachten gibt: alle Arten
von Zielen, die Vielfalt von Akteuren, die vielen Arten von Wirkungen. Aber es ist unmöglich, alle
denkbaren Wirkungen regelmäßig und vorab zu beobachten.
Wir müssen eine Vorauswahl treffen.
Die Auswahl der zu beobachtenden Wirkungen hängt in erster Linie ab von den Zielen der Akteure
und den Mandaten der beteiligten Organisationen. Sie wird weiterhin bestimmt durch
• den Umfang des Projekts
• die Summe der eingesetzten Geldmittel
• die für Wirkungsbeobachtung zur Verfügung stehenden Zeit und Mittel
• das wissenschaftlichen Erkenntnisinteresse
• die Methodenkenntnisse und Erfahrungen in der Wirkungsbeobachtung
• den Ausbildungsstand der Beteiligten
• den Rechtfertigungsdruck des Projektmanagements gegenüber anderen Projektbeteiligten
und durch vieles andere mehr. Letztlich wird mit der Auswahl eine politische Entscheidung
getroffen, die durch ökonomische Motive geprägt ist, denn die regelmäßige Informationssammlung
und ihre Verarbeitung kosten Arbeitszeit und verursachen damit Personalkosten. Aufwand und
Ertrag müssen auch bei der Wirkungsbeobachtung optimiert werden.
Um das weite Spektrum der Möglichkeiten wieder auf ein realistisches Maß einzuengen: für den
Anfang sollte es genügen, wenn jeder der beteiligten Projektakteure (Basisorganisation,
Entwicklungsorganisation, Förderorganisation) jeweils 3 - 5 erwartete Wirkungen regelmäßig
beobachtet, und zwar diejenigen, die ihnen jeweils am wichtigsten erscheinen. Auf diese Weise
werden vielleicht 5 - 10 wichtige Wirkungen insgesamt beobachtet, manche davon aus mehr als
einer Perspektive. Das ist am Anfang schon eine ganze Menge!
2.3 Wer beobachtet?

Es ist davon auszugehen, dass jeder der Projektbeteiligten die Wirkungen beobachtet, die für sie
oder ihn von Bedeutung sind - allerdings geschieht das oft nicht systematisch. Im Idealfall ist
folgendermaßen vorzugehen:
Nachdem jeder der Akteure für sich definiert hat, welche Wirkungen zu beobachten sind, sollten
sich die Projektbeteiligten koordinieren, wer was beobachtet.
Obwohl es der Normalfall ist, dass die Entwicklungsorganisation das Projektmonitoring durchführt
und somit auch die Wirkungsbeobachtung übernimmt, ist das keineswegs der einzige oder gar beste
Weg. Es hängt vom Einzelfall ab:
• Gibt es in der Basisorganisation Mitglieder oder Vertrauenspersonen, die in der Lage sind, die
Situation der Adressaten des Projekts kontinuierlich zu beobachten? (interne
Kontrollfunktionen, Geschäftsbereichsverantwortliche, Dorflehrer oder -lehrerin, Geistliche)
• Gibt es andere Organisationen, die aufgrund ihres fachlichen Mandats ohnehin regelmäßig die
Situation der Adressaten hinsichtlich der Problemsituation beobachten? (Gesundheitsposten,
Landwirtschaftsberater oder -beraterin, benachbartes Projekt)
• Hat die Förderorganisation - oder eine kofinanzierende Förderorganisation - ein ausreichend
großes Interesse an bestimmten Wirkungen, dass sie ein externes Monitoring durch
unabhängige Fachleute beauftragen will? Oder haben sie etwa ein spezielles Interesse,
39
manche Dinge ganz unabhängig (und verdeckt) vom bestehenden Monitoringsystem zu

beobachten?
Es empfiehlt sich in jedem Fall immer ein Monitoring bzw. eine Wirkungsbeobachtung auf drei
Ebenen:
1. Ebene der Projektverantwortlichen:
Diese müssen ohnehin permanent die Bereiche beobachten, für welche sie verantwortlich sind. Sie
sind sehr nah an der Umsetzungsebene und sollten über alles Wesentliche im Projekt Bescheid
wissen. Doch nicht immer ist der Informationsfluss innerhalb der durchführenden
Entwicklungsorganisation gut, Hierarchieebenen und Führungsstile können verhindern, dass offen
über eventuelle Probleme gesprochen wird. Und aus diesem Grund, und weil die Außendarstellung
interessengebunden ist, wird vielleicht auch nicht jede unliebsame Information den anderen
zugänglich gemacht, selbst wenn sie von den Projektverantwortlichen gesehen wird.
2. Ebene der Projektadressaten:
Sie sind unmittelbar von den Projektwirkungen betroffen, sie wären von daher die geeignetsten
Beobachtungs- und Auskunftspersonen. Bei partizipativen Projektansätzen ist es ein Langzeitziel,
dass die Betroffenen selbst die Wirkungsbeobachtung durchführen. Der Weg dorthin ist allerdings
weit und dornig:
• die Adressaten verfügen oftmals nicht über die erforderliche Fachkenntnis (z.B. keine
Schulbildung)
• die Adressaten haben bisher noch nie oder selten eine solche Verantwortung regelmäßig
übernommen
• einzelne Personen (mit schwachem Status) aus der Basisorganisation würden es nicht wagen,
Informationen weiterzugeben, die andere (mit starkem Status) kompromittieren könnten
• einzelne Personen (mit starkem Status) aus der Basisorganisation würden bestimmte
Informationen nicht preisgeben wollen, die sie selbst bloßstellen oder ihnen zum Nachteil
gereichen könnte
• ähnlich wie bei der Entwicklungsorganisation gibt es interne Hierarchien und Führungsstile,
die der internen Transparenz hinderlich sind
• die Basisorganisation hat oftmals Zielvorstellungen und Faktenwissen, die höchst ungern den
anderen Projektbeteiligten weitergegeben werden. Doch es gibt auch Wege, diese
Schwierigkeiten zu überwinden. Wichtige Instrumente dazu sind das PRA und das
Participatory Impact Monitoring (PIM). Diese erfordern zwar anfangs noch eine enge
Begleitung der Basisorganisation, doch es gelingt oft in eindrucksvoller Weise,
Wahrnehmung und Bewusstsein der Adressaten zu schärfen, sie in Entscheidungen
einzubinden und sie zunehmend zur Gestaltung ihres eigenen Umfeldes zu befähigen.
3. Ebene der unabhängigen Gutachterinnnen und Gutachter:
Sie können relativ neutral beobachten, urteilen und darüber berichten; sie haben zwar nur einen
relativ kurzen Einblick in die Situation und können dabei manches übersehen, doch als Fachleute
können sie oft auch viel Wesentliches sehr schnell erfassen.
Wichtig ist zu verstehen, dass diese unabhängigen Gutachtenden nicht „die absolute Wahrheit“
feststellen können (zumal es keine absolute Wirklichkeit gibt, sondern immer nur davon
konstruierte Bilder), sondern sie können ihr durch fachliche Berufserfahrung geprägtes Bild
aufzeichnen und damit eine unabhängige Meinung abgeben. Diese Meinung können die Beteiligten
40
ganz oder teilweise ablehnen oder annehmen; in jedem Fall sollte sie als wesentlicher Bezugspunkt
der gemeinsamen Diskussion dienen. (vgl. auch Kap. 3: Evaluation)
2.4 Wann (und wie oft) wird beobachtet?

Wann und wie oft ein Indikator beobachtet werden muss, hängt von folgenden Umständen ab:
• Wann bzw. wie häufig fallen (projektintern) Entscheidungen, für die der aktuelle Zustand =
die Ausprägung des Indikators bekannt sein muss? (z.B. alle 6 oder 12 Monate; es kann aber
auch wesentlich häufiger sein, etwa bei Katastrophen, bei der Bekämpfung von Krankheiten,
besonders bei einer Epidemie)
• Wie oft muss internen Aufsichtsgremien oder externen Projektbeteiligten (aber auch der
Öffentlichkeit) über den Zustand = die Ausprägung des Indikators berichtet werden?
• Wie häufig und wie stark schwanken die Werte des Indikators? Wie wichtig ist es, dass wir
die neuesten Daten über den Zustand = die Ausprägung des Indikators haben? (z.B.
Entwicklung des Durchschnittsgewichts und der Durchschnittsgrößen von Kindern)
• Wie oft und wann ist das Kriterium von seiner Natur her überhaupt messbar? (z.B.
Ernteerträge; saisonbedingte Daten)
• Wie aufwendig sind die Erhebung und die Berichterstattung?
Für jeden einzelnen Indikator, den die Projektbeteiligten für die Wirkungsbeobachtung ausgewählt
haben, sollte bei der Planung oder Projektvereinbarung, spätestens bei Projektbeginn festgelegt
werden, wann er sinnvoll zu erheben ist.
Die Überprüfung der Frage, wer wann tatsächlich für die Beobachtung einzelner Indikatoren und
die Berichterstattung darüber verantwortlich ist, mag nochmals zu einer kritischen Durchsicht der
in Schritt 2 (Kap. 2.2) und 3 (Kap. 2.3) getroffenen Entscheidungen führen.
Als nächstes sollte - sofern möglich - für jeden vorgesehenen Erhebungszeitpunkt ein zu
erwartender Wert genannt werden. Das ist einfacher, wenn es sich um messbare Daten handelt,
aber es ist ebenso machbar, wenn es um skalierte, klassifizierte oder qualitativ beschriebene
Indikatoren geht (vgl. Kap. 1.2).
Bei der Analyse der Ausgangssituation und der zu behebenden Probleme haben wir ja schon die
anfängliche Ausprägung des Indikators ermittelt (Kap. 1.2) sowie die angestrebte Veränderung zum
Ende der Projektlaufzeit benannt (Kap. 1.3). Was jetzt bei diesem Schritt zu tun bleibt, ist zu
schätzen, wie sich die Indikatoren zwischen Anfang und Ende des Projekt wohl realistischerweise
entwickeln wird, z.B.:
• linear: gleiche Veränderung in gleichen Zeitabständen
• progressiv: bei gleichen Zeitabständen anfangs kleinere, später größere Veränderungen
• degressiv: bei gleichen Zeitabständen anfangs größere, später kleinere Veränderungen
• unregelmäßig: entweder, weil die Veränderungen aufgrund externer Einflüsse so verlaufen
könnten, oder aber weil die Messzeitpunkte sehr unregelmäßig sein müssen
2.5 Wie wird dokumentiert?
Interne Dokumentation für das Projektmanagement
41
Bei der Dokumentation der beobachteten Wirkungen muss zunächst einmal die geordnete
projektinterne Dokumentation sichergestellt sein. Sie geschieht am besten, indem für jeden
Indikator ein gesondertes Blatt angelegt wird, das dann über die gesamte Projektlaufzeit - oder
sogar darüber hinaus - weitergeführt wird. Folgende Struktur bietet sich an.
Das Indikator-Beobachtungsblatt besteht aus zwei Teilen: einem Kopfteil mit den gleichbleibenden
Grunddaten und einem Erhebungsteil, in den die Erhebungsergebnisse und Kommentare
fortlaufend eingetragen werden.
Bezeichnung des Feldes Eintrag

Kopfteil
Projekt Name des Projekts
Ziel/ Erwartungen/ Fürchtung/ sonstiges Woher wurde der Indikator abgeleitet? In der
Regel von einem Ziel (vgl. Kap. 2.2), aber es
können auch informelle Erwartungen oder
Befürchtungen sein, Grundsätze der
Organisation, Risiken o.ä.
Beschreibung des Indikators (Kriterium, Die ersten drei Informationen eines Indikators
Bevölkerung, Region) (vgl. Kap. 1.2)
Niveau des Indikators (oder Basisdaten) bei Die Ausprägungen des Indikators vor oder bei
Projektbeginn Projektbeginn, das „Problem-Niveau“
Informationsquelle (+Verantwortliche) Aus welcher Quelle werden die Informationen
beschafft? Wer ist für die
Informationsbeschaffung = interne
Berichtserstattung verantwortlich?
Erhebungsteil
Datum Die Erhebungszeitpunkte
Erwartete Ergebnisse Die angestrebten und zu erwartenden
Ergebnisse; beim Ausgangszustand ist ja im
Kopfteil eingetragen; die folgenden Einträge
beschreiben die zu erwartende Entwicklung des
Indikators (vgl. Kap. 2.4); der (vorläufig) letzte
Wert bezieht sich auf den Zustand, der bei
Projektende erreicht sein sollte („Ziel-Niveau“)
Erreichte Ergebnisse Zu jedem Erhebungszeitpunkt werden hier die
neuen Ausprägungen des Indikators eingetragen.
Analyse der Abweichungen Sobald im Falle von Abweichungen eine
Entscheidung über nötige Korrekturen gefallen
ist, wird dies hier notiert; dabei prüfen, ob
Planänderungen notwendig sind und
Zustimmungen eingeholt werden müssen.
42
Indikator-Beobachtungsblatt
Projekt: Ernährungsberatung in M
Ziel/ Erwartung/ Befürchtung/ sonstiges Ziel 1: Verbesserte Ernährung
Beschreibung des Indikators (Kriterium, Bevölkerung, Region) das Gewicht bei Frauen mit
Kinder unter 6 Jahren in den Vierteln XYZ von M. ist gestiegen
Niveau des Indikators (oder Basisdaten) bei Projektbeginn .... Dezember 1998:48 kg
Informationsquelle (+Verantwortliche/r) Jährliche Erhebung durch XYZ
Datum Erwartete Erreichte Analyse der Abweichungen Korrekturmaßnahmen
Ergebnisse Ergebnisse
31.12.99 51 kg 49,5 kg Die Projektaktivitäten waren Zusätzliche
zu spät angelaufen, um voll Vertiefungskurse für
zu greifen; Beraterinnen Beraterinnen,
unzureichend ausgebildet monatliches Coaching
durch ZY
31.12.00 53 kg 52.,6 kg Geringe Abweichung -
31.12.01 54 kg
Um die Übersicht über die Indikator-Beobachtungsblätter zu behalten, sind sie sortiert in einem
Ordner abzuheften. Darüber hinaus ist es sinnvoll, ein Deckblatt „Monitoring-Kalender“ oder
„Liste der Indikatoren“ zu verwenden, aus dem auf einen Blick ersehen werden kann, welche
Indikatoren es gibt und wann sie durch wen zu erheben sind. Es ist folgendermaßen aufgebaut:
Formular „Monitoring-Kalender“
Bezeichnung des Eintrag

Feldes
Liste der Sämtliche Indikatoren, die regelmäßig beobachtet werden, sind hier
Indikatoren aufzuzählen (auch wenn sie nicht Wirkungen, sondern z.B. Aktivitäten
betreffen)
Nr. Es empfiehlt sich eine laufende Nummerierung, evtl. mit Buchstabenkürzeln

(z.B. Z 1 = Ziel 1, R 3 = Risiko 3, oder was auch immer gebraucht wird) in
der betreffenden Sprache
Name des Die Bezeichnung des Indikators (z.B. Meiserträge, Sommerdurchfälle bei
Indikators Kleinkindern)
Monitoring- Wer ist für die Berichterstattung über den betreffenden Indikator
Verantwortlicher verantwortlich?
43
Jahr Die betreffende Jahreszahl; es versteht sich, dass hier auch eine mehrjährige
Periode (Projektlaufzeit) eingetragen werden könnte.
Monate Die einzelnen Monate; alternativ, bei mehrjährigen Monitoring-Kalendern

auch einzelne Quartale
Berichterstattung an andere Projektbeteiligte
In der Regel muss die Entwicklungsorganisation - über die interne Dokumentation dieser
Information hinaus - den anderen Projektbeteiligten regelmäßig formal Bericht erstatten. Die
Förderorganisationen erwarten in der Regel Projektfortschrittsberichte alle 6 oder 12 Monate. Jede
Förderorganisation hat für die Struktur leider eigene Regeln - wenn überhaupt. Ein typischer
Aufbau solcher Berichte könnte sein:
Veränderungen im Umfeld des Projekts
Veränderungen innerhalb der Entwicklungsorganisation und der Basisorganisation
Vergleich: was war geplant / was wurde erreicht
(bei Abweichungen:) Abweichungsanalyse und ggf. Korrekturmaßnahmen
weitere Punkte, die für das Mandat / die Ziele der Förderorganisation von besonderer
Bedeutung sind
Bedarf an zustimmungspflichtiger Veränderung der Pläne und des Budgets
Sonstiges (welche Rückmeldungen haben wir erhalten, was haben wir gelernt, welcher
Beratungsbedarf besteht gerade, offene Fragen)
Monitoring-Kalender
Liste der Indikatoren Monitoring- Jahr: 2000

Verantwortl. Monate
Nr. Name des Indikators Name (Person) 1 2 3 4 5 6 7 8 9 10 11 12
Die Berichterstattung der Entwicklungsorganisation an die Basisorganisation dürfte weniger

formalisiert sein. Wenn sie überhaupt erfolgt, dann häufig mündlich und eher beiläufig. Sehr gut ist
es, wenn neben der (sehr häufig geeigneten) informellen Information auch eine formale
Berichterstattung an die Gremien der Basisorganisation erfolgt - das mag oft eine
Mitgliedervollversammlung sein.
Basis- und Förderorganisation haben meist keine formalisierten Berichtspflichten. Es wird
zunehmend gefordert, dass auch die Förderorganisationen den anderen Akteuren in deren
44
Verkehrssprache formal berichten („reversed reporting“); vielleicht bietet sich inzwischen mit dem
Internet vielen Hilfswerken ein leichterer Einstieg in neue Berichtsformen.
Externe Dokumentation für die Adressaten des Projekts
Es macht Sinn, auch die Adressaten des Projekts kontinuierlich über die beobachteten Wirkungen
zu informieren. Das muss dann in einer Form geschehen, die den Adressaten verständlich ist, d.h.
ihrer Kultur, ihrem Ausbildungsstand, ihrer Wahrnehmung angemessen ist, und zugleich Interesse
weckt und zur Reflexion animiert.
Abgesehen davon, dass die Information mündlich auf Versammlungen geschehen kann, sollte sie
auch in schriftlicher oder graphischer Form dokumentiert sein. Sehr geeignet sind Poster, die an
leicht zugänglichen Stellen (Dorfplatz, Kirche, Rathaus, etc.) angebracht werden, oder an der
Stelle, wo die Adressaten vom Thema betroffen sind (Gesundheitsposten, Kooperativengebäude,
am Weg zum Fluss, etc.). Anmerkung: Es ist sehr positiv, dass Gesundheitsposten immer häufiger
regelmäßig die Veränderung der Gesundheitssituation beobachten und dies auch dokumentieren.
Weil diese Berichte nur intern sind, geschieht das leider meist nicht in einer „kundenfreundlichen“
Form, sondern die schreibmaschinengeschriebenen Tabellen hängen einfach im Büro an der Wand.
Für die Gestaltung der Poster sind der Phantasie keine Grenzen gesetzt, solange sie verständlich
sind und Interesse wecken. Auf den folgenden Seiten sind einige Beispiele abgebildet (vgl.
folgende 2 Seiten).
Diese anschaulich visualisierte Form der Berichterstattung dürfte auch geeignet sein, wenn die
Basisorganisation selbst die Wirkungsbeobachtung durchführt und dabei den anderen
Projektbeteiligten berichtet - der Entwicklungsorganisation, der Förderorganisation, den eigenen
Mitgliedern, aber auch allen Adressaten des Projekts.
Das ist nicht nur besonders authentisch, sondern es hat auch einen sehr praktischen Aspekt: es
müssen keine gesonderten Berichte geschrieben werden (höchstens ein paar Erläuterungen, falls
notwendig). Oft nämlich findet eine Berichterstattung hauptsächlich deswegen nicht statt, weil der
zusätzliche Redaktionsaufwand des Berichteschreibens zu groß ist. (Eine beliebte Bezeichnung für
den nicht-finanziellen Projektbericht ist „narrative report“ / „rapport narratif“ / „informe narrativo“
- und die Narration ist schließlich die Erzählung, das Märchen!)
2.6 Wer hält den Spiegel vor?

Jede Beobachtung von Wirkungen und die Form der Berichterstattung kann subjektiv geprägt sein:
• Die Wahrnehmung kann subjektiv sein
• Die Dokumentation und die Berichterstattung können individuell gefärbt sein
• Die Weitergabe von Informationen kann interessengebunden sein
Das ist völlig normal, und insofern können wir im Projektalltag auch sehr gut damit leben. Zum
Problem wird es, wenn die subjektiven Nuancen zu größeren Verzerrungen im Berichtswesen
führen.
Beim PRA, der partizipativen Methode der Situationsanalyse, bei der die Basisorganisation in
hohem Maß selbst aktiv ist, gibt es das Prinzip der Triangulation: alles sollte regelmäßig aus einer
anderen Perspektive betrachtet werden, um ein runderes Bild von der Situation zu bekommen.
Bei der Wirkungsbeobachtung heißt das, dass die Wirkungen auch aus anderen Perspektiven
betrachtet werden sollten. Dies kann geschehen durch die anderen Projektbeteiligten innerhalb und
außerhalb der betreffenden Organisation, oder aber durch unabhängige Gutachterinnen und
45
Gutachter. Diese anderen Beobachtenden bekommen kein „richtigeres“ oder „wahreres“ Bild, aber
sie ergänzen das Bild durch ihre (subjektive) Beobachtung, durch ihre Meinung. Oft bringen
unabhängige Gutachter und Gutachterinnen umfangreiche fachliche Berufserfahrungen ein, dafür
aber geringere situations- und kontextspezifische Kenntnisse.
So können wir uns eine interne Rückmeldung vorstellen, z.B. durch
• Teamkollegen und -kolleginnen
• Vorgesetzte
• Eine interne Instanz zur Dokumentation oder Kontrolle (Beispiel: Monitoring- und
Evaluierungs-Bereich, „M+E“-Einheit)
• Intern beauftragte Beratende oder Gutachtende
Oder aber eine externe Rückmeldung z.B. durch
• Adressaten des Projekts
• Andere projektbeteiligte Organisationen
• Extern (von anderen Projektbeteiligten) beauftragte Beratende oder Gutachtende
Je nachdem, wie die Dialogkultur innerhalb der Wirkungen beobachtenden Organisation ist, oder
zwischen den projektbeteiligten Organisationen, wird die Rückmeldung produktiv genutzt, zum
Dialog und zum Lernen, oder aber destruktiv, zur Verstärkung von latenten Konflikten und zur
inneren Verhärtung.
Was hier festgehalten werden sollte: die Triangulation ist wichtig, das Vorhalten eines Spiegels, die
Überprüfung der Beobachtungsergebnisse durch Dritte, die Reflexion über die unterschiedlichen
Wahrnehmungen. Doch es sollte mit viel sozialer Kompetenz geschehen, damit das gemeinsame
Lernen gefördert wird.
Wer bereits eine Projektevaluierung erlebt hat - oder aber auch eine Organisationsanalyse in
Deutschland - wird gut verstehen, welche Empfindlichkeiten gemeinsame Lernprozesse blockieren
können. Und es ist klar, dass mit den extern beauftragten Beratende, Gutachtende oder Prüfende
eben auch Evaluierende gemeint sind. Das Thema wird in Kap. 3 vertieft.
2.7 Wem wird berichtet?

Mit der Wirkungsbeobachtung wird nicht nur eine Erhebung von Veränderungen durchgeführt,
sondern gleichzeitig werden explizit oder implizit viele Empfindlichkeiten angesprochen:
• Ob die verantwortlichen Mitarbeiterinnen und Mitarbeiter ihre Arbeit ordentlich gemacht
haben?
• Ob die verantwortliche Organisation effizient mit den knappen Spendengeldern gearbeitet
hat?
• Ob die Planerinnen und Planer die Situation richtig analysiert hatten?
• Ob die Spezialistinnen und Spezialisten richtig beraten hatten?
• Ob es den Adressaten des Projekts jetzt schon bald gut genug geht, dass sie wieder aus der
Förderung herausfallen können, zugunsten von anderen, denen es noch schlechter geht?
Kurz, die heikle Frage: Wer ist für eventuelle Fehler oder gar das baldige Ende des Projekts
verantwortlich?
Aus einer anderen Perspektive kann aber auch nach den Verdiensten gefragt werden:
46
• Wem sind die Erfolge zu verdanken?

• Welche Arbeitsmethoden, Organisationsabläufe und -strukturen haben zu einem besonderen
Erfolg verholfen?
• Welche fachlichen Besonderheiten verdienen es, weitergegeben und wiederholt zu werden?
• Was haben die Adressaten des Projekts bereits alles geschafft, um ihre Situation zu
verbessern?
Kurz, die erfreuliche Frage: Auf was können wir jetzt stolz sein? Wer bekommt die Blumen?
In der Praxis ist dies eine Gratwanderung. Die Berichterstatter oder -erstatterinnen wissen oft nicht,
wem ein Projektbericht in die Hände fallen wird, unter welchen Gesichtspunkten er ausgewertet
und beurteilt wird. Deshalb werden sie, wenn sie Schaden vom Projekt abwenden wollen, ihren
Bericht eher vorsichtig formulieren. Je weiter nach außen (oder nach „oben“) ein Bericht gegeben
wird, desto abstrakter und inhaltsleerer wird er darum tendenziell.
Deshalb ist es zu einem gewissen Grad normal, dass Berichte oberflächlich und wenig
aussagekräftig sind. Die Förderorganisation sollte dafür Verständnis haben, wenn die
Entwicklungsorganisation bzw. die Basisorganisation nur begrenzt an ausführlichen Berichten
interessiert sind. Denn wie oben erwähnt, die „ehrliche“, „schonungslose“, „objektive“ Offenheit
kann Schaden anrichten, wenn sie die Verantwortlichen nicht ihr Gesicht wahren lässt.
Normalerweise wird innerhalb einer Organisation zunächst intern an die Vorgesetzten berichtet.
Diese entscheiden, was im weiteren der „Öffentlichkeit“ in der Organisation, z.B. den Mitgliedern,
berichtet werden soll. Wenn eine Organisation auch extern berichten soll, etwa eine
Förderorganisation, dann sollten vorher gewisse Regeln geschaffen werden.
Bei der Projektvereinbarung ist deshalb bereits zu klären, wer was berichtet. Es kann auch
Vertraulichkeit der Information innerhalb eines Kreises der Beteiligten vereinbart werden. Und
besonders: Information, die jemanden bloßstellen könnte, sollte vertraulich bleiben, auch intern.
2.8 Wie werden die Berichte ausgewertet? Wer entscheidet über die
Konsequenzen?
Wirkungsbeobachtung ist nicht „l'art pour l'art“, sondern soll praktische Konsequenzen haben. Wie
beim Monitoring allgemein, so soll auch bei der Wirkungsbeobachtung nicht nur „zugeschaut“,
sondern reflektiert und - falls notwendig - gehandelt werden.
In den obigen Abschnitten haben wir uns überwiegend mit der Beobachtung und Dokumentation
von Wirkungen beschäftigt. Im folgenden sei noch Bezug genommen auf die Reflexion und die
nachfolgende Entscheidung, die das Handeln veranlasst.
Womit wird der Ist-Zustand verglichen?
Die Auswertung der Berichte dient der Analyse der Wirkungen. Die Wirkungsanalyse erfolgt durch
einen Vergleich des beobachteten Ist-Zustandes mit einem Vergleichszustand. Es muss nicht
immer ein Soll-Ist-Vergleich sein! Der Vergleichszustand muss nicht automatisch der geplante
Zielzustand sein, sondern es sind auch ergänzende Betrachtungsweisen denkbar:
Beschreibung Vorteile Nachteile
Soll-Ist- der Ist-Zustand wird Die Leistung kann verglichen Der Soll-Wert kann von Anfang
Vergleich verglichen mit dem werden mit der Zielvereinbarung an unrealistisch gewesen sein;
Zustand, der als Ziel in der und mit den verbrauchten Mitteln. die für die Leistungen
Planung beschrieben ist Verantwortlichen können sich
kontrolliert fühlen mit der
47
kontrolliert fühlen, mit der

Folge, dass sie sich einer
Auswertung im Sinne eines
gemeinsamen Lernens
verschließen.
Vorher- der Ist-Zustand wird Es wird zunächst einmal Wenn es keinen Bezug zu Zielen
Nachher- verglichen mit dem festgestellt, was sich verändert hat; gibt, werden möglicherweise
Vergleich Zustand, der früher (z.B. das erlaubt eine unbefangene schon kleine Veränderungen
vor Projektbeginn) Reflexion; dies kann zu mehr überbewertet.
beobachtet worden war (Selbst-) Wertschätzung führen als
der Vergleich mit einem
unrealistisch gesetzten Ziel.
Mit-Ohne- der Ist-Zustand wird Dieser Vergleich erlaubt gewisse Der andere Ort unterliegt
Vergleich verglichen mit dem Aussagen über die Wirkungen der möglicherweise anderen
Zustand, der an Orten Projektarbeit. Einflüssen, die schwer oder
gegeben ist, in denen aufwendig zu erkennen sind; und
keinerlei Projektaktivitäten es ist nicht leicht, anderenorts
stattfinden regelmäßig Wirkungen zu
beobachten.
Benchmark- der Ist-Zustand wird Der Vergleichsmaßstab ist flexibel, Es mag schwierig sein, die
Vergleich verglichen mit dem weil auch ein anderes Projekt den erforderlichen Informationen
Zustand in einem Projekt, selben „nicht beeinflussbaren“ über die Projektrealität zu
das den Beteiligten als Rahmenbedingungen ausgesetzt ist erhalten (u.a. wegen der
Vorbild dient wie das eigene Projekt; der möglichen Konkurrenzsituation).
Vergleich mit Kollegen bietet
Gelegenheit zum
Erfahrungsaustausch und Lernen
Wer entscheidet?
Alle projektbeteiligten Akteure müssen die beobachteten Wirkungen ständig mit ihren
Erwartungen, Risikoeinschätzungen, Prinzipien etc. vergleichen und sie bewerten - und dies auch
auf den verschiedenen hierarchischen Ebenen innerhalb ihrer Organisationen. Anschließend muss
alle in ihren Verantwortungsbereichen prüfen, ob Entscheidungen notwendig sind. Wenn die
vermutlich erforderlichen Aktionen den eigenen Verantwortungsbereich überschreiten, ist die oder
der nächsthöhere Vorgesetzte mit einem Handlungsvorschlag zu informieren. Sofern die
Entscheidung der bisherigen Projektvereinbarung widersprechen würde (etwa weil deutlich mehr
Geld für Reisekosten gebraucht würde und dann wesentlich weniger Geld für Düngemittel zur
Verfügung stünde als im bewilligten Budget vorgesehen) und damit eine Veränderung der
Projektvereinbarung erfordern würde, sind auch andere beteiligte Projektakteure zu informieren
und ggf. ihre Zustimmung einzuholen. Spätestens vor einer gravierenden Veränderung des
vereinbarten Projekts ist nochmals eine externe Expertise oder Beratung dringend zu empfehlen.
Oder wäre das etwa ein geeigneter Moment, eine Evaluation vorzunehmen?
48
49
2.1 Wozu dient die Wirkungsbeobachtung?

(Zwei Ziele der Wirkungsbeobachtung)
1. Selbststeuerung und Veranlassung interner Lernprozesse

Veranlassung interner Lernprozesse:
• sich Veränderungen bewußt machen
• ihre Ursachen analysieren
• „trial and error“
Selbsterneuerung
• sehen – denken – handeln
• ergänzende Maßnahmen ergreifen, wenn ein Projektansatz nicht die
erwartete Wirkung bringt
• bzw. wenn bestimmte Aktivitäten erfolgreicher sind als erwartet,
können diese ausgedehnt werden
2. Rechenschaftslegung
Öffentlichkeit+Staat Öffentlichkeit+Staat
Entwicklungsorganisation Förderorganisation
Vorstand + Management Vorstand + Management
Mitglieder Mitglieder
Zuwendungsgeber Zuwendungsgeber
Adressaten („Zielgruppen“) Spender („Zielgruppen“)
50
2.2 Was wird beobachtet?

Zustand aktuelle Situation, meist der Projektadressanten oder ihrer
Umgebung, die durch Indikatoren erfasst wird
Veränderung Vergleich des aktuellen Zustandes mit einem anderen (früheren

oder anderwärtigen)
Wirkung Veränderung, der bestimmte Ursachen zugeordnet sind (von

Annahmen über Ursache-Wirkungs-Strukturen abhängig)
„impact“ Signifikante Wirkung (von subjektiver Bewertung abhängig)
Nachhaltigkeit Langfristigkeit einer Veränderung oder Wirkung
Welche Wirkungen werden erwartet?
Worauf soll sich die Beobachtung beziehen?
Formelle Ziele: Vereinbarte Oberziele, Projektziel, Ergebnisse
Informelle Ziele: Erwartungen und Befürchtungen der

Projektbeteiligten
Risiken: Rahmenbedingungen sowie Entwicklungsziele, die

aus Risiken abgeleitet sind
Wertvorstellungen und Qualitätsmerkmale, Prinzipien, Regeln

Grundsätze:
erwartete und unerwartete positive und negative direkte und indirekte

Wirkungen Wirkungen Wirkungen
51
2.3 Wer beobachtet?
Monitoring bzw. Wirkungsbeobachtung

kann stattfinden auf vier Ebenen:
Entwicklungs- • als Projektverantwortliche muss sie ohnehin

organisation permanent die Bereiche beobachten, für welche sie
verantwortlich ist
• bei Erfolgsdruck kann die Außendarstellung
interessengebunden sein
Basis- • die Projektadressen sind unmittelbar von den

organisationen Projektwirkungen betroffen und kennen sie daher am
besten
• ohne geeignete Methoden sehr schwierig
• mit geeigneten Methoden (PRA, PIM) sehr ergiebig
Unabhängige • können relativ neutral beobachten, urteilen und

Gutachter- darüber berichten
Innen
• können als Fachleute oft das Wesentliche sehr
schnell erfassen
• haben nur einen relativ kurzen Einblick und können
dabei manches übersehen
• unabhängige Meinung, welche die Beteiligten ganz
oder teilweise ablehnen oder annehmen können
SELTEN EMPFEHLENSWERT:
Förder- • ist nicht unabhängig und gleichzeitig weit entfernt

organisation
• empfiehlt sich nur in Ausnahmefällen
52
2.6 Wer hält den Spiegel vor?
Jede Beobachtung von Wirkungen und die Form der

Berichterstattung kann subjektiv geprägt sein:
• Die Wahrnehmung kann subjektiv sein.

• Dokumentation und Berichterstattung können individuell
gefärbt sein.
• Die Weitergabe von Informationen kann interessengebunden
sein.
Wirkungen sollen auch aus anderen

Perspektiven betrachtet werden:
interne Rückmeldung z.B. durch
• Teamkollegen
• Vorgesetzte
• eine interne Instanz zur Dokumentation oder Kontrolle
(Beispiel: Monitoring- und Evaluierungs-Bereich, „M+E“-
Einheit)
• intern beauftragte Berater oder Gutachter
externe Rückmeldung z.B. durch
• Adressaten des Projektes

• andere projektbeteiligte Organisationen
• extern (von anderen Projektbeteiligten) beauftragte
Berater/innen oder Gutachter/innen
53
2.8 Wie werden die Berichte ausgewertet?
Womit wird der Ist-Zustand verglichen?
Soll-Ist-Vergleich:
der Ist-Zustand wird verglichen mit dem Zustand, der als Ziel in
der Planung beschrieben ist
Es muss nicht immer ein Soll-Ist-Vergleich sein“
Vorher-Nachher-Vergleich:
der Ist-Zustand wird verglichen mit dem Zustand, der früher (z.B.
vor Projektbeginn) beobachtet worden war
Mit-Ohne-Vergleich:
der Ist-Zustand wird verglichen mit dem Zustand, der an Orten

gegeben ist, in denen keinerlei Projektaktivitäten stattfinden
Benchmark-Vergleich:
der Ist-Zustand wird verglichen mit dem Zustand in einem

Projekt, das den Beteiligten als Vorbild dient
54
3. Evaluation
3. Evaluation
3.1 Wozu dient die Evaluation?
Missbrauch und Verunsicherung
Das Wort „Evaluation“, im Deutschen auch häufig „Evaluierung“, steht für Auswertung. Dieses
vielleicht eher harmlose Wörtchen kann allerdings oft genug viele Menschen zum Zittern bringen,
manche Projekte - auch die größten - sogar ins Wanken bis hin zum Zusammenbrechen. Warum?
Die Evaluation ist immer wieder missbraucht worden, um ein Projekt anlässlich eines negativen
Gutachtens zu beenden. Das muss man unbedingt wissen, um die damit verbundenen Ängste vor
allem der Entwicklungsorganisation zu verstehen! Auch wenn wir das ganz anders handhaben
wollen, wie im folgenden Kapitel zu beschreiben ist, müssen wir ständig gegen die entsprechenden
Vorbehalte ankämpfen - und vielleicht auch gegen entsprechende Versuchungen in den eigenen
Reihen!
Gegen diese Evaluationspraxis gibt es kritische Gegenstimmen, welche die Kontroll- und
Prüffunktion ablehnen. Der entgegengesetzte Ansatz lautet, auf Reflexion, Lernprozesse und
Dialog zu setzen, eher beraterisch vorzugehen. Wird diese Alternative den Erfordernissen gerecht?
Kann solch eine Vorgehensweise die Entscheidungsgrundlage für die Projektförderung bilden?
Ähnlichkeiten und Unterschiede zwischen Monitoring und Evaluation
Zwischen Monitoring und Evaluation gibt es mehr Ähnlichkeiten als Unterschiede, denn auch
Monitoring ist laufend mit einer Auswertung verbunden. Vorab die Unterschiede:
• Periodizität: Während Monitoring in relativ engen Abständen erfolgt - abhängig von der
beschlossenen Häufigkeit der Erhebung der einzelnen Indikatoren -, erfolgt die Evaluation in
größeren Abständen.
• Tiefe und Breite der Untersuchung: Während die Tiefe der Untersuchung beim Monitoring
festgelegt ist durch die regelmäßig zu erhebenden Daten, und darüber hinaus nicht
systematisch die Fragestellungen erweitert, ist bei der Evaluation eine tiefergehende Analyse
und ein weites Spektrum an Fragen üblich.
• Breite der Beteiligung: Während Monitoring nicht allzuviele Akteure einzubeziehen braucht,
wird es bei der Evaluation hingegen erwartet; sowohl die Anzahl der befragten „resource
persons“ ist größer, als auch der Kreis der auswertenden Personen, diese sind auch in der
Hierarchie höher angesiedelt. Insbesondere wird meist eine unabhängige Gutachterin oder ein
unabhängiger Gutachter einbezogen.
Auch in manchen Fachdiskussionen werden Begriffe wie „continuous evaluation“ synonym
gebraucht für laufende Beobachtung bzw. Monitoring. Doch eine Unterscheidung der Begriffe ist
sinnvoll, um verschiedene methodische Herangehensweisen darzustellen.
Mit Evaluation sei darum hier diejenige periodische Auswertung gemeint, die
• nur einmal jährlich oder seltener stattfindet
• in der Tiefe der Untersuchung über die übliche Wirkungsbeobachtung / das laufende
Monitoring hinausgeht
55
3. Evaluation
• grundlegende Entscheidungen (außerhalb der Befugnis der Projektleitung) vorbereitet, unter

Einbeziehung von mehr Akteuren als bei der laufenden Projektdurchführung
Ähnlichkeiten zwischen Monitoring und Evaluation lassen sich so formulieren: alles, was für
Monitoring gilt, gilt auch für die Evaluation, nur dass die Evaluation grundlegender und seltener
ist. Die Unterscheidung ist also fließend, die Definitionen sind letztlich relativ zu einander.
Insbesondere was ihren Zweck angeht, soll hier klargestellt werden: die Evaluation dient auch den
zwei Zielen der Rechenschaftslegung und der internen Steuerung mit Lernprozessen. Noch mehr
als bei der Wirkungsbeobachtung kann die Polarität zwischen den zwei Zielen zu Konflikten
führen, weil sie weitgehende Implikationen haben. Im folgenden seien die zwei Konzepte etwas
plakativ gegenübergestellt:
Die Rechenschaftslegung
Das Ziel der Rechenschaftslegung ist meistens nach außen gerichtet beinhaltet in der Regel auch
Kontrolle, Prüfung, Begutachtung; allmählich gewinnt auch die Rechenschaftslegung nach innen,
die interne Transparenz, an Bedeutung. Evaluationen, die dieses Ziel deutlich in den Vordergrund
stellen, seien im folgenden als gutachterliche Evaluationen typisiert. Sie ist in der Regel verbunden
mit der Durchführung eines Gutachtens durch eine externe Evaluatorin oder Evaluator im Auftrag
von Instanzen, die dem Projektmanagement übergeordnet sind und zu grundlegenden
Entscheidungen über das Projekt befugt sind. Meist treffen die Leitungen der
Entwicklungsorganisation und der Förderorganisation hierzu eine gemeinsame Entscheidung. Die
Evaluation kann aber auch einseitig veranlasst und beauftragt werden; erfolgt sie auf äußeren
Druck, dann besteht die Gefahr, dass die Projektdurchführenden sich sperren und in dieser
Situation ein gemeinsames Lernen ablehnen. Die Projektverantwortlichen, die Rechenschaft über
die Projektdurchführung geben sollen, werden zu Kontrollierten, Geprüften, Begutachteten, die
sich ggf. rechtfertigen müssen, wenn sie ihre Ziele nicht erreicht haben.
Die Beauftragung der Evaluation durch Vorgesetzte oder Externe bedeutet, dass diese letztlich das
Pflichtenheft für die Gutachtenden verfassen, und auch diejenigen sind, an die Bericht zu erstatten
ist. Sie erwarten, dass das Gutachten eine unabhängige Meinung sowie alle Informationen enthält,
die für eine grundlegende Entscheidung über das Projekt relevant sind.
Wenn eine Evaluierung in diesem Sinne partizipativ durchgeführt werden soll, gibt es viele
Gestaltungsmöglichkeiten, um diese Polarisierung zwischen Prüfenden, Geprüften und
Entscheidungstragenden zu entschärfen, wie in den folgenden Abschnitten dargestellt werden soll.
Das ändert aber nichts daran, dass es diesen grundlegenden Konflikt gibt.
Selbststeuerung und Veranlassung interner Lernprozesse
Dieses Ziel richtet sich eher nach innen, etwa in Richtung Selbstkontrolle, Selbstreflexion, eigene
Beobachtung, gemeinsames Lernen. Evaluationen, die dieses Ziel deutlich in den Vordergrund
stellen, seien im folgenden als beraterische Evaluationen typisiert. Damit verbunden ist in der
Regel Beratung sowie Moderation eines gemeinsamen Auswertungsverfahrens durch eine
Evaluatorin oder einen Evaluator, welcher die für die Projektdurchführung Verantwortlichen anregt
zur Analyse, zu einer (möglichst gemeinsamen) Problemsicht und Entscheidungsfindung über die
weitere Steuerung des Projekts. Die evaluierende Person übernimmt letztlich die Rolle der
Beraterin oder des Beraters, die oder der den Projektverantwortlichen fachliche und methodische
Rückmeldung gibt, alternative Vorgehensweise aufzeigt, und dabei die Entscheidung über die
Annahme dieser Rückmeldungen den Projektverantwortlichen freistellt. Diese Person kann extern
durch eine übergeordnete Instanz beauftragt werden, aber auch intern durch Projektverantwortliche.
Die Projektverantwortlichen sind somit zwar intern eventuell auch Kontrollierte, Geprüfte,
56
3. Evaluation
Begutachtete, aber das geschieht im Team und damit in einem weitgehend selbstbestimmten
Rahmen.
Auch das Pflichtenheft für die Evaluierenden wird intern durch Projektverantwortliche definiert -
oder sie haben daran starke Mitwirkungsmöglichkeiten -, häufig auch prozesshaft, schrittweise im
Verlauf der Evaluation. Die Ergebnisse der Evaluation sind in erster Linie für die
Projektverantwortlichen bestimmt, sie entstehen im Dialog, enthalten mehr vertrauliche und
persönliche Information und werden oft nicht schriftlich festgehalten. Ein schriftlicher Bericht ist
in diesem Fall sekundär, hier werden eher die Ergebnisse des Lernprozesses festgehalten als die
Fakten eines aktuellen Ist-Zustandes.
Die Verbindung der beiden Zielsetzungen einer Evaluation
Die einfachste Form, diese zwei Ziele zu verbinden, ist zu sagen: es handelt sich um zwei Phasen
mit unterschiedlichen Zielsetzungen, Vorgehensweisen und Anforderungen:
Bestandsaufnahme: entspricht dem (2.) Schritt bei Monitoring und Wirkungsbeobachtung, wo
der aktuelle Ist-Zustand erhoben wird; aber bei einer externen Evaluation geschieht das durch
andere Personen als die, welche die laufende Wirkungsbeobachtung durchführen, nämlich
durch unabhängige Gutachter oder Gutachterinnen.
Reflexion: entspricht dem (3.) Schritt bei Monitoring und Wirkungsbeobachtung, wo die
Abweichungen des erhobenen Ist-Zustandes vom Vergleichswert (z.B. dem erwarteten Soll-
Zustand) analysiert werden; bei der externen Evaluation geschieht das allerdings mit Hilfe
einer unabhängigen Person, die den Reflexionsprozess moderiert.
Die beiden Zielsetzungen einer Evaluation zu verbinden, ist in der Praxis nicht sehr einfach: die
Rollen der Beteiligten widersprechen sich. Für die externen Evaluierenden ist es oft zu schwierig,
die gutachterliche und beraterische Rolle zu verbinden.
Es gibt viele Versuche, das Dilemma aufzuheben, aber die Schwierigkeit bleibt, dass die
gutachterliche Prüfung durch eine Aussenstehende Person bei den Betroffenen, die etwas ändern
sollten, Ablehnung und Blockade verursachen kann, während Moderation und Beratung diese
Personen leichter zur Veränderung motivieren. Inwieweit ein und dieselbe Person beide Rollen
einnehmen kann, ist sehr kontextabhängig. Oftmals wurden wohlmeinend partizipative
Evaluationen zum Ziele des gemeinsamen Lernens konzipiert, bei der Durchführung aber rutschten
die Beteiligten in die Rollen von „Opfer und Verfolger“ und verhinderten damit die gewünschten
Lernprozesse.
Wenn im folgenden nochmals ein Versuch gemacht wird, die beiden Zielsetzungen
„Rechenschaftslegung“ und „Selbststeuerung und Veranlassung interner Lernprozesse“ in einer
Evaluation zu verbinden, dann kann das nur gelingen, wenn bei der Durchführung folgendes
beherzigt wird:
Eine Evaluation sollte der Entscheidungsfindung dienen. Sie sollte z.B. nicht veranlasst
werden, wenn schon die Entscheidung gefallen ist, das Projekt nicht weiter zu fördern, und
eine Studie dies nur rechtfertigen soll.
Die Auftraggeber oder Auftraggeberinnen der Evaluation müssen hinsichtlich der
Zielsetzungen ehrlich sein. Es ist äußerst schädlich, wenn eine Förderorganisation verkündet,
sie wolle den Dialog anregen, in Wirklichkeit aber ein Projektgutachten zur Entscheidung über
die weitere Projektförderung braucht.
Die zwei konfligierenden Zielsetzungen können sich verbinden (und das wird die Regel sein),
aber sie sollten nicht vermischt oder verwischt werden. Es nützt nichts, zu leugnen, dass die
57
3. Evaluation
Evaluation neben dem gemeinsamen Lernen auch Prüfungscharakter hat - wenn dem so ist. Es
ist besser, mit beiden Funktionen dann offen umzugehen.
Das Verhalten der Akteure und Akteurinnen schlägt oft noch mehr durch als der erklärte Wille
der Auftraggeber oder Auftraggebrinnen der Evaluation. Alte Gewohnheiten bringen sie oft in
Versuchung, sich als Kontrollierende oder Kontrollierte aufzuführen. Insbesondere die
Förderorganisationen sollten auf Details achten: Sprache des Pflichtenheftes, Formulierung
von Feststellungen, etc.
3.2 Was wird evaluiert?

Bei der Wirkungsbeobachtung haben wir uns auf die Wirkungen des Projekts konzentriert - das war
immer noch ein sehr weites Feld. Bei der Evaluation sind die Fragestellungen meist wesentlich
erweitert.
Eine Evaluation sollte einbeziehen:
• die Grundlagen des Projekts
• die Kooperation der Akteure
• die Relevanz und Sinnhaftigkeit des Projekts
• das Budget
• die Leistungsfähigkeit der Organisation
• die Leistungsfähigkeit des Projektmanagements
• die Effizienz der Projektdurchführung
• die Effektivität des Projekts (Projektwirkungen)
• das System der Wirkungsbeobachtung oder des Monitorings allgemein
Allerdings kann nicht alles gleichgewichtig analysiert werden; es ist notwendig, Schwerpunkte zu
setzen und auszuwählen.
Die Graphik „Mögliche Bereiche einer Evaluation“ gibt eine Übersicht über die wichtigsten
Themenbereiche, die bei einer Evaluation untersucht werden können. Was die einzelnen Themen
beinhalten können, ist im Anhang zu diesem Kapitel weiter ausgeführt.
Aber bitte: „weglassen, was nicht vordringlich ist!“
Auswahl der zu evaluierenden Bereiche
Welche Bereiche einbezogen werden, ist zunächst vom allgemeinen Ziel der Evaluation
unabhängig: alle lassen sich sowohl gutachterlich als auch beraterisch evaluieren. Selbst besonders
sensible Themen wie die ordnungsgemäße Verwendung der Projektmittel oder die
Leistungsfähigkeit der Organisation sind nicht ausschließlich als externe Prüfung denkbar, sondern
auch als Prozess der Reflexion.
Es ist viel eher eine Frage der Ökonomie, des sinnvollen Einsatzes der Gelder für eine Evaluation:
man sollte sich auf die Dinge konzentrieren, die eine Verbesserung der Projektwirkungen
versprechen (Effektivität), sowie auf den dazugehörigen Aufwand (Effizienz), sofern hier ein zu
hoher Aufwand vermutet wird.
Weitergehende Fragen sollten - zumindest bei der Beauftragung einer Evaluation - weggelassen
werden, wenn sie nicht bereits als wichtiges Thema aufgetaucht waren. Sofern es nach Abschluss
58
3. Evaluation
des (ersten) Evaluationsauftrages deutlich wird, dass weitere Bereiche vertieft werden müssen,
könnte dies in einer zweiten Runde geschehen.
Mögliche Bereiche einer Evaluation
1. Situationsanalyse
1.1 Situation im Land / in der Region / im Projektgebiet

1.2 Potentiale & Probleme der benachteiligten Bevölkerung
2. Analyse der 3. Analyse der Basisorganisation 3. Projektanalyse

Entwicklungsorganisation
Datenerhebung Partizipation
2.1 Struktur der 3.1 Struktur der Basisorganisation 4.1 Projektkonzeption

Entwickungsorganisation
Partizipation Management- Sig-
2.2 Dienstleistungen und Produkte der 3.2 Dienstleistungen und Produkte der qualität; nifi-
Entwicklungsorganisation Basisorganisation Konsistenz kanz
des
2.3 Aufsicht & Management der Partizipation 3.3 Aufsicht & Management der Partizipation
4.2 Projektdurchführung Pro-
Entwicklungsorganisation Basisorganisation jek-
tes
2.4 Finanzmanagement der 3.4 Finanzmanagement der Basisorganisation 4.3 Finanzmanagement des
Entwicklungsorganisation Projektes
Einfluss der
Wirtschaft Effizienz & Organisation
lichkeit Signifikanz Effektivität Wirtschaft-
der des lichkeit;
Organisation
5. Wirkungsanalyse Projektes Effizienz
5.2 Projektübergreifende Wirkungen 5.1 Wirkungen auf Projektebene
Auswahl nach Sicht verschiedener Akteure
Wie schon bei der Wirkungsbeobachtung dargestellt, werden wohl auch die verschiedenen
Projektakteure unterschiedliche Interessen an der Projektevaluation haben.
Die Basisorganisation wird kaum explizit auf die Idee kommen, eine Projektevaluation
durchzuführen oder durchführen zu lassen. Allerdings gibt es durchaus Basisorganisationen, die
das Instrument der Evaluation kennen - insbesondere die Selbstevaluation.
Ihre Interessensbekundungen wären ungewöhnlich, sollten aber sehr ernst genommen werden.
Die Entwicklungsorganisation ist für die Durchführung des Projekts verantwortlich und steht damit
automatisch auf dem Prüfstand. In vielen Fällen hat sie kein aktives Interesse an einer Evaluation;
bei der Auswahl der zu evaluierenden Bereiche wird sie eher auszuklammern versuchen, was als
59
3. Evaluation
grundsätzliche Schwachstelle sich bereits abzeichnet. Je nach Reife allerdings, auch bei guten
Erfahrungen mit früheren Evaluationen, haben die Entwicklungsorganisationen zunehmend tieferes
Interesse an der Evaluation.
Die Förderorganisation wird im Gegensatz zur Entwicklungsorganisation gerade diejenigen
Bereiche in den Vordergrund der Evaluation stellen wollen, wo sich Probleme in der bisherigen
Projektdurchführung manifestiert haben. Daher wird sie – ob gutachterliche oder auch beraterische
Evaluation - oft gerade solche Bereiche aussuchen, die die Entwicklungsorganisation lieber im
Dunkeln lassen würde. Konflikte sind dann vorprogrammiert!
Ein wesentlich rationaleres Verhalten wäre gegeben, wenn die Förderorganisation im wesentlichen
einfach dieselben Dinge prüfen lassen will, die sie bei der Prüfung des Projektantrages bereits
geprüft hatte. Das hätte erhebliche Vorteile:
• die Raster zur Antragsprüfung und zur Evaluation wären so gut wie gleich
• es gäbe ein Standardraster, wodurch die Formulierung des Evaluationsauftrages (Terms of
Reference) wesentlich erleichtert und beschleunigt wäre
• in der Projektvereinbarung stünde nicht nur, dass eine Evaluation durchgeführt wird, sondern
dort könnten bereits die zu evaluierenden Bereiche genannt sein
• die frühzeitige Vereinbarung wäre weniger konfliktiv
Selbstverständlich sollte es immer möglich sein, solch ein allgemeines Raster dann vor der
Beauftragung der Evaluation noch zu präzisieren und anzupassen - wichtig ist, dass die zugrunde
liegenden Absichten und Strukturen erhalten bleiben.
Der Zeitpunkt der Auswahl
Diese Konflikte lassen sich deutlich verringern, wenn die Evaluation nicht erst beschlossen wird,
wenn gravierende Probleme sichtbar geworden sind. Wesentlich sinnvoller, fairer und klarer ist es,
möglichst frühzeitig - eben in der Projektvereinbarung - schon festzulegen, dass eine Evaluation
ansteht, und welche Bereiche sie betreffen soll. So wird vermieden, dass die Evaluation den
Charakter einer Strafaktion bekommt, und ihre Inhalte sind nicht so sehr von aktuellen Problemen
und Fragen geprägt, sondern wesentlich mehr durch die grundsätzlichen, wie es dem Charakter der
umfassenden Reflexion auch besser entspricht.
Formulierung der Terms of Reference (ToR)
Einer der schwierigsten Schritte der Evaluation ist sicherlich die Formulierung des Pflichtenheftes
der Evaluatorin und Evaluatoren, im entwicklungspolitischen Kontext meist „Terms of Reference“
genannt. In den ToR beschreiben diejenigen, die die Evaluation in Auftrag geben, den genauen
Auftrag derjenigen, die sie durchführen sollen. Die ToR sollten etwa folgende Information
beinhalten:
Anlass der Evaluation: Wenn die Evaluation eine Routine ist, die von Anfang an eingeplant war,
werden hier nicht viele Worte verloren. Leider ist es aber noch die Regel, dass Evaluationen dann
in Auftrag gegeben werden, wenn sich bestimmte Probleme manifestiert haben. Dieser Hintergrund
sollte in den ToR kurz erwähnt sein.
Ziele der Evaluation: Was soll sich nach der Evaluation verändern? Und welchen Beitrag kann die
Evaluation dazu leisten? Vielleicht ist die Evaluation nur Teil eines längeren
Veränderungsprozesses, vielleicht ist sie Teil einer Kette von Maßnahmen?
60
3. Evaluation
Zu evaluierende Bereiche: Entsprechend dem obigen Schaubild werden die Bereiche genannt, die
Gegenstand der Evaluation sein sollen. Nach Möglichkeit sollten Oberbegriffe gewählt werden,
nicht einzelne Fragen, was zu prüfen sei. Einzelne Fragen könnten allerdings zur
Veranschaulichung hilfreich sein, damit die Evaluatorinnen und Evaluatoren wissen, was den
Auftraggebern oder -geberinnen auf den Nägeln brennt.
Wenn Einzelfragen in den ToR stehen, wollen die Auftraggeberinnen oder -geber u.U. die
Evaluierenden ausdrücklich verpflichten, hierzu im Bericht Stellung zu nehmen - was zu klären
wäre, denn es braucht nicht immer alles, was untersucht wurde, schriftlich festgehalten zu werden.
Wenn die Einzelfragen nicht in den ToR stehen, ist es den Evaluatorinnen oder Evaluatoren
letztlich überlassen, sie zu untersuchen. Wenn die ToR als Fragenkatalog aufgestellt sind,
erschwert dies die Durchführung einer Evaluation erheblich:
• der Prüfungscharakter drückt die Stimmung bei den Geprüften nachhaltig
• das gemeinsame Lernen wird zusätzlich durch die starke Vorstrukturierung deutlich erschwert
• der Gestaltungsspielraum der Evaluierenden - und damit die Nutzung ihres Fachwissens - ist
stark eingeengt
• die Evaluation erfordert sehr viel Zeit, sowohl bei der Datenerhebung als auch beim
Verfassen des Berichts
• der Blick für das Wesentliche, hilfreiche Arbeitshypothesen und Strukturierungen könnten
verlorengehen
Vorgehen und Methoden: Hier wird ausgeführt, welche Arbeiten auszuführen sind, und auf welche
Weise:
• Aktenstudium: bei welchen Organisationen
• Befragungen: von wem
• Datenerhebungen: was und wie, in welchem Umfang
• Projektbesuche, Dorfbesuche: welche, wie lange, mit welchen Inhalten
• Workshops: wo, mit wem, in welcher Rolle
• Rollenklärung: insbesondere Rolle der Evaluierenden (Gutachtenden, Moderierenden,
Beratenden)
Struktur des Berichts:
Generell sollte klar sein: wenn die Evaluatorinnen oder Evaluatoren den Auftrag erhalten, etwas
Bestimmtes zu prüfen, heisst das nicht automatisch, dass sie darüber berichten müssen. Meist
jedoch erwarten die Auftraggeberinnen oder -geber, dass sich die ToRs in der Gliederung
wiederspiegeln, falls nicht etwas anderes vereinbart wurde. Es empfiehlt sich daher, die
gewünschte Gliederung des Evaluationsberichts aufzuschreiben - wenn auch nicht sehr detailliert.
So ist allen Beteiligten klar, worüber schriftlich zu berichten ist.
Form der Berichterstattung:
• Wem sollen die Evaluierenden berichten? Inwieweit wird den Projektverantwortlichen der
Entwicklungsorganisation vor Ort berichtet, in welcher Form?
• schriftlich oder mündlich?
61
3. Evaluation
• mit welcher Methode (Vortrag des Gutachtens, didaktische Gespräche mit den Vertretern
oder Vertreterinnen des Vorstandes, oder moderierte Erarbeitung des Ist-Zustandes)?
• sollen die Evaluationsergebnisse dabei verifiziert werden, sollen Rückmeldungen gesucht
werden?
• zu welchem Zeitpunkt?
• wie soll der Basisorganisation berichtet werden?
• wie soll der Förderorganisation berichtet werden, insbesondere im Fall von Ko-
Finanzierungen den nicht beauftragenden Förderorganisationen?
Anforderungen an Evaluatorinnen und Evaluatoren:
Das Anforderungsprofil für die Evaluierenden muss definiert werden. Wenn ein Team
zusammengestellt wird, ist meist eine bestimmte Mischung von Eigenschaften und Kompetenzen
angestrebt:
• fachliche Kompetenzen oder Spezialisierung
• methodische Kompetenzen
• soziale Kompetenzen, die die Evaluation erfordert (eher Gutachtende oder eher Beratende,
oder gar beides gleichzeitig)
• Sprachkenntnisse
• Länder- oder Regionenkenntnisse
• regionale Herkunft
• Geschlecht
Zeitplan:
Alle Beteiligten müssen sich auf die Termine der Evaluation einstellen können, von den ersten
Schritten, über die Durchführung vor Ort, bis hin zur Auswertung der Ergebnisse. Der Zeitplan
muss deshalb schon frühzeitig geklärt werden.
Budget der Evaluation:
Der Kostenplan und seine Finanzierung sind zweifelsohne eher eine interne Angelegenheit der
Auftraggeberinnen oder -geber und damit meist nicht im (allgemein zugänglichen) Pflichtenheft
der Evaluatorinnen oder Evaluatoren - trotzdem muss er hier der Vollständigkeit wegen erwähnt
werden. Im Kostenplan werden die zusätzlichen - d.h. nicht bereits in anderen Budgets abgedeckten
- Kosten der Evaluation aufgeführt, sofern sie mit Geldzahlungen verbunden sind. (Vor der
Beauftragung der einzelnen Evaluierenden empfiehlt es sich, Kostenvoranschläge einzuholen und
die vereinbarten (Teil-) Budgets in das (Gesamt-) Budget der Evaluation zu integrieren.) Der
Arbeitsaufwand der Projektsachbearbeitenden ist meist erheblich, doch diese Kosten fließen nicht
in das Budget ein.
Für die Förderorganisationen und ihre Spender und Spenderinnen bzw. die Öffentlichkeit (das
Finanzamt!) ist die Frage zunehmend relevant, ob die Kosten der Evaluation Programmkosten sind,
also Teil der Projektkosten, oder ob sie Verwaltungskosten sind.
62
3. Evaluation
Ohne Zweifel sind die Evaluationskosten direkt auf ein Projekt bezogen und damit
Programmkosten; dies sollte darum auch schon bei der Bewilligung oder Planung der
Programmmittel berücksichtigt werden.
3.3 Wer evaluiert?

Hinsichtlich der Akteure sind zwei Fragen zu unterscheiden:
• Wer beauftragt die Evaluation?
• Wer führt die Evaluation durch?
Die Beauftragung der Evaluation geschieht - wie oben bereits dargestellt - in der Regel von der
Entwicklungsorganisation und der Förderorganisation gemeinsam; zunehmend sind es auch
Entwicklungsorganisationen, die Evaluationen beauftragen.
Die Frage, wer die Evaluation dann durchführt, ist zunächst einmal unabhängig davon, wer sie
veranlasst hat.
Die Basisorganisation kann zwar nicht beauftragt, sicherlich aber doch veranlasst werden, eine
Selbstevaluation durchzuführen. Sie wird allerdings nur ihren Teil der Verantwortlichkeiten
untersuchen können, nicht den der Entwicklungsorganisation oder Förderorganisation - über deren
Rolle sollte sie allerdings ihre Meinung äußern. Meist kann sie das aber nicht alleine, sondern sie
muss dazu angeleitet werden, entweder durch die Entwicklungsorganisation oder besser noch durch
unabhängige Beraterinnen oder Berater.
Die Entwicklungsorganisation kann veranlasst werden, aber auch schon in der Projektvereinbarung
beauftragt, eine Selbstevaluation durchzuführen. Hier dürfte ihre eigene Verantwortlichkeit bei der
Projektdurchführung im Mittelpunkt des Interesses stehen, allerdings verknüpft mit den Rollen der
anderen Akteure. Je nach Qualifikation und Erfahrung des Personals kann sie das alleine, oder aber
sie kauft dafür Unterstützung durch unabhängige Beraterinnen oder Berater ein. Die
Basisorganisation und die Förderorganisation sind im Idealfall bei der Verifizierung und
Auswertung der Ergebnisse dabei.
Die Förderorganisation sollte - analog zu unseren Anmerkungen bei der Situationsanalyse und
Wirkungsbeobachtung - die Evaluation möglichst nicht durchführen, weil sie nicht unabhängig ist
und ihre Ergebnisse darum kaum von den Projektverantwortlichen akzeptiert würden. Sie kann
allerdings im Evaluationsteam vertreten sein, etwa zu Trainingszwecken des Personals.
Sehr häufig werden externe Beraterinnen oder Berater als Evaluierende beauftragt. Sie können von
jedem der Projektakteure eingesetzt werden. Bei der Auswahl sollte darauf geachtet werden, dass
sie unabhängig von den Interessen der Projektbeteiligten sind; in der Praxis aber werden die nicht
beauftragenden Akteure immer mutmaßen, dass diese Evaluatorinnen oder Evaluatoren nicht völlig
unabhängig sind, sondern dass die räumliche Nähe (z.B. Förderorganisation beauftragt Nord-
Consultant) und das besondere Loyalitäts- und Vertrauensverhältnis zu kleinen unprofessionellen
Gefälligkeiten führen.
Wenn von gemeinsamer Evaluation die Rede ist, kann damit zweierlei gemeint sein:
• die Akteure beauftragen gemeinsam
• die Akteure evaluieren gemeinsam (evtl. unterschieden nach Erhebungs- und
Auswertungsphase)
Eine gemeinsame Beauftragung heißt, dass die Akteure - nicht unbedingt alle, meist die
Entwicklungsorganisation und die Förderorganisation - die ToR gemeinsam erarbeiten und im
Konsens verabschieden. Das ist zwar nicht einfach, aber allemal einfacher als eine gemeinsame
Durchführung.
63
3. Evaluation
Zur gemeinsamen Durchführung einer Evaluation ist es natürlich eine Voraussetzung, dass die ToR
gemeinsam erstellt wurden. Anschließend muss unbedingt zwischen der Erhebungs- und der
Auswertungsphase unterschieden werden:
Die eingangs wiederholt erwähnten unterschiedlichen Interessen, Wahrnehmungen und
Interpretationen der Projektakteure machen es unwahrscheinlich, dass es bei der Erhebung
zwischen ihnen einen Konsens gibt. Die Erhebungsphase sollte entweder einer oder mehreren
Evaluierenden überlassen werden, die möglichst unabhängig von den Akteuren sein müssen. Wenn
unabhängige Erhebungen in Frage gestellt oder nicht erwünscht sind, sollten zumindest getrennte
Erhebungen der Akteure (dann evtl. auch ohne Externe), die dann in der Auswertungsphase
gegenübergestellt werden.
Eine gemeinsame Auswertung scheint eher machbar, doch dürfte sie in der Praxis noch zu
genügend Schwierigkeiten führen wegen des Zeit- und Entscheidungsdrucks, der damit verbunden
ist. Eine gute - unabhängige - Moderation ist dafür sicher sehr lohnend.
Die Anforderungen an Evaluatorinnen und Evaluatoren müssen natürlich den speziellen ToR dieser
Evaluation gerecht werden. Nicht immer steht die fachliche Spezialisierung der Evaluierenden im
Vordergrund; für die Evaluation wird in der Regel neben Projekterfahrung und einschlägigen
Sprachkenntnissen auch Länder- oder wenigstens Regionalkenntnis gebraucht, und darüber hinaus
Methodenkenntnis und Erfahrung im Umgang mit Menschen in Prüfungs- und
Beratungssituationen.
Zunächst einmal steht die Frage: geht es eher um eine gutachterliche oder um eine beraterische
Evaluation? Dementsprechend sind unterschiedliche Querschnittskompetenzen gefragt. Bei der
gutachterlichen Evaluation sind eher Fachkenntnisse und Erfahrungen bei der Erhebung objektiv
nachprüfbarer Daten gefragt. Bei der beraterische Evaluierung stehen die Fähigkeiten in
Gesprächsführung und Moderation sowie Erhebungen mit Hilfe partizipativer Methoden im
Vordergrund.
Letztlich müssen die Auftraggeberinnen und -geber immer im direkten Gespräch mit den
identifizierten möglichen Evaluatorinnen und Evaluatoren herausfinden, ob sie die Evaluation in
ihrem Geiste durchführen können. Weil das nicht immer möglich ist, müssen sie sich oft
ersatzweise auf den Rat und die Meinung von Vermittlern verlassen.
Wenn die Evaluation nicht von einer Einzelperson durchgeführt wird, sondern von einer Gruppe
von Evaluierenden, dann muss auf eine ausgewogene Teamzusammenstellung geachtet werden
hinsichtlich:
• ausgewogene Beteiligung der Projektakteure bei der Auswahl der Evaluierenden
• ausgewogene Herkunft der Evaluierenden (Nord/Süd, aber auch regional innerhalb eines
Landes)
• ausgewogene Geschlechterverteilung der Evaluierenden
• Interdisziplinarität
• ausgewogene Verteilung der Kompetenzen (nicht nur fachlich, auch methodisch und sozial)
• ausgewogene Verteilung der Rollen (Gutachtende, Beratende, Moderierende)
• ...
Konflikte sind innerhalb eines Evaluationsteams normal. Sie rühren nicht nur aus den
verschiedenen Perspektiven der Evaluatorinnen und Evaluatoren, sondern werden noch verstärkt
dadurch, dass hier eine Gruppe von ausgeprägten Expertencharakteren sich in extrem kurzer Zeit
zusammenraufen müssen und vielleicht gar noch ein gemeinsames Ergebnis vorlegen sollen. Die
64
3. Evaluation
Leitung des Teams muss darum im Vorfeld der Evaluation - in den ToR - geklärt sein, und die
Teamleitung muss im Konfliktfall auch von ihrer Leitungsbefugnis Gebrauch machen. So lassen
sich eventuelle Konflikte zwar nicht vermeiden, aber doch schneller lösen.
3.4 Wann (und wie oft) wird evaluiert?

Es wurde eingangs bereits erwähnt, dass in der bisherigen Praxis die Evaluationen meist sporadisch
vorgenommen wurden, bei Problemen im Projekt, oder wenn die Förderorganisation gerade vor der
Entscheidung steht, ob das Projekt denn jetzt nach so vielen Jahren immer noch mit wachsenden
Beträgen gefördert werden muss. Keine Frage, dass so etwas konfliktiv ist. Es sollte vermieden
werden.
Wünschenswert ist, das Evaluationen mit einer gewissen Regelmäßigkeit gemacht werden. Das
muss nicht unbedingt sehr teuer sein, denn es kann dann ja auch mit mehr Leichtigkeit geschehen!
Und es ist eine Kombination abgestufter Evaluationsformen denkbar:
Als erstes sollte die Verbindung mit der Wirkungsbeobachtung bzw. mit dem Projektmonitoring
allgemein gesehen werden. Wenn eine regelmäßige Wirkungsbeobachtung stattfindet, und darüber
hinaus noch ein Monitoring weiterer Fakten, dann kann eine Evaluation schon auf eine recht solide
Datenbasis bauen.
Die Evaluation kann dann eine spezielle Funktion bezüglich der Wirkungsbeobachtung bekommen:
Wenn die Wirkungsbeobachtung durch die Akteure selbst durchgeführt wird, dann kann sie eine
teilweise recht subjektive Färbung annehmen - das mag ja auch der Vorbehalt mancher
Wirkungsanalysten gegen diesen partizipativen Ansatz der Wirkungsbeobachtung sein. Sofern nun
aber eine externe Evaluation die Funktion bekommt, bei der eigenen Datenerhebung gleichzeitig
auch die Daten der bisherigen Wirkungsbeobachtung gegenzuprüfen, wäre hier ein Korrektiv
geschaffen. Unter atmosphärischen Gesichtspunkten ist es wichtig, dass solch eine Funktion der
Evaluation von vorne herein, bei der Projektvereinbarung und bei der Installation der
Wirkungsbeobachtung, vereinbart wird, und nicht erst dann, wenn die Förderorganisation das
Gefühl hat, dass die Wirkungsbeobachtung allzu einäugig durchgeführt wird.
Als zweites kann eine Verbindung mit der Wirtschaftsprüfung gesehen werden. Sofern diese in der
Projektvereinbarung vorgesehen ist, sollte auch festgehalten werden, dass die ToR für den Auditor
nicht nur die Prüfung der internen Kontrollmechanismen hinsichtlich der Verwaltung von Geldern
vorsehen, sondern auch Aussagen zum Managementsystem als ganzes. Es muss kein vollständiges
Management-Audit durchgeführt werden, sondern es ist ausreichend, einen normalen Prüfumfang
zu vereinbaren, der sich eben nicht nur auf das Prüfen der Jahresrechnung beschränkt. Damit
können Management-Aspekte aus der Evaluation ausgeklammert werden.
Als drittes kann ein abgestuftes System von Evaluationen eingerichtet werden: denkbar sind z.B.
jährliche Selbstevaluationen der Entwicklungsorganisation (vielleicht sogar der Basisorganisation),
während eine Evaluation mit externer Beteiligung alle drei bis fünf Jahre vereinbart werden könnte,
die sich dann wiederum auf die Selbstevaluationen beziehen kann. Es versteht sich, dass die
selteneren externen Evaluationen dann auch weitergehende Erhebungen und tiefergehende
Analysen umfassen würden. Bei kleinen Projekten wären die anzustrebenden Perioden analog etwa
mit einer Selbstevaluation alle drei Jahre und einer externen Evaluation alle sechs bis acht Jahre.
Der Zeitpunkt, besser Zeitraum der externen Evaluation sollte nicht zu eng an Terminen liegen, die
mit weiterreichenden Entscheidungen verbunden sind - etwa einer Entscheidung der
Förderorganisation über eine weitere Finanzierung des Projekts. Alle betroffenen brauchen Zeit für
die Auswertung und zur Einleitung eventueller Veränderungen, so dass vielleicht anvisiert werden
kann, die externe Evaluation in der Mitte eines (z.B. dreijährigen) Förderzeitraums durchzuführen.
65
3. Evaluation
3.5 Wie wird dokumentiert?

Über eine Evaluation muss immer ein schriftliches Dokument vorliegen - es ist wichtig und darf
unter keinen Umständen verloren gehen! In der Regel wird das der Bericht sein, wie er in den
Terms of Reference in Auftrag gegeben oder vereinbart wurde.
Der Bericht selbst ist aber nur das halbe Ergebnis, falls auch Lernprozesse gefördert werden sollen:
• damit er lesbar bleibt, kann er nur die wichtigsten Fakten beinhalten
• er muss manches verschweigen, damit die Verantwortlichen ihr Gesicht wahren; die nicht
fixierte Information wird dann mündlich - evtl. vertraulich - mitgeteilt und mit den
Betreffenden beraten
• wichtige Aha-Effekte kommen den Beteiligten während der Durchführung der Evaluation, sie
können von den Evaluatorinnen und Evaluatoren oft gar nicht wahrgenommen, geschweige
denn dokumentiert werden
Die beraterische Evaluation setzt stark auf Workshops. Dabei werden meist nicht „harte“ Fakten
ermittelt, die objektiv nachprüfbar wären, sondern eher „weiche“ Fakten, das sind Lernprozesse,
Erkenntnisse, Visionen. Diese Dinge kommen sehr
situationsbedingt auf, solche Erkenntnisse sind oft nicht nachhaltig oder dauerhaft, sie verfliegen
oft wieder oder aber sie vertiefen sich in der Folgezeit noch wesentlich: die Workshop-Ergebnisse
sind manchmal recht unausgegoren. Das betrifft auch die Tatsache, dass hier häufig Brainstormings
dokumentiert werden, die „unzensiert“ kopiert werden, weil sie ja für die Workshopteilnehmenden
authentische Ergebnisse festhalten; solche „Sammel“-Ergebnisse enthalten keine ausgearbeiteten
und ausgewogenen Konsensformulierungen, oft sind extreme Einzelmeinungen dabei.
Bei der Dokumentation von Brainstormings und anderen Workshop-Ergebnissen, etwa aus
Arbeitsgruppen, muss schon klar sein, dass diejenigen, die den Bericht später lesen, auch den
Kontext richtig verstehen. Völlig falsch wäre es, wenn z.B. die Förderorganisation aus
Einzelbemerkungen von einem Workshop tiefergehende Rückschlüsse ziehen wollte.
Für wichtige Ergebnisse der Evaluation gilt, was bereits auch für die Wirkungsbeobachtung gesagt
wurde: die Visualisierung von Einzelergebnissen macht Sinn, wenn sie so aufbereitet und öffentlich
bekanntgegeben werden, dass sie diejenigen zum Nachdenken und Diskutieren animieren, die
weitere Veränderungen bewirken können.
3.6 Wer prüft gegen?

Es wurde bereits wiederholt darauf hingewiesen, dass es wegen der verschiedenen Sichtweisen der
Projektakteure immer wieder wichtig ist, sich gegenseitig den Spiegel vorzuhalten. Die Evaluation
übernimmt diese Funktion ja insbesondere dann, wenn externe Evaluatorinnen und Evaluatoren die
Ergebnisse bisheriger Wirkungsbeobachtung oder Selbstevaluationen gegenprüfen.
Aber auch für die externen Evaluierenden gilt natürlich, dass sie mit ihren beschränkten
Möglichkeiten (vor allem die kurze Zeit) auch ihre begrenzte Sichtweise haben. Sie können nur
eine Meinung abgeben, und diese ist nicht „die Wahrheit“. Es ist erlaubt, ja es kann ausgesprochen
richtig sein, auch eine andere Meinung zu haben als die Evaluatorinnen und Evaluatoren.
In der Regel ist während oder am Ende der Erhebungsphase vorgesehen, die bis dahin vorliegenden
Ergebnisse einer größeren Gruppe von Projektbeteiligten vorzustellen. Diese Präsentation hat somit
u.a. auch immer die Funktion, die Ergebnisse des Evaluationsteams gegenzuprüfen, zu
verifizieren“. Die hier geäußerten Rückmeldungen zu den Präsentationen der Evaluierenden sind
äußerst wichtig, besonders bei der gutachterlichen Evaluation. Die beratende Evaluation hat diesen
Diskussionsprozess über verschiedene Wahrnehmungen bereits in ihr Verfahren eingebaut.
66
3. Evaluation
3.7 Wem wird berichtet?

Es ist klar, dass der Evaluationsbericht sich in erster Linie an die Auftraggeberinnen und -geber
richtet. Das ist, wie oben angenommen, meist die Förderorganisation oder die
Entwicklungsorganisation.
Evaluationsberichte sind immer vertraulich. Den Evaluierenden sollte schon beim Verfassen des
Berichts bekannt sein, an wen er geht, um den richtigen Ton zu finden, denn der Evaluationsbericht
soll eine Hilfe bei den bevorstehenden Veränderungen sein, und kein Hindernis. Wenn
hochgestellte Entscheidungsträgerinnen und -träger vor ihren Mitarbeiterinnen und Mitarbeitern
bloßgestellt werden, sind viele Veränderungen erst einmal blockiert.
Trotzdem macht auch die Veröffentlichung einer Zusammenfassung oder auch von Teilen sehr viel
Sinn. Die im Verlauf der Evaluation befragten Personen erwarten zu Recht, die Ergebnisse zu
erfahren. Alle vom Projekt Betroffenen wollen wissen, wie es nun weitergehen soll. Diesen
Erwartungen, mit denen auch sehr viele positive Energien verbunden sind, muss Rechnung
getragen werden.
Die Auftraggeber und -geberinnen der Evaluation müssen darüber entscheiden, was veröffentlicht
wird - nicht die Evaluatorinnen oder Evaluatoren.
Analoges gilt für den Fall, das bei den Nacharbeiten zu der Evaluation einzelne Akteure mehr über
die Ergebnisse wissen müssen. In diesem Fall muss der Kreis der Vertraulichkeit wenigstens
themenweise erweitert werden; auch hierüber müssen die Auftraggeber und -geberinnen
entscheiden.
3.8 Wie werden die Berichte ausgewertet? Wer entscheidet über

Konsequenzen?
Es ist klar, dass der Auftraggeberinnen und -geber den Evaluationsbericht gemäss seinen
spezifischen Interessen auswertet.
Für die Förderorganisation sollte es nicht darum gehen, ob ein Projekt weiter gefördert wird,
sondern wie. In der Regel müssen neue Akzente gesetzt werden. (Doch auch aus der Sicht der
Förderorganisation ist es nicht unbedingt immer nur der „Partner“, dessen Arbeit evaluiert wurde,
sondern u.U. auch die eigene Organisation, sogar die Sachbearbeiterin oder der Sachberarbeiter.
Das heisst: es könnte auch sein, dass es innerhalb der Förderorganisation eine Instanz gibt, die
Interesse an der Überprüfung der Qualität der Projektbearbeitung hat, etwa eine Vorgesetzte, ein
Vorgesetzter oder ein Evaluationsreferat.) Die Förderorganisation wird diese Dinge in der Regel
mit der Entwicklungsorganisation und am besten auch mit der Basisorganisation beraten wollen.
Doch das ist nicht immer sehr einfach.
Öfters kommt es vor, dass die Entwicklungsorganisation den Bericht gar nicht so gerne auswertet.
Das Management fühlt sich vielleicht zu Unrecht abqualifiziert und schlecht behandelt, und
schweigt sich lieber über den Bericht aus. Wer die Auswertung dann vorantreiben könnte, ist der
Vorstand (oder andere Aufsichtsgremien) der Entwicklungsorganisation; doch leider sind diese in
der Praxis oft nicht qualifiziert genug, um differenzierte Rückmeldungen zu geben oder
angemessene Entscheidungen zu treffen.
Um so wichtiger ist es, dass bei der Projektvereinbarung festgehalten wird, wie das gesamte
Evaluationsverfahren abläuft, und insbesondere, dass es nicht mit dem Vorliegen eines Dokuments
abgeschlossen ist. Vielmehr ist zu klären - in Gesprächen, nicht in erster Linie in Briefen - dass die
Evaluationsergebnisse auch von der Entwicklungsorganisation ausgewertet werden müssen, und
dass erwartet wird, dass sie bei Veränderungsbedarf auch Handlungsvorschläge erarbeitet, und
nicht, dass sie auf Weisungen durch die Förderorganisation warten sollen.
67
Insbesondere, wenn eine Evaluation durch die Entwicklungsorganisation beauftragt worden war,
kann es nicht angehen, dass ein Evaluationsbericht kommentarlos an die Förderorganisation (oder
an die Basisorganisation) weitergereicht wird - wie eine heisse Kartoffel.
Auch die Basisorganisation muss ihren Teil auswerten und ggf. über Konsequenzen entscheiden.
Aber hier hängt das in besonders hohem Maß von externen Beraterinnen oder Beratern ab, aus der
Entwicklungsorganisation oder aus dem Kreis der Evaluierenden, inwieweit hier Unterstützung
gewährt wird. Das muss im Einzelfall entschieden werden.
68
3.1 Wozu dient die Evaluation?

Zwei Ziele der Evaluation:
Rechenschaftslegung Selbststeuerung und
Veranlassung interner
Lernprozesse
• Unabhängige Prüfung • Begleitung, Moderation
• Gutachterliche Evaluation • Beraterische Evaluation
Diese zwei Ziele können bei einer Evaluation zu Konflikten

führen:
• Das Vorgehen der Prüfung kann die Lernprozesse blockieren.
• Das Vorgehen der Moderation kann die unabhängige Prüfung
erschweren.
Beide Ziele nicht verwischen oder vermischen!
Die Ziele können aber verbunden werden:

1. Schritt 2. Schritt
Bestandsaufnahme Reflexion
Erhebung des Ist-Zustandes Moderation und Begleitung
durch unabhängige durch unabhängige
Gutachter/innen Berater/innen
69
3.2 Was wird evaluiert?
Struktur der „Terms of Reference“
Anlass der Evaluation
Ziele der Evaluation
zu evaluierende Bereiche
Vorgehen und Methoden
Struktur des Berichts
Form der Berichterstattung
Anforderungen an Evaluierende
Zeitplan
Budget
70
Liste: „Mögliche Bereiche einer Evaluation“

(Dies ist eine - immer noch unvollständige - Checkliste. Wichtig: Aus diesen Bereichen und
Unterpunkten muss ausgewählt werden!)
1. Situationsanalyse
1.1 Beschreibung der Situation im Land
• in der Region
• im Projektgebiet
• Bezug zu den in der Projektplanung genannten Daten/Indikatoren; Analyse ihrer
Veränderungen; Perspektiven ihrer weiteren Entwicklung
• Begründung für die Auswahl des Projektgebiets
1.2 Potentiale und Probleme der benachteiligten Bevölkerung
• Differenzierung der Bevölkerung nach Geschlecht / Alter / ethnischer Zugehörigkeit / ...
• Begründung für die Auswahl der Adressaten des Projekts
2. Organisationsanalyse
2.1 Strukturen der Entwicklungsorganisation
• Potentiale und Probleme
• Geschichte
• Mandat, Oberziele
• Konzepte und Arbeitsprinzipien zu Entwicklungspolitik, Gender, Umwelt, ...
• Rechtsform
• Aufbauorganisation (Organisationsstruktur)
• Funktionen des Vorstandes ? Ablauforganisation
• Personal (differenziert nach Fach-/Hilfspersonal, Ausbildung, Geschlecht, ...)
• Vorhandensein von internen Regelungen (Finanzen, Nutzung von Material, ...)
• Partizipation der Beschäftigten
• Partizipation der Projektadressaten (der ¬Zielgruppe“)
• Partizipation der Mitglieder (falls Mitgliederstruktur)
2.2 Dienstleistungen / Produkte der Organisation
• Gesamtheit der durchgeführten Projekte
• Sektorale Ausrichtung
• Regionale Ausrichtung
• Bevorzugte Projektadressaten der Organisation
2.3 Aufsicht und Management der Organisation
71
• Tatsächliche Rolle des Vorstands

• Umsetzung des Mandats, der Oberziele, der Arbeitsprinzipien
• Funktionieren der Aufbau- und Ablauforganisation
• Einhaltung der internen Regelungen
• Interne Kontrollmechanismen allgemein
• Monitoring von Finanzen, Aktivitäten, Wirkungen
• Übersicht über durchgeführte Projekte
• Übersicht über Kooperationen mit nationalen und internationalen Organisationen, Staat
2.4 Finanzmanagement der Organisation
• Zuständigkeiten, Kompetenzen
• Auftrag an den Wirtschaftsprüfer
• Bericht des Wirtschaftsprüfers
• Stellungnahmen des Vorstandes zum Bericht des Wirtschaftsprüfers
• Analyse der 3 letzten Jahresrechnungen (z.B. auf Klarheit des Aufbaus, Trennung von
Gemeinkosten der Organisation und Spezialkosten einzelner Projekte, Anteil der
Selbstfinanzierung; Verschuldung; Liquidität)
3. Strukturen der Basisorganisation
(Sofern die Adressaten in organisierter Form am Projekt beteiligt sind, können hier ähnliche
Bereiche wie bei der Entwicklungsorganisation analysiert werden; es dürfen aber natürlich nur die
Aspekte übernommen werden, die relevant sind)
4. Projektanalyse
4.1 Projektkonzeption
• Projektvereinbarung, ursprüngliche Planungen
• Konzepte, Entwicklungshypothesen für das Projekt
• Arbeitsprinzipien (Partizipation der Adressaten, Gender, Umwelt, ...)
• Oberziele, Projektziele, Konsistenz des Zielsystems
• Indikatoren
• Angestrebte Ergebnisse
• Geplante Aktivitäten
• Risiken
• Strukturen, Verantwortlichkeiten
• Abläufe
• Monitoring und Evaluation
• Personaleinsatz (differenziert nach Fach-/Hilfspersonal, Ausbildung, Geschlecht, ...)
• Material, Ausstattung
72
• Kooperationen
4.2 Projektdurchführung
(Allgemein: Vergleich von dem, was vereinbart war („SOLL“) mit dem, was tatsächlich gemacht
wird („IST“); dabei müssen zwischenzeitliche Änderungen der Vereinbarungen berücksichtigt
werden)
• Durchführung der geplanten Aktivitäten (Bezug zum Monitoringsystem)
• Erreichung der angestrebten Ergebnisse (Bezug zum Monitoringsystem)
• Erreichung der Oberziele und Projektziele (Bezug zum Monitoringsystem)
• Konformität mit Mandat der Organisation und Arbeitsprinzipien
• Einbindung von Frauen in die Projektdurchführung
• Funktionsweise des M+E-Systems
• Funktionieren der Projektstrukturen und -abläufe (Wahrnehmung der internen
Verantwortlichkeiten, Verknüpfung mit Finanzmanagement)
• Bewirtschaftung von Material
4.3 Finanzmanagement des Projekts
• Tatsächliche Einnahmen und Ausgaben
• Funktionsweise der Budgetkontrolle
• Zuständigkeiten für Finanzentscheidungen, Kompetenzen des Projektpersonals
• (im Falle von Projektaudits:) Auftrag an den Wirtschaftsprüfer
• (im Falle von Projektaudits:) Bericht des Wirtschaftsprüfers
• (im Falle von Projektaudits:) Stellungnahmen zum Bericht des Wirtschaftsprüfers
• (im Falle von Projektaudits:) Analyse der 3 letzten Jahresrechnungen der Projekts
• (sofern vorhanden:) Wirtschaftlichkeit der Teilbetriebe
5. Wirkungen
(Allgemein: hier können andere Vergleichsbezüge hergestellt werden, wie VORHER-NACHHER,
MIT-OHNE, Benchmark, vgl. Kap. 2.8)
5.1 Wirkungen auf Projektebene
• Ergebnisse (Welche Dienstleistungen wurden erbracht? Welche werden weiterhin
erbracht?)
• Projektziele (Welche Veränderungen bei der Bevölkerung - bezogen auf die bei der
Planung angenommenen Wirkungszusammenhänge – hat das Projekt bewirkt?)
• Oberziele ( Zu welchen Veränderungen bei der Bevölkerung - bezogen auf die bei der
Planung angenommenen Wirkungszusammenhänge – hat das Projekt teilweise
beigetragen?)
• Unerwartete Wirkungen (Welche Veränderungen bei der Bevölkerung, die bei der Planung
nicht angenommen worden waren, hat das Projekt bewirkt? Oder zu welchen hat es
teilweise beigetragen?)
73
• Arbeitsprinzipien des Projekts (Partizipation der Adressaten, Gender, Umwelt, ....)

(Welche Veränderungen bei der Bevölkerung - bezogen auf die Arbeitsprinzipien des
Projekts - hat das Projekt bewirkt? Oder zu welchen hat es teilweise beigetragen?)
5.2 Projektübergreifende Wirkungen
• Wirkungen von der Organisation auf das Projekt
• Mandat, Oberziele der Organisation
• Konzepte und Arbeitsprinzipien zu Entwicklungspolitik, Gender, Umweltverträglichkeit,
...
• Rückwirkungen vom Projekt auf die Organisation
• Außenwirkungen des Projekts über das Projektgebiet hinaus
6. Schlussfolgerungen
6.1 Relevanz des Projekts
(Verhältnis zwischen 1. und 4.1)
6.2 Partizipation extern, Stimmigkeit mit Adressaten
(Verhältnis zwischen 1./3. und 4.)
6.3 Partizipation intern, Stimmigkeit zwischen Organisation und Projekt
(Verhältnis zwischen 2. und 4.)
6.4 Managementqualität, Konsistenz
(Verhältnis zwischen 4.1 und 4.2/4.3)
6.5 Effektivität des Projekts
(Verhältnis zwischen 4. und 5.)
6.6 Effizienz, Wirtschaftlichkeit des Projekts
(Verhältnis zwischen 4.3 und 5.1)
6.7 Signifikanz des Projekts
6.8 Einfluss der Organisation
6.9 Effizienz, Wirtschaftlichkeit und Signifikanz der Organisation
(Verhältnis zwischen 2.4 und 5.)
7. Empfehlungen
(Bezug zu den Zielen der Evaluation; möglichst präzise mit Nennung der Adressaten jeder
Empfehlung)
74
Beipiel: Formulierung der Terms of Reference (ToR)

Dieses Beispiel soll wichtige Hinweise geben, was bei der Beauftragung einer Evaluation vorab zu
klären ist, erhebt aber keinen Anspruch auf Vollständigkeit. Die größeren Hilfswerke verfügen über
wesentlich differenziertere Mustervorlagen.
Anlass der Evaluation:
Das Projekt entstand als Pilotprojekt, um neue Ansätze in der Ernährungsberatung zu erproben.
Entsprechend den gemeinsamen Absprachen zwischen Projektträger und Hilfswerk wird zum Ende
dieser Pilotphase diese Evaluation durchgeführt, um zu prüfen, wie das Projekt in der Folgephase
ausgedehnt werden könnte.
Ziele der Evaluation:
Mit der Evaluation wird ein Gutachten erstellt, das für den Vorstand des Projektträgers eine
Entscheidungshilfe über eine signifikantere und zugleich effizientere Projektkonzeption
darstellt. Der Vorstand wird im Januar... über die Neugestaltung entscheiden.
Für den Projektträger und das Hilfswerk stellt dieses Gutachten einen Beitrag zur
Präzisierung der Projektpolicy zur Ernährungsberatung dar.
Die Evaluation soll Ansatzpunkte einer möglichen Beratung benennen.
Zu evaluierende Bereiche:
Situationsanalyse (...1)
1. Projektanalyse (...)
2. Wirkungen (...)
3. Auswertungen
• Relevanz des Projekts
• Partizipation extern, Stimmigkeit mit Adressaten
• Managementqualität, Konsistenz
• Effektivität des Projekts
• Effizienz, Wirtschaftlichkeit des Projekts
• Signifikanz des Projekts
Fragen zur Veranschaulichung:
In zwei Workshops des Projektträgers und einer Arbeitssitzung des Hilfswerks wurden bereits
einige Fragen gesammelt, zu denen verschiedene Gruppen von Projektbeteiligten sich durch die
Evaluation eine Antwort erhoffen. Diese Fragen erheben keinen Anspruch auf Vollständigkeit und
Schlüssigkeit, sie sollen dem Evaluationsteam zur Veranschaulichung dienen (s. Anhang im
Beispiel nicht beigefügt):
1. Fragen aus einem Workshop einer Frauengruppe
1
Dieses Beispiel enthält keine detaillierte Aufzählung der verschiedenen Unterpunkte. Die weitgehend komplette Liste
„Mögliche Bereiche einer Evaluation“ ist weiter vorne in diesem Anhang dargestellt; diese Liste kann nicht vollständig
übernommen werden, aus ihr muss unbedingt eine Auswahl getroffen werden.
75
2. Fragen aus einem Workshop des Projektteams

3. Fragen aus einer Arbeitssitzung des Hilfswerks
Vorgehen und Methoden:
Das Evaluationsteam erstellt ein Gutachten, wobei auch folgende Erhebungen durchgeführt
werden:
• Aktenstudium beim Hilfswerk
• Befragungen der Referatsleiterin ..., des Projektsachbearbeiters des Grundsatzreferenten ...
• Befragungen der Projektleitung und des Vorstandes des Projektträgers
• Projektbesuche in ... sowie in drei vor Ort auszuwählenden Dörfern, dabei Erhebung von
Daten zur Beschreibung der Situation der Zielgruppe sowie zu den Indikatoren für Ziele
und Ergebnisse
• Je 1 Workshop mit Projektteam sowie mit Vertreterinnen der Zielgruppe
• Rollenklärung: Die Evaluatorinnen übernehmen in dieser Phase die K von Gutachterinnen.
• Prüfung der Monitoringdaten
Anforderungen an Evaluatoren:
Es wird ein Team aus einer nationalen und einer deutschen Fachkraft zusammengestellt. Die
Teamleitung liegt bei der deutschen Fachkraft. Das Team entscheidet über die Aufgabenteilung.
Deutsche Fachkraft:
• fachliche Spezialisierung: Ernährungsprojekte, Genderfragen
• methodische Kompetenzen: Datenerhebung
• Landeskenntnisse
• Geschlecht: bevorzugt weiblich
Nationale Fachkraft:
• fachliche Spezialisierung: Ernährungsprojekte, Basisprojekte
• methodische Kompetenzen: Moderation von Workshops
• Herkunft möglichst nicht aus Projektregion
• Geschlecht: bevorzugt weiblich
Struktur des Berichts:
1. Executive Summary (ca. 3 Seiten)
2. Evaluation Report (ca. 50 Seiten gemäß der Gliederung "Zu evaluierenden Bereiche")
3. Recommendations (ca. 10 Seiten)
4. Annexes (alle vertiefenden Erläuterungen, Erhebungsergebnisse)
Die Berichtssprache ist englisch.
Form der Berichterstattunq:
• Vor Ort gibt es mindestens einen Tag vor der Abreise zwei visualisierte mündliche
Präsentationen der Evaluationsergebnisse: für die Vertreterinnen der Zielgruppe und das
76
Projektteam, sowie für den Vorstand und das Management. Diese Präsentationen dienen der
Überprüfung der ersten Ergebnisse und der Reflexion über die Schlussfolgerungen.
• In Deutschland findet nach Abgabe des schriftlichen Berichts eine etwa eintägige Auswertung
zwischen der Teamleiterin und Vertretern des Hilfswerks statt.
Zeitplan:
Vorbereitung in Deutschland: 10. KW
Erhebungen vor Ort: 11-12. KW
Erstellung und Abgabe des Berichts: bis 16. KW
Budget:
1. Berechnung der erforderlichen Tage
Tätigkeiten Deutsche Nationale
Fachkraft Fachkraft
Arbeiten
Vorbereitung in Deutschland 5
Erhebungen/ Arbeiten vor Ort 14 14
Verfassen des Berichts 5 5
Abschlussbesprechung 1
Reisetage 2 2
Summe der Arbeitstage 27 21
2. Berechnung der Kosten (deutsche Fachkraft)

Kostenarten Mengen DM
Honorare 27 Tage à DM 500 13500
Auslandsreisekosten 0
Tagegelder pauschal 14 x DM 50 700
Übernachtungen pauschal 14 x DM 50 700
Reisenebenkosten pauschal 300
Flugticket (gegen Nachweis) 1800
Weitere Aufwendungen (gegen Nachweis) Bis zu DM 500 500
77
Inlandsreisekosten 0
Tagegelder pauschal 3 x DM 20 60
Übernachtungsgelder pauschal 1 x DM 39 39
Fahrkosten (gegen Nachweis) 2 x DM 200 400
Kommunikation+Fotokopien pauschal 300
Unvorhergesehenes (gegen Nachweis) Bis zu 500 500
Zwischensumme 18799
MwSt 16% 3008
Summe 21807
3. Berechnungen der Kosten (nationale Fachkraft): analog; die einzelnen Mengen und Beträge
können unterschiedlich sein. Dei Frage der Umsatzsteuer vorher klären!
Der Projektträger trägt die Kosten für Workshops, Fotokopien und Fahrkosten vor Ort, weil diese
Evaluation bereits im Projektbudget berücksichtigt ist. Es sollte vereinbart werden, dass die vom
Projektträger gestellte Übernachtung und Verpflegung nicht nochmals vom Evaluationsteam
abgerechnet werden kann.
78
4. Glossar
4. Glossar
Adressaten (des Projekts): diejenigen, denen das Projekt zugute kommen soll; die Begünstigten;
die "Zielgruppe"
Aktivität: Maßnahme oder Tätigkeit, die im Rahmen des Projekts durchzuführen
ist, um zu den Ergebnissen oder Zielen zu gelangen (vgl. Kap. 1.4)
Basisorganisation: Organisation der Adressaten des Projekts, z.B.
• Dorfgemeinschaft
• Kirchengemeinde
• Frauengruppe
(vgl. Kap. 1.1)
Effektivität: Wirksamkeit der Tätigkeit, Summe der Wirkungen "Machen wir das
Richtige?" (Sind unsere Ergebnisse sinnvoll?)
Effizienz: Leistungsfähigkeit: Summe der Wirkungen im Verhältnis zur Summe
des Aufwandes
"Machen wir es richtig?" (Setzen wir unsere Mittel und Kräfte richtig
ein?)
Entwicklungs- Organisation, die vor Ort für die Projektdurchführung verantwortlich
ist, z.B.
organisation:
• Nationale NRO
• Kirche
• karitative Organisation
(vgl. Kap. 1.1)
Entwicklungsziel: Ziel, das die personalen oder sozialen Kompetenzen beschreibt,
welche die Voraussetzung für die Durchführung von Projekten oder
für die Entwicklung im allgemeinen sind; sie werden oft mit "soft
skills", „empowerment" oder ,Problemlösungskompetenz"
umschrieben
(vgl. Kap. 1.5)
Ergebnis: 1. ein Unterziel, für welches das Projekt verantwortlich ist prüfen und
lernen
2. ein Produkt oder eine Dienstleistung welche das Projekt den
Adressaten des Projekts zur Verfügung stellen muss, damit die
gewünschten Wirkungen eintreten (vor allem in ZOPP)
(vgl. Kap. 1.3)
Evaluation: Steuerung von Grundsatzentscheidungen, z.B. Entscheidungen über
Organisationsziele, über Form und Inhalte der unterstützten Projekte,
über die Zweckmäßigkeit von Strukturen und Kooperationen.
Evaluation beinhaltet wie Monitoring die drei Schritte beobachten -
auswerten - handeln, ist aber grundlegender und seltener als
Monitoring.
79
4. Glossar
Förderorganisation: Organisation, die die Projektdurchführung fördert und mitfinanziert,

z.B.
• Hilfswerk
• gemeinnütziger Verein
• entwicklungspolitische Aktionsgruppe
(vgl. Kap. 1.1)
Impact: (englisch / französisch: Aufprall, Einschlag) signifikante Auswirkung;
zunehmend Synonym für Wirkung
Indikator: Beispielhafte, konkrete Beschreibung eines Merkmales eines
Zustandes (Indikator = Anzeiger) (vgl. Kap. 1 . 2 Problemindikatoren,
Kap.1.3 Zielindikatoren)
Logical Framework: Deutsch auch "Projektplanungsübersicht": Planungsstruktur für
Ziele/Aktivitäten, Indikatoren, Quellen der Nachprüfbarkeit und
Annahmen. "Logframe" war die Vorform des ZOPP, und ist beim
ZOPP nach der Analysephase erst der 2. Schritt.
Monitoring Steuerung der Projektdurchführung im Rahmen der
Projektvereinbarung, die bei Bedarf geändert werden kann; im
Vordergrund steht die fortlaufende Beobachtung von Indikatoren und
Kenngrößen, doch Monitoring beinhaltet die drei Schritte beobachten
- auswerten - handeln.
Oberziel: Zustand, der in der Zukunft zu erreichen ist, zu dem das Projekt einen
Beitrag leisten wird
(vgl. Kap. 1.3)
PIM: ,Participatory Impact Monitoring": Methode zur Beobachtung von
Veränderungen und Wirkungen inbesonders für Basis- und
Entwicklungsorganisationen, die auf Stärkung der Selbststeuerung und
Veranlassen von Lernprozessen ausgerichtet ist; wirkt stark auf die
Situationsanalyse und Projektplanung zurück.
PRA: ,Participatory Rapid Appraisal": Methode zur Situationsanalyse durch
die Betroffenen, durch die Wahrnehmung gestärkt und Lernprozesse
ausgelöst werden; fließt in die Projektplanung ein und ist ein wichtiges
Element bei der Wirkungsbeobachtung durch die Projektadressaten.
Problem: ein real existierender Zustand, der als negativ betrachtet wird und eine
Veränderung erfordert (vgl. Kap. 1.2)
Projektziel: ein Zustand der Zukunft, der durch ein bestimmtes Projekt erreicht
werden kann
(vgl. Kap. 1.3)
Risiko: Zustand, der das Erreichen des Projektziels in Frage stellt; wird positiv
umformuliert zu erforderlichen Rahmenbedingungen (in ZOPP
"wichtige Annahmen ")oder zu Entwicklungszielen
(vgl. Kap. 1.5)
Terms of Reference: Die "ToR" sind das Pflichtheft für die Evaluierenden.
80
4. Glossar
Wirkungen: Veränderungen, die durch eine bestimmte Intervention verursacht

worden sind; über die Ursache-Wirkungs-Zusammenhänge müssen
Hypothesen gebildet werden, die im Projektkontext letztlich kaum
bewiesen werden können.
Wirkungshypothesen: Annahmen über bestimmte Ursache-Wirkungs-Zusammenhänge, z.B.
• weil die Maiserträge niedrig sind, sind die Einkommen der
Bauern niedrig, (Probleme)
• wenn die Maiserträge steigen, dann steigen auch die Einkommen
der Bauern (Ziele)
Diese führen bei der Projektplanung zu einer Ziel-Mittel-Struktur, z.B.
• Aktivitäten erbringen Ergebnisse
• Ergebnisse bewirken Zielerreichung
• Zielerreichung trägt bei zur Erreichung von Oberzielen
Häufige Darstellungsform sind Problembaum und Zielbaum (vgl.
ZOPP-Publikationen), bei der Ursache-Wirkungs-Ketten ermittelt
werden, die sich in Richtung auf Ursachen zunehmend verzweigen.
Eine alternative Darstellung ist die Wirkungsmatrix, bei der für eine
Reihe von Merkmalen der Ausgangssituation geprüft wird, inwieweit
sie beeinflusste, neutrale oder beeinflussende Faktoren sind.
Wenn die beobachteten Veränderungen im Projektumfeld in einem
angenommenen Ursache-Wirkungs-Zusammenhang mit den
Projektzielen und -aktivitäten stehen, dann ist anzunehmen, dass sie
Wirkungen des Projektes sind - beweisen lässt es sich jedoch nicht.
(vgl. Kap. 2.2)
Ziel: erwünschter Zustand, der in der Zukunft erreicht werden soll (vgl.
Kap. 1.3)
ZOPP: "Zielorientierte Projektplanung": Methode zur Projektplanung, die von
der GTZ entwickelt wurde und weltweit in die EZ Eingang findet,
zunehmend auch bei NRO des Südens; beinhaltet eine vorgeschaltete
Situationsanalyse, bei der ausführliche Wirkungshypothesen
formuliert werden, und schafft die Grundlage für ein systematisches
Monitoring.
81
5. Weiterführende Literatur
AUSSCHUSS FÜR ENTWICKLUNGSHILFE: DAC (1996): Bericht 1996, Politik und Leistungen
der Mitglieder des Ausschusses für Entwicklungshilfe. - Paris
BARTHELT, R. (1998): Erfolgsbeobachtung und Wirkungsoptimierung. Die Aufgabe der
Evaluierung im BMZ. - In: E+Z (1998): Jg.39, Heft 1, S. 4-5
BMZ (1997): Entwicklungszusammenarbeit auf dem Prüfstand. - Auswertung der 1994/95
durchgeführten Evaluierungen des BMZ, Nr.76
BMZ (1997): Leitfaden, Zielsetzung und Durchführung von Evaluierungen. - Bonn
BMZ (1997): BMZ aktuell, Nr.097/ April 1999, Entwicklungszusammenarbeit - Erfolge und
Probleme, Auswertung der 1996/97 durchgeführten Evaluierungen des BMZ
BORRMAN, A. ET AL. (1999): Erfolgskontrolle in der deutschen Entwicklungszusammenarbeit -
Analyse, Bewertung, Reformen. - Studie des HWWA - Institut für Wirtschaftsforschung -
Hamburg, Bd. 51
BREIER, H. (1998): Erfolgskontrolle in der EZ. Das neue Konzept des BMZ. - In: E+Z (1998), Jg.
39, Heft 5/6, S. 128-130
BRÜNE, S. (1998) (Hrsg.): Erfolgskontrolle in der entwicklungspolitischen Zusammenarbeit. -
Hamburg
DEH (1995): Wegweiser zur Selbstevaluation
DIREKTION FÜR ENTWICKLUNG UND ZUSAMMENARBEIT (DEZA) (1997): Monitoring -
mit der Realität in Kontakt bleiben.
FUES, T. (1998): Indikatoren für die Nachhaltigkeit der deutschen Beziehungen zum Süden. -
Duisburg
FUES, T. (1998): Modetrend oder Kompass? neue Indikatoren für Entwicklung und
Nachhaltigkeit. - In: E+Z (1998), Jg. 39, Heft 8, S. 280-281
GERMANN, D.; GOHL, E. (1996): Participatory Impact Monitoring (PIM) - GTZ GATE
GELLSCHAFT FUR TECHNISCHE ZUSAMMENARBEIT (GTZ) - ABTEILUNG 402 - (1993):
Prozessmonitoring - Eine Arbeitshilfe für Projektmitarbeiter/-innen. - Eschborn
GESELLSCHAFT FÜR TECHNISCHE ZUSAMMENARBEIT (GTZ) - STABSSTELLE 04 -
(1995): Projekt Cycle Management (PCM) und Zielorientierte Projektplanung (ZOPP). - Eschborn
(1997): Zielorientierte Projekt Planung - ZOPP. Eine Orientierung für die Planung bei neuen und
laufenden Projekten und Programmen. - Eschborn
(1998): Monitoring im Projekt. Eine Orientierung für Vorhaben der Technischen Zusammenarbeit.
- Eschborn
GESELLSCHAFT FOR TECHNISCHE ZUSAMMENARBEIT (GTZ) (1998): Erreicht die TZ die
gesetzten Ziele? Projektergebnisse der GTZ und ihrer Partner. - Vierte Querschnittsanalyse;
Eschborn
GTZ / CENTRE FOR DEVELOPMENT AND ENVIRONMENT (CDE) SCHWEIZ (1998):
Sustainable Land Management - Guidelines for Impact Monitoring -1. Toolkit. - Eschborn
82
HANCOCK, G. (1989): Händler der Armut. Wohin verschwinden unsere Entwicklungsmilliarden?

München
HOEBINK, R (1998): Bewertungsanstrengungen der EU-Geberländer im Vergleich. In: BRÜNE,
S. (1998) (Hrsg.): Erfolgskontrolle in der entwicklungspolitischen Zusammenarbeit; S. 64-79,
Hamburg
KLINGEBIEL, S. (1992): Entwicklungsindikatoren in der politischen und wissenschaftlichen
Diskussion: der Human Development Index, der Human Freedom Index und andere
Indikatoren-Konzepte. - Institut für Entwicklung und Frieden (INEF), Report 2/1992, Duisburg
KOHNERT, D. (1998): Lehren aus 15 Jahren ZOPP. Plädoyer für zielorientierte statt
sektororientierte Steuerung in der EZ. - In: E+Z (1998), Jg. 39, Heft 5/6, S. 137-140
MISEREOR (1998) (Hrsg.): Wirkungen und Nebenwirkungen. - ein Beitrag von Misereor zur
Diskussion über Wirkungsverständnis und Wirkungserfassung in der EZ, Aachen
MÜLLEDER, CH. (1999): Die Evaluierung der Österreichischen humanitären Hilfe im ehemaligen
Jugoslawien als Ausgangspunkt für die Entwicklung eines einheitlichen Modells zur Erfassung und
Dokumentation von Hilfsmaßnahmen. Linz
83

Impact M+E Venro DT

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Impact M+E Venro DT

Hochgeladen von

Copyright:

Verfügbare Formate

prüfen und lernen

Praxisorientierte Handreichung zur

Der Verband Entwicklungspolitik deutscher Nichtregierungsorganisationen e.V. (VENRO)

1. Was vor der Erfolgskontrolle zu klären ist 4

Die Handreichung "Wirkungsbeobachtung und Evaluation" soll Projektsachbearbeitern und

1. Was vor der Erfolgskontrolle zu klären ist

Keine Regel ohne Ausnahmen:

1.2 Formulierung von Problemen und deren Indikatoren

Was ist ein Problem ?

Ein Problem ist

Was ist der typischste Fehler bei der Problemformulierung?

Was ist ein Indikator?

• die Häufigkeit des Fleischkonsums

Vier Wege um Indikatoren zu erarbeiten:

Wer erkundet die Ausgangssituation?

1.3 Klärung und Formulierung von Zielen und deren Indikatoren

Was ist ein Ziel?

Was ist der typischste Fehler bei der Zielformulierung?

Welche Ebenen von Zielen gibt es?

Gelegentlich ist es sinnvoll, drei Ebenen von Zielen zu unterscheiden:

Wie bilden wir die Zielindikatoren?

1.4 Klärung von Aktivitäten und Budget

Was sind Aktivitäten?

Eine Aktivität ist eine

Was ist ein Budget?

Ermittlung der Ausgaben:

alle Projektaktivitäten werden aufgelistet (Aktivitätenplan)

Ermittlung der Einnahmen:

1.5 Klärung der Rahmenbedingungen und Risiken

Wie interne Risiken zu Entwicklungszielen umformuliert werden können

Das Grundschema wird noch „umrahmt“ von bestimmten Grundinformationen, z.B.:

1.7 Zuständigkeiten für Erfolgskontrolle und Management-

1.8 Projektvereinbarung und Begleitung

Anhang – Kopiervorlagen Kapitel 1

1.1 Akteure des Projekts

Ihre Mitglieder unterscheiden sich weiter z.B. hinsichtlich

Frauen Organisations Vorstand

Diese unterscheiden sich weiterhin z.B. hinsichtlich

Problem Indikator (Problem-Niveau)

Ziel Indikator (Ziel-Niveau)

1.2 Probleme und Indikatoren

Beispiel: die Frauen und Kinder sind unterernährt

Falsche Hinführung zur richtigen

(„Woran fehlt es?“) („Wenn es einen Mangel an ... gibt, dann

Mangel an Milchpulver und an Die Kindersterblichkeit ist sehr hoch

Indikator: Die beispielhafte, konkrete Beschreibung

Ein objektiv nachprüfbarer Indikator hat fünf wesentliche

... welches Kriterium? ... das Gewicht

... in welcher Region? ... in den Vierteln XYZ von M.

... zu welchem Zeitpunkt? Im Dezember 1998 (vor Projektbeginn)

... auf welchem Niveau? Beträgt 48kg (Problem-Niveau)

1.3 Ziele und Indikatoren

Ziel: erwünschter Zustand, der in der Zukunft erreicht werden soll

Beispiel: • die Kinder und die Frauen sind besser ernährt

Falsche Zielformulierung Hinführung zur richtigen

(„Welche Maßnahmen sollen am Ende („Wie soll die Situation der

Ausbildung von Die Kindersterblichkeit ist gering

Indikator: enthält Informationen, wie die Ausprägung des Zieles zu

... welches Kriterium? ... das Gewicht

1.4 Aktivitäten und Budget

Aktivität: eine Maßnahme oder Tätigkeit, die im Rahmen des

• eine Kampagne zur Bewusstseinsbildung organisieren

• Kurse über Hygiene bei der Essenszubereitung für Frauen