Wirkungsorientiertes Arbeiten ist HelpAge ein wichtiges Anliegen. Deshalb haben wir 2022 die erste Ex-Post-Evaluation in der Geschichte von HelpAge Deutschland durchgeführt. Hier lesen Sie die Zusammenfassung der Ergebnisse.
Wissen, was bleibt: die erste Ex-Post-Evaluation von HelpAge Deutschland
Wissen, was bleibt: die erste Ex-Post-Evaluation von HelpAge Deutschland
Wirkungsorientiertes Arbeiten ist HelpAge ein wichtiges Anliegen. Evaluationen von Projekten stellen dabei ein wichtiges Instrument dar, mit dem empirische Informationen über die Zielerreichung durch unabhängige Beratungs- und Forschungseinrichtungen erhoben und zusammengestellt werden. Die gesammelten Informationen dienen u.a. dazu, Rechenschaft über die erzielten Ergebnisse abzulegen und uns als Organisation in der Projektgestaltung und -umsetzung weiterzuentwickeln.
In der Regel werden Projektevaluationen unmittelbar nach Abschluss eines Projekts durchgeführt (Abschlussevaluationen). In allen Projekten mit einer längeren Laufzeit versuchen wir, eine solche Abschlussevaluation durchzuführen. Bestandteile davon sind bspw. die Bewertung der Zielerreichung nach Projektende, die Frage, wie wirtschaftlich gearbeitet wurde und inwieweit die Projektmaßnahmen tatsächliche Veränderungen in den Lebensumständen von älteren Menschen erreicht haben.
Es ist jedoch oft kaum dokumentiert, was teils mehrere Jahre nach Projektabschluss geschieht. So fällt es schwer, systematisch zu beurteilen, ob positive Wirkungen auch nach Projektende bestehen bleiben. Um einen tieferen Einblick in die Wirkungen unserer Projekte mehrere Jahre nach Projektabschluss zu erhalten und daraus Lernerfahrungen für künftige Maßnahmen zu generieren, beauftragte HelpAge Deutschland e.V. eine unabhängige Ex-Post-Evaluation zweier abgeschlossener Entwicklungsprojekte in Kambodscha und Tansania. In der beauftragten Studie sollte hauptsächlich erhoben werden, wie nachhaltig die Wirkungen unserer Projekte viele Jahre nach Projektende sind und welche Faktoren einen Einfluss auf die Nachhaltigkeit haben.
Titelfoto: Miss Loem, 68 Jahre, ist Vorsitzende der lokalen Altenorganisation in ihrem Dorf in Kambodscha. Dort setzt sie sich aktiv für die Rechte älterer Menschen ein: So fordert sie z.B. eine bessere Gesundheitsversorgung durch regelmäßige Vorsorgeuntersuchungen für ältere Menschen.
Die untersuchten Projekte
Kambodscha
Ziel des Projekts in Kambodscha (Laufzeit 2015 bis 2018) war die Reduzierung der Auswirkungen des Klimawandels und von Naturkatastrophen auf ältere Menschen. Die Projektaktivitäten wurden in zehn Gemeinden der Provinz Battambang durchgeführt und richteten sich an 150 Kleinbäuer*innen und 1.150 Mitglieder von zehn lokalen Altengruppen (engl.: Older People Associations, kurz OPAs). Die Maßnahmen des Projekts waren vielfältig: Die Gemeinde mitglieder wurden bei der Gründung neuer OPAs unterstützt, welche eine besonders wichtige Rolle in der Umsetzung der Projektmaßnahmen spielten. In Ergänzung dazu wurden kleinbäuerliche Existenzgrundlagen und die Wasser infrastruktur in den Gemeinden widerstandsfähiger und sicherer vor den Auswirkungen des Klimawandels gemacht. Hierfür wurden zusätzlich dazu auch Schulungen zu klimaangepassten und widerstandsfähigen Landnutzungssystemen durchgeführt.
Tansania
In Tansania zielte das Projekt (Laufzeit 2013 bis 2016) vor allem auf den Schutz der Rechte älterer Menschen und die Stärkung ihrer sozialen, kulturellen und wirtschaftlichen Situation ab. Die Zielgruppe waren 1.118 ältere Menschen (insbesondere Frauen) aus 24 Dörfern in den Regionen Mwanza und Kagera im Norden Tansanias. In Tansania werden ältere Frauen häufig diskriminiert und in einigen Regionen noch heute der Hexerei beschuldigt. Im Rahmen der Projektmaßnahmen wurden OPAs gebildet und gestärkt, die gemeinsam mit anderen zivilgesellschaftlichen Organisationen als regionales Netz werk zur Förderung von Rechten älterer Menschen agieren. Vor allem Frauen wurden in der Gründung von landwirtschaftlichen Kleinbetrieben, kleinen Geschäften oder anderen einkommensschaff enden Aktivitäten geschult und unterstützt, damit sie ein eigenes Einkommen erwirtschaften können.
Methodik
Die Ex-Post-Evaluation wurde zwischen Januar und November 2022 durch RESULT- Research Consult durchgeführt. Um eine größtmögliche Aussagekraft der Daten zu gewährleisten, wurde sich für einen gemischten Methodenansatz entschieden, bestehend aus qualitativen und quantitativen Daten und einer Primär- und Sekundärdatenerhebung.
Die Primärdatenerhebungen fanden durch lokale Evaluator*innen im April und Mai 2022 in den ehemaligen Projektregionen in Kambodscha und Tansania statt. Durchgeführt wurden: Interviews mit Schlüsselinformant*innen (u.a. Projektmitarbeitende, Projektteilnehmende, Regierungsmitarbeitende), Fokusgruppendiskussionen und die Erhebung von individuellen Fallberichten (case studies). Insgesamt nahmen 200 Personen (58 % Frauen, 42 % Männer) in Kambodscha und 245 (57 % Frauen, 43 % Männer) Personen in Tansania an der Studie teil. Die Sekundärdatenerhebung beruhte auf Projektdokumenten, die vor oder während der Projektlaufzeit erstellt wurden (z.B. Projektanträge, Monitoring- und Evaluationsberichte).
Die Daten wurden basierend auf thematischer Analyse (qualitativ) und deskriptiver Analysemethoden (quantitativ) ausgewertet und interpretiert. Besonders ist, dass die Datenerhebung und -analyse durch feministische Forschungsansätze geleitet wurde. Diese stellen u.a. Fragen von sozialer Gerechtigkeit, auch im Hinblick auf Gender, und forschungsethische Themen, wie das Wohlergehen von Studienteilnehmenden, stärker in den Vordergrund des Erkenntnisgewinns. Die Studienergebnisse wurden anhand des Analyserahmens der "Organisation for Economic Co-Operation and Development – Development Assistance Committee" (kurz OECD-DAC) gruppiert und dargestellt. Die Analysekriterien des OECD-DAC gelten als Standard in Evaluationen im Rahmen von Entwicklungsprojekten. Diese umfassen: Nachhaltigkeit, Wirkung, Effektivität, Effizienz, Kohärenz und Relevanz. Da für die Ex-Post-Evaluation besonders die Fragestellung zur nachhaltigen Wirkung (und beeinflussende Faktoren) im Vordergrund stand (Kriterien: Nachhaltigkeit, Wirkung), fokussierte sich die Primärdatenerhebung hierauf. Die Sekundärdatenerhebung fokussierte die OECD-DAC Kriterien Effektivität, Effizienz, Kohärenz, Relevanz.
Ergebnisse und Empfehlungen
Die Nachhaltigkeit der Projekte in Kambodscha und Tansania wurde in der Studie insgesamt als positiv bewertet. Die durch die Projekte geschulten und geförderten OPAs haben sich auch nach Projektabschluss weiter selbst getragen und sind durch eine breite Mitgliederschaft weiter aktiv. Dies ist nach der Ex-Post-Evaluation umso positiver zu bewerten, da alle OPAs in Kambodscha und Tansania angesichts der COVID-19-Pandemie vor großen Herausforderungen standen. Die OPAs pflegen gute Beziehungen zu verschiedenen Interessengruppen und Partnerinnen auf lokaler und Provinzebene sowie zu staatlichen Vertreterinnen und setzen sich für ihre Belange ein. Studienteilnehmer*innen der OPAs gaben zudem an, dass die durch die Projekte erhaltenen Trainings und Fortbildungen wesentliche Aspekte waren, damit sie ihre Arbeit auch nach Projektende gezielt fortsetzen können. Die Beziehungen zwischen den OPAs und der Regierung sollten weiter gefördert und unterstützt werden sowie die Sichtbarkeit der Wirkungen der OPA-Arbeit erhöht werden, um ein noch stärkeres Bewusstsein für die Belange älterer Menschen und ihre Beiträge für eine gerechtere Gesellschaft zu schaffen und positive Politikänderungen zu bewirken. Eine noch bessere Sichtbarkeit kann OPAs ebenfalls bei der Erschließung weiterer öffentlicher Unterstützung und externer Finanzquellen, beispielsweise durch lokale Regierungen, helfen.
Auch andere Projektmaßnahmen konnten zum Zeitpunkt dieser Evaluation erfolgreich weitergeführt werden. Hervorzuheben ist zum einen die Nutzung neuer Bewässerungssysteme in Kambodscha und zum anderen die Umsetzung von nachhaltigen einkommensschaffenden Maßnahmen in Tansania, bspw. in der Gründung von Kleinunternehmen oder dem Ausbau einer Ziegenzucht. Allerdings kamen in Kambodscha seit Projektende auch weitere Herausforderungen hinzu: Zusätzlich zu Dürren haben Gemeinden vermehrt mit Überflutungen zu kämpfen. Hierdurch wird die nachhaltige Anpassung an die Folgen des Klimawandels immer schwieriger. Es wird empfohlen, dass institutionelle Geber Möglichkeiten der flexibleren Projektgestaltung schaffen, damit Organisationen auf sich verändernde Umstände im Projektkontext schneller und besser reagieren können. Um Einkommensquellen noch weiter – insbesondere auch über landwirtschaftliche Erzeugnisse hinaus – zu diversifizieren, könnten gezielt Akteur*innen des Privatsektors einbezogen werden.
Studienteilnehmende beobachteten eine verstärkte mediale Berichterstattung über die Rechte älterer Menschen nach Projektende, die sie auch auf die Projektaktivitäten zurückführen. Diese trug zu einer nachhaltigen Veränderung des Verhaltens und einer positiveren Einstellung jüngerer Menschen gegenüber älteren Menschen zum Zeitpunkt der Durchführung der Ex-Post-Evaluation bei. Allerdings wurde auch aufgezeigt, dass bestehende Gesetzgebungen zum Schutz der Rechte älterer Menschen in Kambodscha und Tansania noch nicht hinreichend umgesetzt werden.
Foto: Leticia, 60 Jahre, hat mithilfe des Projektes eine Plantage aufgebaut, auf der sie Ananas anpflanzt. Durch den Verkauf der Früchte erwirtschaftet sie sich ihr eigenes Einkommen für sich und ihre Familie.
In beiden Ländern hatten die Projekte auch noch nach Projektende erkennbare positive Wirkungen auf die Situation älterer Menschen in den Projektregionen. In Tansania bspw. berichteten Projektteilnehmende von einem verbesserten Gesundheitszustand (aufgrund von Sensibilisierungs- und Aufklärungsmaßnahmen zur Gesundheitsvorsorge, Investition in die Gesundheit und sportlichen Aktivitäten) und die Menschen fühlten sich nach Projektende in ihren Gemeinden mehr respektiert, da sie durch die Teilnahme an Schulungen von Mitmenschen als gebildeter wahrgenommen werden und insb. ältere Frauen dank der Kleinstunternehmen für ihre unternehmerischen Fähigkeiten geschätzt werden. Außerdem erhöhte sich ihr Lebensstandard durch eine fortwährende unternehmerische Tätigkeit. Allerdings sollten Beratungen zwischen Nichtregierungsorganisationen und staatlichen Stellen darüber stattfinden, wie ältere Menschen durch die Strafverfolgungsbehörden noch besser geschützt werden können, um das Vertrauen der Bevölkerung in die staatlichen Stellen und die lokale Regierung weiter zu stärken.
In Kambodscha haben sich v.a. die Einführung neuer und klimaangepasster Anbaumethoden (z.B. Nutzung von klimaresistenten Reissamen oder Kompost statt chemischer Düngermittel) und Bewässerungssysteme bewährt, die zu einer Verbesserung der landwirtschaftlichen Unternehmertätigkeit der Projektteilnehmenden führten. Des Weiteren erwies sich die Etablierung der OPAs als positiv, die in beiden Ländern nach wie vor aktiv sind und ältere Menschen in beiden Ländern weiter unterstützen (siehe Ausführungen unter „Nachhaltigkeit“). In Kambodscha sind sie bspw. mit einem hohen Maß an Eigenverantwortlichkeit in die öffentliche Katastrophenvorsorge involviert (seit Projektbeginn gab es in den Projektgemeinden z.B. keine Todesopfer bei Katastrophen mehr).
Einschränkend zeigte die Evaluation, dass Wirkungen sich größtenteils auf am Projekt teilnehmende Personen und Gemeinden beschränkten und wenig größere Übertragungseffekte auf Nicht-Teilnehmende beobachtet werden konnten, was teilweise zu Misstrauen bei Nicht-Teilnehmenden führte. Übertragungseffekte waren zwar keine Projektziele, allerdings wären sie eine Möglichkeit, noch mehr Menschen zu erreichen. Es wird daher empfohlen, weitere Regionen in Kambodscha und Tansania in die Projektplanungen einzuschließen, um eine noch größere Zielgruppe zu erreichen. Durch die verstärkte Nutzung von Multiplikator*innen und verstärkte Advocacyarbeit bei der Regierung könnten die Wirkungen der Projekte ebenfalls weiter verstärkt werden
Beide Projekte in Kambodscha und Tansania wurden als wirksam und effektiv in der Erreichung von geplanten Projektzielen bewertet. Das Projekt in Kambodscha konnte erfolgreich zu Anpassungslösungen im Kontext des Klimawandels für ältere Menschen beitragen (z.B. besserer Zugang zu Wasser und verbesserte Anbaumethoden). In Tansania erreichte das Projekt einen Mentalitätswandel gegenüber älteren Menschen und eine Sensibilisierung für Altenrechte. Einkommensschaffende Maßnahmen verbesserten besonders den Lebensstandard und die Gesundheit älterer Frauen. Allerdings sollten zukünftige Projekte die geplanten Ziele und entsprechende Aktivitäten in noch detaillierteren Wirkungsmodellen verbinden und die Wirkungsebene sowie externe Akteur*innen und Ressourcen verstärkt in Monitoringprozesse integrieren.
Die Effizienz der Projekte wurde insgesamt als gut bewertet und insbesondere die Personal- und Organisationsstruktur der Projekte wurde positiv hervorgehoben. Allerdings gibt es auch Faktoren, die in zukünftigen Projekten adressiert werden sollten, um noch effizienter zu arbeiten. Die Sprachenvielfalt in Tansania stellte Projektteams vor die Herausforderung in allen Projektgebieten mit Projektteilnehmenden in ihrer Muttersprache zu kommunizieren. Das Projekt in Tansania arbeitete mit Freiwilligen auf Gemeindeebene, allerdings gaben vollbeschäftigte Projektmitarbeitende an, dass sie neben ihren vielfältigen Tätigkeiten im Rahmen des Projekts wenig Zeit für die Ehrenamtsbetreuung hatten.
Die Projekte waren laut der Ex-Post-Evaluation intern mit den Zielen von HelpAge und extern mit den nationalen Politiken beider Länder kohärent. In beiden Ländern gibt es politische Strategien und Programme zur Unterstützung älterer Menschen und zur Verbesserung ihrer Lebensbedingungen, an die die Projekte anschlussfähig waren. Allerdings sollten sich zukünftige Projekte noch stärker mit anderen zivilgesellschaftlichen Akteur*innen vernetzen, um Synergien zu nutzen. Die Projekte integrierten sich gut in die beiden Querschnittsthemen Gleichstellung der Geschlechter (insb. in Tansania) und Klimawandel (insb. in Kambodscha).
Hinsichtlich der Relevanz wurde festgestellt, dass die Themen und Aktivitäten der Projekte sich mit den Bedarfen und Bedürfnissen der Zielgruppen größtenteils deckten. Besonders in Tansania konnte das Projekt einige der dringendsten Herausforderungen älterer Menschen adressieren (u.a. die Marginalisierung älterer Menschen durch die Gemeinschaft und ihre Wahrnehmung als „Bürde“ der Gesellschaft sowie Armut). Auch in Kambodscha konnte das Projekt erfolgreich Herausforderungen älterer Menschen im Kontext des Klimawandels begegnen und somit die Widerstandsfähigkeit der landwirtschaftlichen Aktivitäten erhöhen. Besonders ältere Frauen in Kambodscha hätten sich allerdings von dem Projekt gewünscht, dass die Bedarfe in der häuslichen Pflegearbeit ihrer Enkelkinder, mit denen sie häufig zusammenleben, im Projekt berücksichtigt und adressiert würden. Es fiel und fällt ihnen teilweise schwer, neben der Kinderpflege an Projektaktivitäten teilzunehmen und sich auf die Einkommensgenerierung zu fokussieren.
Trotz der hohen Relevanz der Projekte für die älteren Menschen zeigten die Ergebnisse der Ex-Post-Evaluation aber auch, dass ältere Menschen nach wie vor mit großen Herausforderungen im alltäglichen Leben konfrontiert sind und einige Bedarfe in Tansania und Kambodscha nicht durch die jeweiligen Projekte adressiert werden konnten. Künftige Projekte sollten weitere Schwerpunkte (bspw. Fokus auf Zugang zu Verkaufsmärkten in Kambodscha oder klimaresiliente Landwirtschaft in Tansania) verfolgen, um die Zielgruppen in beiden Ländern bestmöglich zu unterstützen. Verstärkte Advocacyarbeit bei lokalen Regierungen sollte sich weiterhin u.a. dafür einsetzen, dass ältere Menschen einen verbesserten Zugang zu Rentensystemen und Gesundheitsversorgung erhalten.
Foto: Buth, 68 Jahre, und seine Frau sind seit 2018 in ihrer örtlichen OPA aktiv. Mit der Unterstützung von unserer lokalen Partnerorganisation HelpAge Kambodscha erhielten die beiden Schulungen und finanzielle Unterstützung zum Gemüseanbau.
Abschließende Bemerkungen von HelpAge Deutschland e.V.
Die Ergebnisse und Empfehlungen aus dieser Studie werden, neben regelmäßigem Projektmonitoring, Erkenntnissen von Projektreisen und Abschlussevaluationen, im Rahmen von institutionellen Lernprozessen bei HelpAge dazu genutzt, uns kontinuierlich kritisch zu hinterfragen, wo wir Projekte weiter verbessern können, damit sie die geplanten Wirkungen erzielen und ältere Menschen in unseren Partnerländern in Würde, Sicherheit und Freiheit älter werden können.
Alle Fotos von RESULT Research Consult 2023
Ihre Ansprechperson
