Flashcards
Evaluation V - Programmverlauf
Cards in this deck (13)
- 1Was sind die Ziele einer Programmverlaufsevaluierung?1. Feststellen wie gut Programm und Implementierungsprozess laufen
2. Kennenlernen der Details zur Weitergabe an
- Programm-Manager
- Sponsoren & Förderer
- Gutachter - 21. Was sind die zentralen Fragen bei der Programmverlaufsevaluation? 2. Worauf muss im Detail geachtet werden?1. Erreicht das Programm die Zielpopulation?
Leistungserbringung und Unterstützung konsistent mit Programmdesign/Standard?
2. Fragen müssen an Programm angepasst werden -> Katalog ggf. ergänzt - 3Im Detail - Welche vier Fragerubriken gibt es bei Rossi et al für die Programmevaluation? Nenne auch Beispiele.1. Zur Zielpopulation (Wie viele Personen; Leistungen angemessen; alle informiert?)
2. Umsetzung der Programmfunktionen (adäquat ausgeführt? genug Personal?)
3. Zur Organisation (Personal gut?; Interaktionspartner? Ressourcen?)
4. Zur Wirkung (Ortsabhängig?; Teilnehmer zufrieden? Langzeitwirkung?) - 4Anhand welcher Standards sollte der Programmverlauf evaluiert werden?1. Programmtheorie (Prozesstheorie & Organisationsplan)
2. Administrative Standards / Ziele (am gängigsten; durch Administrator festgelegt)
3. Gesetzliche, ethische und berufliche Standards - 5Welche zwei Ansätze der Programmevaluation gibt es?1. Verlaufs-/Implementierungsevaluation
2. Kontinuierliche Programmverlaufsevaluation & Management Informationssysteme - 6Wie ist eine Verlaufs- oder Implementierungsevaluation aufgebaut?Einmalige Bewertung des Verlaufs
Frage: Programm wie geplant?
-> Leistung?
-> Weiterentwicklung
Zielgruppe: Manager & Stakeholder
Kein fester Programmbestandteil
Anwendung bei neuen Programmen - 7Welche Perspektiven bei der Programmverlaufsüberwachung sind gegeben?1. Gutachter-Perspektive
-> Extern: Wirkungsbewertung
-> Intern: Verlaufsbewertung / Doku
2. Rechenschafts-Perspektive
-> Geldgeber, Sponsoren...Stakeholder
-> Rechenschaft ggü. Öffentlichkeit
3. Management-Perspektive
-> brauchen immer Überblick / Infos - 8In welchen Aspekten können sich die Perspektiven teils gravierend unterscheiden?- wie viele Informationen werden benötigt?
- Wie häufig sollen sammeln?
- Wie sammeln?
- Wie hoch soll Reliabilität?
- wie vertraulich behandeln? - 9Nenne einige Beispiele für Fragen, die man sich im Bezug auf die Leistungsnutzung stellen kann.- wird das Programm in richtiger Reihenfolge durchlaufen?
- wann gibt es Drop-outs?
- Wer bricht das Programm ab?
- Warum bricht er das Programm ab?
- Klienten mit Leistungen zufrieden?
- Wie sehen sie die Leistungserbringung? - 10Was sind Coverage, Overcoverage und Undercoverage? Was ist in Bezug auf Coverage der Bias?Coverage: Inwieweit entspricht Teilnahme der Zielpopulation der Programmplanung?
Overcoverage: auch Nicht-Zielpopulation.../
Undercoverage: nur ein Teil der Zielpopulation... erhält die Leistung
Bias: Ausmaß, in dem best. Subgruppen stärker teilnehmen
Creaming: Rekrutiert nur erfolgsverspr. - 11Welche Fragen lassen sich beispielsweise zur Überwachung der Organisation stellen?- läuft Programm nach Plan?
- erbringt es die richtigen Leistungen?
- Ressourcen angemessen genutzt?
- Personal gut ausgebildet
- Arbeitsmoral hoch?
- Burn-out und Stress beim Personal? - 12Welche Fehlerarten sind bei der Durchführung denkbar?1. "Nonprograms" oder unvollständig: (Intervention findet gar nicht oder zu wenig statt)
2. Falsche Intervention (schlechte Vermittlung, System zu kompliziert)
3. Unstandardisierte/unkontrollierte Int.
(schwaches Design; zuviel Spielraum) - 13Bei der Datenanalyse: 1. Welche Daten werden benötigt, um das Ausmaß der Implementierung zu bestimmen? 2. Welche Erhebung ist außerdem sinnvoll?1. Schätzungen Coverage / Bias - Art der erbrachten Leistungen - Intensität der Leistungen - Teilnehmerreaktion
2. Vergleich von Standorten -> Unterschiedliche Umsetzung / Ergebisse? Woran liegt es? (Personal, Verwaltung...)