Evaluation VI - Programmergebnisse

Johanna Brinkmann
Flashcards by Johanna Brinkmann, updated more than 1 year ago
Johanna Brinkmann
Created by Johanna Brinkmann over 3 years ago
90
8

Description

Karteikasten Nr. 6 zur Evaluation

Resource summary

Question Answer
Was sind die Ziele bei der Erfassung der Programmergebnisse? Welche Anforderungen stellt dies an den Gutachter? 1. Messung und Bewertung der Programmwirkung (gewünschte Veränderungen? Effekt für Klient? 2. - besonders sorgfältige Durchführung der Auswertung - Validität; korrekte Interpretation
Benenne die 4 Schritte der Evaluation bei der Ergebnisbewertung 1. Auswahl der Leistungsdimensionen 2. Festlegung von Standards für die ausgewählten Dimensionen 3. Datenerhebung 4. evaluative Schlussfolgerungen
Wie ist "Programmergebnis" definiert? "Zustand der Zielpopulation oder der sozialen Bedingungen, die durch das Programm verändert werden sollten"
Was ist bei Ergebnismessung zu beachten? 1. Ergebnisse sind (beobachtbare) Eigenschaften der Zielpopulation, nicht des Programms 2. Es hat nicht immer auch eine Zustandsänderung stattgefunden 3. Ergebnisse sind nicht zwangsläufig (vollständig) Resultat des Programms
Definiere und beschreibe: "Ergebnisvariable" - operationalisiertes Konstrukt - messbare(r) Eigenschaft / Zustand der Zielpopulation - wird im Rahmen der Untersuchung gemessen
Definiere und beschreibe: "Ergebnislevel" - Ergebnisstand zu einem Zeitpunkt - häufig nur "Ergebnis" - abgeleitet und bestimmt aus Messung der Ergebnisvariablen vor, während und nach dem Programm - Geringe Aussagekraft über Programmeffektivität
Definiere und beschreibe: "Ergebnisveränderung" - Unterschied zwischen Ergebnisleveln zu verschiedenen Zeitpunkten - nicht zwangsläufig Folge des Programms (-> Störvariablen?)
Definiere und beschreibe: "Programmeffekt" - Anteil eines Ergebnisses, der nur auf das Programm zurückzuführen ist - Schätzung durch Vorher-Nachher-Vergleich des Ergebnislevels, sowie Vergleich mit hypothetischem Ergebnislvl ohne Programm - Problem: interne Validität der Schätzung (reiner Effekt gesucht)
Bei der Fragestellung, welche Ergebnisse gemessen und analysiert werden sollten - welcherlei Perspektiven könnten Berücksichtigung finden? 1. Stakeholder-Perspektive 2. Gutachter-Perspektive 3. Programm(wirkungs)theorie 4. frühere Forschung 5. unbeabsichtigte Ergebnisse
Beschreibe die "Stakeholder-Perspektive" - Variation der Ergebniserwartung auch unter den Stakeholdern - Info über Erwartungen aus: Zielsetzungen, Mission des Programms, Finanzierungsanträgen, bewilligten Gelder oder Verträgen - Problem: vage formuliert -> Abstimmung mit Stakeholdern nötig
Beschreibe die "Gutachter-Perspektive" - Zu verändernde Eigenschaften / Verhaltensweisen / Zustände müssen Ergebnisbeschreibung zu entnehmen sein
Beschreibe die "Programmwirkungstheorie" - Setzt Programmhandlungen und -ergebnisse in logische Beziehung: Handlung -> proximale Erg. -> distale Erg. - proximal: direkt; leicht messbar; idR psychologisch; sind meist nicht das Ziel, aber ohne sie nur selten distale Erg.. - distal: später; größere praktische / politische Bedeutung; durch andere Faktoren beeinflusst
Beschreibe "frühere Forschung" im Kontext der Auswahl relevanter Ergebnisse - Untersuchung der Ergebnisse / Messungen früherer Forschungsprojekte mit Bezug zu laufendem Projekt -> relevantes Übersehen -> wie Erg. definieren / messen -> mögliche Probleme?
Beschreibe "unbeabsichtigte Ergebnisse" im Kontext der Auswahl relevanter Ergebnisse - können positiv / negativ sein - nicht durch geplante Techniken erfasst, da Entstehung unabhängig vom Programm - schwer zu antizipieren - Beurteilung anhand früherer Forschung, Personal, Teilnehmer...
Beschreibe den groben Ablauf einer Ergebnismessung 1. Schwerpunktbildung: welche Ergebnisse messen 2. Operationalisierung: Bestimmung geeigneter Messungen / Indikatoren 3. bei mehrdimensionalen Ergebnissen: - Identifizierung der Dimensionen - Operationalisierung der Dimensionen
Was stellt Diversifizierung bei der Ergebnismessung sicher? Dass der Effekt des Programms nicht unterschätzt wird.
1. Welche Datenquellen lassen sich z.B. für Programmergebnisse heranziehen? 2. Wie werden Informationen daraus zu Messungen? 1. Beobachtungen, Aufzeichnungen, Antworten aus Interviews / Fragebögen, standardisierte Tests, Messgeräte 2. durch Operationalisierung
Wenn kein geeignetes Messinstrument für die Ergebnismessung vorhanden ist, muss eines entwickelt werden - welche Schritte sieht das systematische Verfahren zur Entwicklung eines Messinstruments vor? 1. Technische Überlegungen 2. Pilottestungen 3. Analysen, Verbesserungen, Validierung
Kein Messinstrument ist 100% reliabel. Aber welche sind vergleichsweise besser? Und was ist die Hauptquelle geringer Reliabilität? 1. Messungen physischer Eigenschaften > Messungen psychischer Eigenschaften; Leistungsmessungen > erinnerungsbasierte Angaben 2. Messinstrumente auf Basis schriftlicher oder mündlicher Antworten
1. Mit welchen Methoden kann Reliabilität sichergestellt werden? 2. Welcher Wert wird idR. bevorzugt? 1. a) Test-Retest-Reliabilität (nicht immer machbar; mögliche Varianz durch zeitliche Einflüsse b) Interne-Konsistenz-Reliabilität (Konsistenz ähnlicher Items) 2. Werte größer gleich 0.9
1. Wie kann in der Evaluationsforschung die Validität der Ergebnismessung sichergestellt werden? 2. Welches Problem stellt sich ganz speziell in diesem Bereich? 1. a) Absicherung durch detaillierte Beschreibung und multiple Messung; b) Empirisch: Was würde rauskommen, wenn Messung valide wäre (-> gleiche Ergebnisse wie andere Operationalisierungen? 2. Meist eher definiert durch: halten Stakeholder das Maß für valide...
Ergebnismessungen müssen sensitiv sein, um Veränderungen oder Unterschiede aufzudecken -> aber wie kann Insensitivitöt entstehen? Und wie kann Sensitivität sichergestellt werden? 1. a) Messung misst auch irrelevante Aspekte (verwässert); b) hohe Variation bei Versuch, individuelle Unterschiede aufzudecken 2. frühere Forschungsstudien; bei Gruppen mit bekannten Unterschieden diese situativ berücksichtigen
Wo liegt der Unterschied zwischen Ergebnisüberwachung und Wirkungsanalyse? Wirkungsanalyse: Speziell zur Bestimmung des isolierten Programmeffekts; Erlaubt stärkere Schlussfolgerungen über Ursache-Wirkungsbeziehungen Ergebnisüberwachung: gleiche Variablen; NICHT für Ursachen- und Effektbewertung
Show full summary Hide full summary

Similar

Evaluation X - Sozialer Kontext
Johanna Brinkmann
Evaluation II - Bedarfsanalyse
Johanna Brinkmann
Evaluation I - Einführung
Johanna Brinkmann
Evaluation IV - Metaanalyse
Johanna Brinkmann
Evaluation V - Programmverlauf
Johanna Brinkmann
Evaluation IX - Kosten-Nutzen-Analyse
Johanna Brinkmann
Evaluation III - Programmtheorie
Johanna Brinkmann
Evaluationsforschung
Miriam Brunner
Klinische Psychologie Teil 1
Lisa Mariá Hchil
Klinische Psychologie Teil 2
Lisa Mariá Hchil
Allgemeine Psychologie
CharlotteSc