Flashcards
Evaluation VIII - Messung der Programmwirkung
Cards in this deck (18)
- 1Was ist der Königsweg zur Evaluation der Programmwirkung -> a) warum? b) was spricht ggf. dagegen?Randomisierte Feldexperimente
a) unverzerrte Programmeffekte -> Gruppenunterschiede nur d. Intervention
b) ethische Bedenken; Zeit / Ressourcen - 2Was ist die Gefahr bei alternativen Designs (zu randomisierten Feldexperimenten)? Wodurch kommt sie zustande?Gefahr: unverzerrte Bewertung der Wirkung nicht immer möglich
Gefahrenquellen: Selektionseffekte; Reifung; Zeitgeschehen - 31. Was ist ein Selektionseffekt? 2. Wie kommt er zustande? 3. Welche konkreten Ereignisse können ihn herbeiführen?1. Unterschied zwischen Kontroll- und Interventionsgruppe in der Zielvariablen, der auch ohne Intervention da wäre.
2. Gruppenunterschiede in anderen Variablen z.B. Motivation
3. Selbstselektion (Gruppenwahl durch Teilnehmer); Stichprobenausfall wegen Gruppenzugehörigkeit (auch bei random) - 4Wie können Reifungs- und Entwicklungsprozesse die Messung der Programmeffekte verzerren?1. Überschätzung der Programmwirkung, wenn Entwicklung und Programm die gleiche Wirkrichtung haben.
Entsprechend:
2. Unterschätzung der Programmwirkung, wenn Entwicklung und Programm verschiedene Wirkrichtung haben. - 5Wie können Trends (langfristig) und Ereignisse (kurzfristig) Programmeffekte maskieren oder erhöhen?Beispiele:
1. Programm zur Erhöhung d. Erwerbstätigkeit ehem. Strafgefangener
-> Wirtschaftskrise maskiert Wirkung
2. Programm zur Verbesserung des gemeinschaftlichen Zusammenhalts
-> Naturkatastrophe führt zu Überschätzung - 61. Was unterscheidet ein quasi-experimentelles Design von der "Königsdisziplin"? 2. Was ist sein Ziel? 3. Welche Techniken werden dafür angewendet?1. Es ist nicht randomisiert
2. Herstellung größtmöglicher Äquivalenz zw. Kontroll- u. Inteventionsgruppe
3. Matching; statistische Kontrolle; Regression-discontinuity Designs; Reflexive Kontrolle - 71. Was ist Matching? 2. Wie funktioniert es? 3. Welche Arten von Matching gibt es?1. Kontroll- und Zielgruppe werden einander angepasst.
2. Anhand ausgewählter, potentiell für Zielvariable relevanter Variablen
3 a) individuell: Jeder Teilnehmer der IG hat "Matching-"Partner" in KG
b) auf Gruppenebene: Gleiche Verteilung relevanter Merkmale in KG u. IG - 8Was ist Voraussetzung für die Verwendung der Technik "statistische Kontrolle"? (z.B. mit multipler Regression)Das Miterfassen wichtiger Kontrollvariablen (z.B. Geschlecht; Tendenz zur Informationssuche; wahrgenommene Bedeutung / Schwere der Beschwerde, Familienverhältnisse...)
- 9Wie funktioniert das Regressions-Kontinuitäts-Design?1. Gruppenbildung auf Grundlage einer Selektionsvariable
(z.B. Ausmaß der Bedürftigkeit bei Test einer Behandlungsmethode)
2. Mitmodellierung des Einflusses der Selektionsvariable - 10Wie funktioniert "Reflexive Kontrolle"?- zwei oder mehr Messzeitpunkte (je mehr desto besser)
- davon mindestens eine vor der Intervention
- Einfaches Pretest-Posttest-Design oder Zeitreihendesign
- Für Unverzerrtheit: keine weiteren Einflussfaktoren bei Intervention - 11Welche Teilziele gibt es bei der Messung der Programmeffekte?1. Aufdecken von Programmeffekten (Effektgröße; Effektstärkemaß; statistische Signifikanz; statistische Power)
2. deren praktische Bedeutsamkeit
3. Einflüsse auf Programmeffekte (Moderator- und Mediatorvariablen) - 121.Wie berechnet sich idR die Effektgröße? 2. Warum wird meist auf Effektstärkemaße zurückgegriffen? 3. Wie berechnet sich die Effektstärke (zwei Varianten)1. Als Differenz zwischen IG & KG.
2. Effektgröße häufig durch sehr spezifische, nicht-standardisierte Maße berechnet -> Standardisierung
3. a) standardisierte MW-differenz d: Aussage über Abweichung der MW in SD
b) Odds Ratio (bei binären Zielvariablen)
-> Verhältnis pos. & neg. Outcome - 13Statistische Signifikanz ist die minimale Anforderung an ein bedeutsames Ergebnis - aber welche 2 Fehler können bei ihrer Feststellung gemacht werden?Fehler 1. Art: zufällige Signifikanz auch ohne tatsächlichen Effekt; leicht kontrolliert über Alpha-Niveau
Fehler 2. Art: Übersehen einer Signifikanz durch Datenrauschen; schwerer zu kontrollieren mit Power (1-Beta) - 14In welchen Schritten lässt sich die angemessene statistische Power festlegen?1. Grenze für Effektstärke festlegen (z.B. d>.30)
2. Fehler 1. Art Risiko festlegen (Alpha-Niveau)
3. Fehler 2. Art Risiko festlegen (Beta-Niveau)
4. statistische Power (1-Beta)
5. Testverfahren und Stichprobengröße - 15Hängen statistische Signifikanz und Effektstärke mit der praktischen Bedeutsamkeit zusammen?Nicht notwendigerweise -> manchmal kann ein kleiner Programmeffekt sehr bedeutsam sein und umgekehrt.
- 161. Was sind typische Moderatorvariablen? 2. Wie stellen sie sich im Ergebnis dar?1. Alter, Geschlecht, sozialer Status...
2. Als gesonderte Ausprägung (oder auch Richtung der Ausprägung) des Programmeffekts in einer Subpopulation - 17Was sind Mediatorvariablen?Vermittelnde Variablen -> Weg der Kausalwirkung (Programm zur Gewichtsreduktion wirkt nicht auf Gewicht sondern über Wissensvermittlung usw...)
- 18Wie unterscheiden sich vollständige und partielle Mediation?vollständig: Zusammenhang zwischen Programm und Outcome erklärt sich ganz durch Änderungen im Mediator
partiell: Wirkungen über weitere Variablen; Zusammenhang bliebe auch bei Rausrechnen des Mediators erhalten
Information
- Description
- Karten zur 8. VL von Evaluation
- Created by
- Johanna Brinkmann
- Views
- 72
- Tags
- Rating