Evaluation VIII - Messung der Programmwirkung

Johanna Brinkmann
Flashcards by Johanna Brinkmann, updated more than 1 year ago
Johanna Brinkmann
Created by Johanna Brinkmann about 4 years ago
42
6

Description

Karten zur 8. VL von Evaluation

Resource summary

Question Answer
Was ist der Königsweg zur Evaluation der Programmwirkung -> a) warum? b) was spricht ggf. dagegen? Randomisierte Feldexperimente a) unverzerrte Programmeffekte -> Gruppenunterschiede nur d. Intervention b) ethische Bedenken; Zeit / Ressourcen
Was ist die Gefahr bei alternativen Designs (zu randomisierten Feldexperimenten)? Wodurch kommt sie zustande? Gefahr: unverzerrte Bewertung der Wirkung nicht immer möglich Gefahrenquellen: Selektionseffekte; Reifung; Zeitgeschehen
1. Was ist ein Selektionseffekt? 2. Wie kommt er zustande? 3. Welche konkreten Ereignisse können ihn herbeiführen? 1. Unterschied zwischen Kontroll- und Interventionsgruppe in der Zielvariablen, der auch ohne Intervention da wäre. 2. Gruppenunterschiede in anderen Variablen z.B. Motivation 3. Selbstselektion (Gruppenwahl durch Teilnehmer); Stichprobenausfall wegen Gruppenzugehörigkeit (auch bei random)
Wie können Reifungs- und Entwicklungsprozesse die Messung der Programmeffekte verzerren? 1. Überschätzung der Programmwirkung, wenn Entwicklung und Programm die gleiche Wirkrichtung haben. Entsprechend: 2. Unterschätzung der Programmwirkung, wenn Entwicklung und Programm verschiedene Wirkrichtung haben.
Wie können Trends (langfristig) und Ereignisse (kurzfristig) Programmeffekte maskieren oder erhöhen? Beispiele: 1. Programm zur Erhöhung d. Erwerbstätigkeit ehem. Strafgefangener -> Wirtschaftskrise maskiert Wirkung 2. Programm zur Verbesserung des gemeinschaftlichen Zusammenhalts -> Naturkatastrophe führt zu Überschätzung
1. Was unterscheidet ein quasi-experimentelles Design von der "Königsdisziplin"? 2. Was ist sein Ziel? 3. Welche Techniken werden dafür angewendet? 1. Es ist nicht randomisiert 2. Herstellung größtmöglicher Äquivalenz zw. Kontroll- u. Inteventionsgruppe 3. Matching; statistische Kontrolle; Regression-discontinuity Designs; Reflexive Kontrolle
1. Was ist Matching? 2. Wie funktioniert es? 3. Welche Arten von Matching gibt es? 1. Kontroll- und Zielgruppe werden einander angepasst. 2. Anhand ausgewählter, potentiell für Zielvariable relevanter Variablen 3 a) individuell: Jeder Teilnehmer der IG hat "Matching-"Partner" in KG b) auf Gruppenebene: Gleiche Verteilung relevanter Merkmale in KG u. IG
Was ist Voraussetzung für die Verwendung der Technik "statistische Kontrolle"? (z.B. mit multipler Regression) Das Miterfassen wichtiger Kontrollvariablen (z.B. Geschlecht; Tendenz zur Informationssuche; wahrgenommene Bedeutung / Schwere der Beschwerde, Familienverhältnisse...)
Wie funktioniert das Regressions-Kontinuitäts-Design? 1. Gruppenbildung auf Grundlage einer Selektionsvariable (z.B. Ausmaß der Bedürftigkeit bei Test einer Behandlungsmethode) 2. Mitmodellierung des Einflusses der Selektionsvariable
Wie funktioniert "Reflexive Kontrolle"? - zwei oder mehr Messzeitpunkte (je mehr desto besser) - davon mindestens eine vor der Intervention - Einfaches Pretest-Posttest-Design oder Zeitreihendesign - Für Unverzerrtheit: keine weiteren Einflussfaktoren bei Intervention
Welche Teilziele gibt es bei der Messung der Programmeffekte? 1. Aufdecken von Programmeffekten (Effektgröße; Effektstärkemaß; statistische Signifikanz; statistische Power) 2. deren praktische Bedeutsamkeit 3. Einflüsse auf Programmeffekte (Moderator- und Mediatorvariablen)
1.Wie berechnet sich idR die Effektgröße? 2. Warum wird meist auf Effektstärkemaße zurückgegriffen? 3. Wie berechnet sich die Effektstärke (zwei Varianten) 1. Als Differenz zwischen IG & KG. 2. Effektgröße häufig durch sehr spezifische, nicht-standardisierte Maße berechnet -> Standardisierung 3. a) standardisierte MW-differenz d: Aussage über Abweichung der MW in SD b) Odds Ratio (bei binären Zielvariablen) -> Verhältnis pos. & neg. Outcome
Statistische Signifikanz ist die minimale Anforderung an ein bedeutsames Ergebnis - aber welche 2 Fehler können bei ihrer Feststellung gemacht werden? Fehler 1. Art: zufällige Signifikanz auch ohne tatsächlichen Effekt; leicht kontrolliert über Alpha-Niveau Fehler 2. Art: Übersehen einer Signifikanz durch Datenrauschen; schwerer zu kontrollieren mit Power (1-Beta)
In welchen Schritten lässt sich die angemessene statistische Power festlegen? 1. Grenze für Effektstärke festlegen (z.B. d>.30) 2. Fehler 1. Art Risiko festlegen (Alpha-Niveau) 3. Fehler 2. Art Risiko festlegen (Beta-Niveau) 4. statistische Power (1-Beta) 5. Testverfahren und Stichprobengröße
Hängen statistische Signifikanz und Effektstärke mit der praktischen Bedeutsamkeit zusammen? Nicht notwendigerweise -> manchmal kann ein kleiner Programmeffekt sehr bedeutsam sein und umgekehrt.
1. Was sind typische Moderatorvariablen? 2. Wie stellen sie sich im Ergebnis dar? 1. Alter, Geschlecht, sozialer Status... 2. Als gesonderte Ausprägung (oder auch Richtung der Ausprägung) des Programmeffekts in einer Subpopulation
Was sind Mediatorvariablen? Vermittelnde Variablen -> Weg der Kausalwirkung (Programm zur Gewichtsreduktion wirkt nicht auf Gewicht sondern über Wissensvermittlung usw...)
Wie unterscheiden sich vollständige und partielle Mediation? vollständig: Zusammenhang zwischen Programm und Outcome erklärt sich ganz durch Änderungen im Mediator partiell: Wirkungen über weitere Variablen; Zusammenhang bliebe auch bei Rausrechnen des Mediators erhalten
Show full summary Hide full summary

Similar

Evaluation II - Bedarfsanalyse
Johanna Brinkmann
Evaluation X - Sozialer Kontext
Johanna Brinkmann
Evaluation VI - Programmergebnisse
Johanna Brinkmann
Evaluation I - Einführung
Johanna Brinkmann
Evaluation V - Programmverlauf
Johanna Brinkmann
Evaluation IV - Metaanalyse
Johanna Brinkmann
Evaluation IX - Kosten-Nutzen-Analyse
Johanna Brinkmann
Evaluation III - Programmtheorie
Johanna Brinkmann
Evaluationsforschung
Miriam Brunner
Klinische Psychologie Teil 1
Lisa Mariá Hchil
Klinische Psychologie Teil 2
Lisa Mariá Hchil