Flashcards
QM - Evaluation
Cards in this deck (47)
- 1Definition EvaluationsforschungExplizite Verwendung wissenschaftlicher Methoden für den Zweck der Durchführung einer Bewertung von Interventionen
- 27 Komponenten eines ProgrammsProgrammträger / Personal
Klientel
Handlungen
Hilfsmittel
Ziele
Theorie / Annahmen
Unterstützungsfunktionen - 33 Aspekte der Programmevaluation1. Aufwand
2. Effektivität
3. Wirksamkeit und Angemessenheit - 4Bewertungsbereiche nach Suchmann (1967)Aufwand (Input), Leistung (Input), Angemessenheit (Output), Effizienz (Output/Input), Prozess
- 5Summative vs. Formative ForschungErfolgsforschung vs. Prozessforschung
- 64 Typen von Versuchsplänen1. Randomisierter Kontrollgruppenplan - Exzellente Kontroll, praktisch schwer
2. Non-äquival. Ktrl.gruppenplan - Besser als keine Kontrolle
3. Ein-Gruppen-Zeitreihendesign - Beste Alternative ohne Kontrollgruppe
4. Einfacher Prä-Post-Test - Schwaches Design - 7Konflikt Wissenschaft und Politik- Politik mehr auf Anschein und Plausibilität gerichtet
- mit wissensch. Daten überfordert
- hoher zeitlicher Druck
- Wechselnde Wertigkeiten - 8Bedarf/BedürfnisDiskrepanz zwischen tatsächlicher und erwünschter Situation
- 9Bestimmung eines BedarfsIdentifikation sozialer Probleme
Bestimmung deren Ausmaßes
Bestimmung der Zielpopulation
Bestimmung der Art der Angebote
Perspektive der Zielgruppe, Stakeholder und Gesellschaft - 10Theoriegeleitete Evaluation vs. Black-Box-EvaluationTheoriegeleitet: Vorhersagen zu Prozessen und Wirkung
Black-Box-Evaluation: Nur Ergebnisse relevant - 112 Hauptkomponenten der Programmtheorie1. Prozesstheorie
2. Ergebnistheorie (Prozesstheorie + Implementierung) - 124 Aspekte der Evaluation der Programmtheorie1. Bezug zur Bedarfsanalyse
2. Logik und Plausibilität
3. Vergleich mit Forschungsergebnissen
4. Vor-Ort-Beobachtung - 13Definition Metaanalyse- Quantitative Informationsaggregation inhaltlich homogener Primärstudien
- Forschungsstrategie - 145 Ablaufschritte einer Metaanalyse1. Problemformulierung
2. Datensammlung
3. Datenevaluation
4. Datenanalyse und -interpretation
5. Ergebnisdarstellung - 15Apples-and-Oranges-DebatteWann lassen sich zwei Studien, die unterschiedliche Konstrukte erfassen, integrieren? Welche Studienergebnisse und Konzepte sind integrierbar?
Umgang: Konstrukthierarchisierung - 16Konfirmatorische vs. Explorative MetaanalyseKonfirmatorisch: Klare Hypothesen werden empirisch getestet
Explorativ: ergebnisoffen, Achtung: Alpha-Fehler - 17Weg der Effektstärke von empirischer Realität zur Metanalyse (6 Schritte)1. Realität
2. Durchführung der empirischen Arbeit
3. Resultate einreichen bei Journal
4. Annahme der Arbeit
5. Berichterstattung in der publizierten Arbeit
6. Metaanalyse - 18Publication BiasEher signifikante Ergebnisse, höhere Effektstärken, methodisch besser, konventionellere Fragestellungen, bekanntere Autoren
- 19Fail-Safe-N-WertWie viele nicht-signifikante (nicht-veröffentlichte) Studien wären erforderlich, um einen signifikanten Gesamteffekt statistisch unbedeutend werden zu lassen?
Bei Verdacht auf Publication Bias - 20EffektstärkeangabenEffektstärkewert > exakter Signifikanzwert > Signifikanzwertklasse > Signifikanz ja / nein > Angabe eines Zsmhangs ohne Signifikanzwert
- 21Delta-MaßUniverselles Effektstärkemaß = Produkt-Moment-Korrelation
Jede testspezifische Effektstärke lässt sich in Delta transformieren - 22Metaanalytische StrukturgleichungenBei Vorliegen vollständiger Korrelationsmatrizen können
- 23Evaluation des ProgrammverlaufesMessung & Bewertung der Implementierung der Programmtheore
- 244 Wichtige Aspekte der Verlaufsevaluation nach Rossi et al.1. Zielpopulation
2. Umsetzung der Programmfunktionen
3. Organisation und Ressourcenverwendung
4. Wirkung - 253 Evaluationskriterien des Programmverlaufs1. Prozesstheorie
2. Administrative Standards oder Ziele
3. Gesetzliche, ethische, berufliche Standards - 262 Evaluationsansätze1. Verlaufs- oder Implementierungsevaluation - einmalig
2.Kontinuierliche Programmverlaufsevaluation und Management-Informationssysteme - 273 Perspektiven der Verlaufsevaluation1. Gutachterperspektive - Wirkungsbewertung
2. Rechenschaftsperspektive -
Rechtfertigung des Programms
3. Management-Perspektive -
formativ - 28Probleme bzgl. Coverage und BiasOvercoverage: Nutzer > Zielgruppe
Undercoverage: Nutzer > Zielgruppe
Creaming: Nutzer sind keine repräsentative Stichprobe der Zielgruppe
Mangelnde Teilnahme - 29Ergebnis vs. WirkungErgebnis (=Outcome): Zustand in derZielpopulation
Wirkung (=Effect): Ergebnisanteil der auf Programm zurückgeführt werden kann - 305 Aspekte bei der Identifizierung relevanter Ergebnisse- Stakeholder (Rechenschaft)
- Gutachter (Wirkungsbewertung)
- Programmtheorie
- Frühere Forschung
- unbeabsichtigte Ergebnisse - 315 Eigenschaften von MessverfahrenOperationaliserungsmöglichkeiten
Instrumente
Reliabilität
Validität
Sensitivität - 32Überwachung der ProgrammergebnisseKeine Ursachen- und Effektbewertung
- 333 Gefahren der Ergebnisverzerrung bei nicht-experimentellen DesignsSelektionseffekt: Gruppenunterschiede zu t0 -> Selbstselektion, system. Stichprobenausfall
Reifung: Stichprobe verändert sich zeitabhängig natürlich
Zeitgeschehen: Kurzfristige und langfristige Trends - 344 Techniken quasi-experimenteller DesignsMatching
Statistische Kontrolle
Regression-discontinuity Design
Reflexive Kontroll - 35Regression-discontinuity DesignGruppen werden nach Kontrollvariable (zum Beispiel Bedürftigkeit) eingeteilt
Kontrollvariable wird in einem Regressionsmodell mitmodelliert
-> Teilung der Daten an Diskontinuität - 362 Maße für Größe eines Programmeffektes- Standardisierte Mittelwertsdifferenz zwischen Exp. und Ktrl.
- Odds Ratio: Verhältnis binärer Ergebnisvariable im Gruppenvergleich - 37Praktische BedeutsamkeitStatistischer Effekt auf AV muss in Bezug gesetzt werden zu zusammenhängenden Konstrukten, z.B. Kosten
- 38Moderatorvariablen vs. MediatorvariablenModeratorvariable: diskret, interagierender Fakor (Geschlecht, Ethnizität, Wohnort)
Mediatorvariable: kontinuierlich, Zusammenhang mit UV und AV, vermittelt Kausalität (Alter, IQ) - 39Ex-ante vs. Ex-post-AnalysenKosten-Nutzen-Analyse
Ex-ante: vorher, basiert auf Schätzung
Ex-post: Evaluation nach Durchführung - 40Kosten-Nutzen vs. Kosten-WirkungKosten-Nutzen: Aufwand und Wirkung werden monetär quanitifiziert
Kosten-Wirkung: Monetär quantifizierter Aufwand um qualitatives Ziel zu erreichen - 413 Perspektiven der Kosten-Nutzen-Analyse1. Zielgruppe
2. Stakeholder
3. Gesellschaft (Neutralste Perspekt.) - 42GelegenheitskostenKosten, die durch Ausschluss einer anderen (Programm-)Alternative entstanden sind
- 432 Methoden zum Vergleich von Kosten und NutzenDifferenz vs. Quotient
- 44Primäre vs. sekundäre Weitergabe/Kommunikation von ErgebnissenPrimär: Abschlussbericht an Sponsoren, Wissenschaftler, Fachleute
Sekundär: Verständliche Kommunikation an Interessensgruppen - 455 Guiding Principles for Evaluators1. Systematische Untersuchungsmethoden
2. Fachliche Kompetenz
3. Integrität/Redlichkeit
4. Respekt gegenüber allen Beteiligten
5. Verantwortlichkeit für das Allgemeinwohl - 465 Guidelines for maximizing Utilization1. Denkweise der Entscheidungsträger verstehen
2. Zeitgerechte Ergebnisse
3. Multiperspektivisch
4. Verwert- und Kommunizierbarkeit berücksichtigen
5. Selbstevaluation der Verwertbarkeit - 472 Arten der Verwertung von EvaluationsergebnissenDirekt vs. konzeptuell
Information
- Description
- Psychologie Flashcards on QM - Evaluation, created by Felix Jan Nitsch on 26/07/2017.
- Created by
- Felix Jan Nitsch · Jul 2017
- Updated
- Jul 27, 2017
- Views
- 110
- Rating