9645599
Description
Flashcards by Felix Jan Nitsch, updated more than 1 year ago
|
Created by Felix Jan Nitsch
almost 7 years ago
|
|
| Question | Answer |
| Definition Evaluationsforschung | Explizite Verwendung wissenschaftlicher Methoden für den Zweck der Durchführung einer Bewertung von Interventionen |
| 7 Komponenten eines Programms | Programmträger / Personal Klientel Handlungen Hilfsmittel Ziele Theorie / Annahmen Unterstützungsfunktionen |
| 3 Aspekte der Programmevaluation | 1. Aufwand 2. Effektivität 3. Wirksamkeit und Angemessenheit |
| Bewertungsbereiche nach Suchmann (1967) | Aufwand (Input), Leistung (Input), Angemessenheit (Output), Effizienz (Output/Input), Prozess |
| Summative vs. Formative Forschung | Erfolgsforschung vs. Prozessforschung |
| 4 Typen von Versuchsplänen | 1. Randomisierter Kontrollgruppenplan - Exzellente Kontroll, praktisch schwer 2. Non-äquival. Ktrl.gruppenplan - Besser als keine Kontrolle 3. Ein-Gruppen-Zeitreihendesign - Beste Alternative ohne Kontrollgruppe 4. Einfacher Prä-Post-Test - Schwaches Design |
| Konflikt Wissenschaft und Politik | - Politik mehr auf Anschein und Plausibilität gerichtet - mit wissensch. Daten überfordert - hoher zeitlicher Druck - Wechselnde Wertigkeiten |
| Bedarf/Bedürfnis | Diskrepanz zwischen tatsächlicher und erwünschter Situation |
| Bestimmung eines Bedarfs | Identifikation sozialer Probleme Bestimmung deren Ausmaßes Bestimmung der Zielpopulation Bestimmung der Art der Angebote Perspektive der Zielgruppe, Stakeholder und Gesellschaft |
| Theoriegeleitete Evaluation vs. Black-Box-Evaluation | Theoriegeleitet: Vorhersagen zu Prozessen und Wirkung Black-Box-Evaluation: Nur Ergebnisse relevant |
| 2 Hauptkomponenten der Programmtheorie | 1. Prozesstheorie 2. Ergebnistheorie (Prozesstheorie + Implementierung) |
| 4 Aspekte der Evaluation der Programmtheorie | 1. Bezug zur Bedarfsanalyse 2. Logik und Plausibilität 3. Vergleich mit Forschungsergebnissen 4. Vor-Ort-Beobachtung |
| Definition Metaanalyse | - Quantitative Informationsaggregation inhaltlich homogener Primärstudien - Forschungsstrategie |
| 5 Ablaufschritte einer Metaanalyse | 1. Problemformulierung 2. Datensammlung 3. Datenevaluation 4. Datenanalyse und -interpretation 5. Ergebnisdarstellung |
| Apples-and-Oranges-Debatte | Wann lassen sich zwei Studien, die unterschiedliche Konstrukte erfassen, integrieren? Welche Studienergebnisse und Konzepte sind integrierbar? Umgang: Konstrukthierarchisierung |
| Konfirmatorische vs. Explorative Metaanalyse | Konfirmatorisch: Klare Hypothesen werden empirisch getestet Explorativ: ergebnisoffen, Achtung: Alpha-Fehler |
| Weg der Effektstärke von empirischer Realität zur Metanalyse (6 Schritte) | 1. Realität 2. Durchführung der empirischen Arbeit 3. Resultate einreichen bei Journal 4. Annahme der Arbeit 5. Berichterstattung in der publizierten Arbeit 6. Metaanalyse |
| Publication Bias | Eher signifikante Ergebnisse, höhere Effektstärken, methodisch besser, konventionellere Fragestellungen, bekanntere Autoren |
| Fail-Safe-N-Wert | Wie viele nicht-signifikante (nicht-veröffentlichte) Studien wären erforderlich, um einen signifikanten Gesamteffekt statistisch unbedeutend werden zu lassen? Bei Verdacht auf Publication Bias |
| Effektstärkeangaben | Effektstärkewert > exakter Signifikanzwert > Signifikanzwertklasse > Signifikanz ja / nein > Angabe eines Zsmhangs ohne Signifikanzwert |
| Delta-Maß | Universelles Effektstärkemaß = Produkt-Moment-Korrelation Jede testspezifische Effektstärke lässt sich in Delta transformieren |
| Metaanalytische Strukturgleichungen | Bei Vorliegen vollständiger Korrelationsmatrizen können |
| Evaluation des Programmverlaufes | Messung & Bewertung der Implementierung der Programmtheore |
| 4 Wichtige Aspekte der Verlaufsevaluation nach Rossi et al. | 1. Zielpopulation 2. Umsetzung der Programmfunktionen 3. Organisation und Ressourcenverwendung 4. Wirkung |
| 3 Evaluationskriterien des Programmverlaufs | 1. Prozesstheorie 2. Administrative Standards oder Ziele 3. Gesetzliche, ethische, berufliche Standards |
| 2 Evaluationsansätze | 1. Verlaufs- oder Implementierungsevaluation - einmalig 2.Kontinuierliche Programmverlaufsevaluation und Management-Informationssysteme |
| 3 Perspektiven der Verlaufsevaluation | 1. Gutachterperspektive - Wirkungsbewertung 2. Rechenschaftsperspektive - Rechtfertigung des Programms 3. Management-Perspektive - formativ |
| Probleme bzgl. Coverage und Bias | Overcoverage: Nutzer > Zielgruppe Undercoverage: Nutzer > Zielgruppe Creaming: Nutzer sind keine repräsentative Stichprobe der Zielgruppe Mangelnde Teilnahme |
| Ergebnis vs. Wirkung | Ergebnis (=Outcome): Zustand in derZielpopulation Wirkung (=Effect): Ergebnisanteil der auf Programm zurückgeführt werden kann |
| 5 Aspekte bei der Identifizierung relevanter Ergebnisse | - Stakeholder (Rechenschaft) - Gutachter (Wirkungsbewertung) - Programmtheorie - Frühere Forschung - unbeabsichtigte Ergebnisse |
| 5 Eigenschaften von Messverfahren | Operationaliserungsmöglichkeiten Instrumente Reliabilität Validität Sensitivität |
| Überwachung der Programmergebnisse | Keine Ursachen- und Effektbewertung |
| 3 Gefahren der Ergebnisverzerrung bei nicht-experimentellen Designs | Selektionseffekt: Gruppenunterschiede zu t0 -> Selbstselektion, system. Stichprobenausfall Reifung: Stichprobe verändert sich zeitabhängig natürlich Zeitgeschehen: Kurzfristige und langfristige Trends |
| 4 Techniken quasi-experimenteller Designs | Matching Statistische Kontrolle Regression-discontinuity Design Reflexive Kontroll |
| Regression-discontinuity Design | Gruppen werden nach Kontrollvariable (zum Beispiel Bedürftigkeit) eingeteilt Kontrollvariable wird in einem Regressionsmodell mitmodelliert -> Teilung der Daten an Diskontinuität |
| 2 Maße für Größe eines Programmeffektes | - Standardisierte Mittelwertsdifferenz zwischen Exp. und Ktrl. - Odds Ratio: Verhältnis binärer Ergebnisvariable im Gruppenvergleich |
| Praktische Bedeutsamkeit | Statistischer Effekt auf AV muss in Bezug gesetzt werden zu zusammenhängenden Konstrukten, z.B. Kosten |
| Moderatorvariablen vs. Mediatorvariablen | Moderatorvariable: diskret, interagierender Fakor (Geschlecht, Ethnizität, Wohnort) Mediatorvariable: kontinuierlich, Zusammenhang mit UV und AV, vermittelt Kausalität (Alter, IQ) |
| Ex-ante vs. Ex-post-Analysen | Kosten-Nutzen-Analyse Ex-ante: vorher, basiert auf Schätzung Ex-post: Evaluation nach Durchführung |
| Kosten-Nutzen vs. Kosten-Wirkung | Kosten-Nutzen: Aufwand und Wirkung werden monetär quanitifiziert Kosten-Wirkung: Monetär quantifizierter Aufwand um qualitatives Ziel zu erreichen |
| 3 Perspektiven der Kosten-Nutzen-Analyse | 1. Zielgruppe 2. Stakeholder 3. Gesellschaft (Neutralste Perspekt.) |
| Gelegenheitskosten | Kosten, die durch Ausschluss einer anderen (Programm-)Alternative entstanden sind |
| 2 Methoden zum Vergleich von Kosten und Nutzen | Differenz vs. Quotient |
| Primäre vs. sekundäre Weitergabe/Kommunikation von Ergebnissen | Primär: Abschlussbericht an Sponsoren, Wissenschaftler, Fachleute Sekundär: Verständliche Kommunikation an Interessensgruppen |
| 5 Guiding Principles for Evaluators | 1. Systematische Untersuchungsmethoden 2. Fachliche Kompetenz 3. Integrität/Redlichkeit 4. Respekt gegenüber allen Beteiligten 5. Verantwortlichkeit für das Allgemeinwohl |
| 5 Guidelines for maximizing Utilization | 1. Denkweise der Entscheidungsträger verstehen 2. Zeitgerechte Ergebnisse 3. Multiperspektivisch 4. Verwert- und Kommunizierbarkeit berücksichtigen 5. Selbstevaluation der Verwertbarkeit |
| 2 Arten der Verwertung von Evaluationsergebnissen | Direkt vs. konzeptuell |
Want to create your own Flashcards for free with GoConqr? Learn more.