6157266
Description
Flashcards by Johanna Brinkmann, updated more than 1 year ago
|
Created by Johanna Brinkmann
over 7 years ago
|
|
| Question | Answer |
| Was sind die Ziele bei der Erfassung der Programmergebnisse? Welche Anforderungen stellt dies an den Gutachter? | 1. Messung und Bewertung der Programmwirkung (gewünschte Veränderungen? Effekt für Klient? 2. - besonders sorgfältige Durchführung der Auswertung - Validität; korrekte Interpretation |
| Benenne die 4 Schritte der Evaluation bei der Ergebnisbewertung | 1. Auswahl der Leistungsdimensionen 2. Festlegung von Standards für die ausgewählten Dimensionen 3. Datenerhebung 4. evaluative Schlussfolgerungen |
| Wie ist "Programmergebnis" definiert? | "Zustand der Zielpopulation oder der sozialen Bedingungen, die durch das Programm verändert werden sollten" |
| Was ist bei Ergebnismessung zu beachten? | 1. Ergebnisse sind (beobachtbare) Eigenschaften der Zielpopulation, nicht des Programms 2. Es hat nicht immer auch eine Zustandsänderung stattgefunden 3. Ergebnisse sind nicht zwangsläufig (vollständig) Resultat des Programms |
| Definiere und beschreibe: "Ergebnisvariable" | - operationalisiertes Konstrukt - messbare(r) Eigenschaft / Zustand der Zielpopulation - wird im Rahmen der Untersuchung gemessen |
| Definiere und beschreibe: "Ergebnislevel" | - Ergebnisstand zu einem Zeitpunkt - häufig nur "Ergebnis" - abgeleitet und bestimmt aus Messung der Ergebnisvariablen vor, während und nach dem Programm - Geringe Aussagekraft über Programmeffektivität |
| Definiere und beschreibe: "Ergebnisveränderung" | - Unterschied zwischen Ergebnisleveln zu verschiedenen Zeitpunkten - nicht zwangsläufig Folge des Programms (-> Störvariablen?) |
| Definiere und beschreibe: "Programmeffekt" | - Anteil eines Ergebnisses, der nur auf das Programm zurückzuführen ist - Schätzung durch Vorher-Nachher-Vergleich des Ergebnislevels, sowie Vergleich mit hypothetischem Ergebnislvl ohne Programm - Problem: interne Validität der Schätzung (reiner Effekt gesucht) |
| Bei der Fragestellung, welche Ergebnisse gemessen und analysiert werden sollten - welcherlei Perspektiven könnten Berücksichtigung finden? | 1. Stakeholder-Perspektive 2. Gutachter-Perspektive 3. Programm(wirkungs)theorie 4. frühere Forschung 5. unbeabsichtigte Ergebnisse |
| Beschreibe die "Stakeholder-Perspektive" | - Variation der Ergebniserwartung auch unter den Stakeholdern - Info über Erwartungen aus: Zielsetzungen, Mission des Programms, Finanzierungsanträgen, bewilligten Gelder oder Verträgen - Problem: vage formuliert -> Abstimmung mit Stakeholdern nötig |
| Beschreibe die "Gutachter-Perspektive" | - Zu verändernde Eigenschaften / Verhaltensweisen / Zustände müssen Ergebnisbeschreibung zu entnehmen sein |
| Beschreibe die "Programmwirkungstheorie" | - Setzt Programmhandlungen und -ergebnisse in logische Beziehung: Handlung -> proximale Erg. -> distale Erg. - proximal: direkt; leicht messbar; idR psychologisch; sind meist nicht das Ziel, aber ohne sie nur selten distale Erg.. - distal: später; größere praktische / politische Bedeutung; durch andere Faktoren beeinflusst |
| Beschreibe "frühere Forschung" im Kontext der Auswahl relevanter Ergebnisse | - Untersuchung der Ergebnisse / Messungen früherer Forschungsprojekte mit Bezug zu laufendem Projekt -> relevantes Übersehen -> wie Erg. definieren / messen -> mögliche Probleme? |
| Beschreibe "unbeabsichtigte Ergebnisse" im Kontext der Auswahl relevanter Ergebnisse | - können positiv / negativ sein - nicht durch geplante Techniken erfasst, da Entstehung unabhängig vom Programm - schwer zu antizipieren - Beurteilung anhand früherer Forschung, Personal, Teilnehmer... |
| Beschreibe den groben Ablauf einer Ergebnismessung | 1. Schwerpunktbildung: welche Ergebnisse messen 2. Operationalisierung: Bestimmung geeigneter Messungen / Indikatoren 3. bei mehrdimensionalen Ergebnissen: - Identifizierung der Dimensionen - Operationalisierung der Dimensionen |
| Was stellt Diversifizierung bei der Ergebnismessung sicher? | Dass der Effekt des Programms nicht unterschätzt wird. |
| 1. Welche Datenquellen lassen sich z.B. für Programmergebnisse heranziehen? 2. Wie werden Informationen daraus zu Messungen? | 1. Beobachtungen, Aufzeichnungen, Antworten aus Interviews / Fragebögen, standardisierte Tests, Messgeräte 2. durch Operationalisierung |
| Wenn kein geeignetes Messinstrument für die Ergebnismessung vorhanden ist, muss eines entwickelt werden - welche Schritte sieht das systematische Verfahren zur Entwicklung eines Messinstruments vor? | 1. Technische Überlegungen 2. Pilottestungen 3. Analysen, Verbesserungen, Validierung |
| Kein Messinstrument ist 100% reliabel. Aber welche sind vergleichsweise besser? Und was ist die Hauptquelle geringer Reliabilität? | 1. Messungen physischer Eigenschaften > Messungen psychischer Eigenschaften; Leistungsmessungen > erinnerungsbasierte Angaben 2. Messinstrumente auf Basis schriftlicher oder mündlicher Antworten |
| 1. Mit welchen Methoden kann Reliabilität sichergestellt werden? 2. Welcher Wert wird idR. bevorzugt? | 1. a) Test-Retest-Reliabilität (nicht immer machbar; mögliche Varianz durch zeitliche Einflüsse b) Interne-Konsistenz-Reliabilität (Konsistenz ähnlicher Items) 2. Werte größer gleich 0.9 |
| 1. Wie kann in der Evaluationsforschung die Validität der Ergebnismessung sichergestellt werden? 2. Welches Problem stellt sich ganz speziell in diesem Bereich? | 1. a) Absicherung durch detaillierte Beschreibung und multiple Messung; b) Empirisch: Was würde rauskommen, wenn Messung valide wäre (-> gleiche Ergebnisse wie andere Operationalisierungen? 2. Meist eher definiert durch: halten Stakeholder das Maß für valide... |
| Ergebnismessungen müssen sensitiv sein, um Veränderungen oder Unterschiede aufzudecken -> aber wie kann Insensitivitöt entstehen? Und wie kann Sensitivität sichergestellt werden? | 1. a) Messung misst auch irrelevante Aspekte (verwässert); b) hohe Variation bei Versuch, individuelle Unterschiede aufzudecken 2. frühere Forschungsstudien; bei Gruppen mit bekannten Unterschieden diese situativ berücksichtigen |
| Wo liegt der Unterschied zwischen Ergebnisüberwachung und Wirkungsanalyse? | Wirkungsanalyse: Speziell zur Bestimmung des isolierten Programmeffekts; Erlaubt stärkere Schlussfolgerungen über Ursache-Wirkungsbeziehungen Ergebnisüberwachung: gleiche Variablen; NICHT für Ursachen- und Effektbewertung |
Want to create your own Flashcards for free with GoConqr? Learn more.