Fichas
Evaluationsforschung
Fichas del conjunto (43)
- 1Was untersucht Evaluationsforschung?- wissenschaftsgestützt
- unter Berücksichtigung geltender Standards
- Effektivität (Ausmaß der Zielerreichung)
- Effizienz (Kosten-Nutzen-Relation) von Gegenständen
=> Ist das was ich durchführe, durchführenswert?
Problem: Evaluation = alles, was Bewertung ist (Modewort) - 2Was kann evaluiert werden?- Programme, Maßnahmen, Interventionen
- Einrichtungen & Organisationsteile
- Techniken & Methoden
- Produkte & Personen
- Prozesse & Netzwerke
- (Studien- wenig Evaluationsgrenzen)
=> Evaluationsforschung = interdisziplinäres Feld (Psy, Soziologie, Öko, Politologie, Erziehungswiss) - 3Wie definierte Scriven (1991) Evaluation?Evaluation = jegliche Art der Festsetzung des Wertes eines Gegenstandes
- 4Was ist Evaluationsforschung?= systemat. & wiss Herangehensweise zur Erhöhung Bewertungsaussagekraft (Methoden)
- Teilgebiet der Angewandten (Sozial-)Forschung, häufig externe Auftraggeber
- Herausforderung: Diskrepanz zw method.-wiss. Ansprüchen & vorgegebenem Kostenrahmen - 5Welche verwandten Ansätze von Evaluationsforschung gibt es?- Qualitätsmanagement: aus Wirtschaft; Bewertungsprozess anhand QM-Systems = Akkreditierung
- Monitoring: regelmäßige Überwachung & Begleitung der Durchführung einer Maßnahme/ eines Prozesses; US: kontinuierliche Aktivitäten; k. zentr. Rolle der wiss. Fundierung - 6Wie definiert man Bildungsmonitoring?= systematische & regelmäßige Erfassung von Indikatoren für Qualität eines Bildungssystems oder dessen Teilsysteme
- 7Was macht Bildungsmonitoring?- Rückmeldung über IST-Zustände im BS
- Steuerungshilfe des Systems (durch Bildungsergebnisse/-prozesse)
- nutzt empirische Verfahren
- gezielte Indikatorenerfassung, die bestimmte Aspekte der Ergebnisqualität repräsentieren
- Einbeziehung einer Testkomponente => Erfassung des Outputs des BS
- Konzentration der Erhebung von Bildungsergebnissen auf grundlegende Kompetenzen
- keine umfassende, flächendeckende Beobachtung von BS
- repräsentat SP-ziehung für Population
- Datenbasis von Bildungsberichten - 8Welche internationale Beispiele für Bildungsleistungsstudien gibt es?- OECD: Program f Internat Student Assessment (PISA) => alle 3 J, seit 2003, Lesen-Rechnen-Science, 15 Jahre => unterdurchschn. in Lesen + Schreiben
- Trend in Internat Mathemat & Science Study (TIMSS) - Mathe Fokus
- Progress in Internat Reading Literacy Study (PIRLS) - Primärstufe (9-10) Lesen
- Teaching and Learning Internat Survey (TALIS) - Lehrkräfte? - Methoden, Unterrichtsstrukturen, ES, Wissen, ..
- Programme f t internat Assessement of Adult Competencies (PIAAC) - Erw - 9Ergebnisse aus PISA (2006)- persönl. Nutzen der Nawi
- instrument. Motivation in Nawi
=> Gendergap: Mädchen geringste Motivation for NW - unterdurchschnt. - 10Was war der fließende Übergang des Bildungsmonitorings und der Evaluation?- BM = deskriptiv => Überblicksstudie mit Erfassung vieler Indikatoren (Survey) => Bereitstellung von Beschreibungswissen - keine Erklärung!
- Auffassung oft als EF: Ergebn. genutzt f.: Infoquelle f. polit. Entscheid + Steuerungswiss; Lieferung v. emp. Evidenz f. Entscheid; PISA & TIMSS = angesehen als Evaluation im BS
- Problem: Kopplung Evaluationsdesign - Ergebn - VB funkt wegen Stakeholdern n. gut! => Wichtigkeit der Umsetzung von Grundprinzipien neuer, partizipativer Evaluationsansätze - 11Wie wird Evaluation nach Zielen eingeteilt?- Baseline EV
- Prospektive EV
- Formative EV
- Summative EV
- EV der Programmeffizienz
- Impact EV - 12Was ist die Baseline Evaluation?= IST-Stand Analyse, Beschreibung der Ausgangssituation
- wichtig für Vgl. mit Situation nach Maßnahme (VOR VÄ erhoben!) - 13Was ist die Prospektive Evaluation?= Bewertung einer Programmkonzeption
- Abschätzung der Realisierbarkeit der Maßnahme & mögliche Nebeneffekte - 14Was ist die formative Evaluation?= Beschreibung/ Bewertung von Programmimplementationen
- Zielsetzungen & Umsetzungen
- gezielte Rückmeldung zur Programmoptimierung (laufende Durchführung mit Kontrolle) - 15Was ist die Summative Evaluation?= Wirksamkeitsprüfung der Maßnahme
- in Bezug auf gesetzte Ziele unmittelbar nach Programmabschluss - 16Was ist die Evaluation der Programmeffizienz?= Bewertung der Ökonomie der Maßnahme (Kosten-Nutzen Relation)
- Ist Ergebnis so gut, dass es Maßnahme rechtfertigt? - 17Was ist die Impact Evaluation?= Bewertung nachhaltiger Effekte von Programmen
- langfristiger Nutzen, geht weit über direkte Ziele hinaus - 18Wie erfolgt die Einteilung nach Rolle des Evaluators?- Selbst EV
- Fremd EV
- Interne EV
- Externe EV - 19Was ist die Selbstevaluation bzw. Fremdevaluation?- Organisationsmitglieder bewerten sich bzw. ihre Maßnahmen selbst
- Bewertung durch DRITTE - 20Was ist Interne bzw. Externe Evaluation?Intern: Selbstevaluation; Evaluator kommt aus gleicher Organisation - keine direkte Maßnahmenbeteiligung
Extern: Bewertung durch unabhängigen Experten => keine Bez zu Einrichtung/ Maßnahme - 21Welche Auswirkungen hat Evaluation als strategisches Instrument?- Erhöhung Motivation/ Leistung der MA
- Durchsetzungshilfe f. (positive) Entscheidung
- Umsetzungshilfe f. wenig akzept. Entscheidungen
- Verantwortungsdeligation f. negat. Entscheid. (MA einsparen - wollen nicht, aber es ist besser)
- symbol., ritualis. Funkt. v. EV => Durchführung zur Erfüllung gesetzl. Vorschriften/ Vorgaben von Geldgebern/ Entscheidungsträgern
(alle 5 Jahre - Nachweise der VÄ) - 22Welche verschiedene Arten von Evaluationsfunktionen gibt es?- Erkenntnis-/ Aufklärungsfunktion
- Optimierungsfunktion
- Kontrollfunktion
- Entscheidungs-/ Steuerungsfunktion
- Legimitationsfunktion - 23Was ist die Erkenntnis-/ Aufklärungsfunktion?= wissenschaftliche Erkenntnis über Eigenschaften/ Wirkung von Interventionen
- 24Was ist die Optimierungsfunktion?= Potentiale der Interventionsziele finden
- Stärkenausbau, Schwächenbeseitigung - 25Was ist die Kontrollfunktion?= korrekte Maßnahmenumsetzung
- Effektivität, Effizienz?, Nebenwirkungen? - 26Was ist die Entscheidungs-/ Steuerungsfunktion?= Auswahl, Umsetzung, Weiterentwicklung, Nutzung von Interventionen
- 27Was ist die Legimitationsfunktion?= Rechtfertigung der Durchführung/ Entwicklung der Intervention nach außen
- 28Welche Evaluationsebenen gibt es nach Kikpatrick (1998) ?1. Akzeptanzerfassung einer Maßnahme => emotionale, basale Ebene; Leiter = sympathisch, kompentent, ...
2. Ausmaßerfassung: Wissens- bzw. Fertigkeitserweit/ Einstellungsveränd als direkte Folge der Maßnahme
3. Transfererfassung: Gelerntem => Alltag => VH-Änderung
4. VÄ-Erfassung auf Organisation- bzw. Systemebene => Auswirkung von Individuum - ganzer Organisation; Mehrwet dort, wo ich mein VH anwende - 29Was macht das JCSEE, 1994; DeGEval, 2002?= Bewertung & Qualitätssicherung von Evaluationen (30 bzw. Standards)
- Nutzen: Evaluationszweck; Infobedarf der Nutzer
- Machbarkeit: unter ökonom. Ressourcennutzung
- Fairness: ethisch korrekt
- Genauigkeit: fundierte, verwertbare Infos - 30In welchen Berufsfeldern sind Evaluatoren tätig?- Bildung
- Sozialwesen
- Familie
- Arbeitsmarkt
- Gesundheit
- Justiz- und Strafvollzug
- Wohn- und Städtebau
- Entwicklungspolitik - 31Was sind erforderliche Kompetenzen für Evaluatoren?- Sowi Methodenwissen
- psycholog. Fachwissen
- Schlüsselqualifikationen
- hohes Allgemeinwissen im inhaltlichen Bereich - 32Was für eine Relevanz haben Forschungsmethoden für Evaluation?- Handwerkszeug zur wiss. fundierten Beantwortung inhaltlicher Fragen
- erforderliche Kenntnisse für eigen Untersuchungen
- Entscheidung über geeignetstes Vorgehen
- zum Verständnis & Bewertung anderer Untersuchungen
--> Relevanz von Faktenwissen & Entscheidungs- und Bewertungskompetenz - 33Welche Fragestellungen sollte man sich bei der Evaluation stellen?- Welche Ziele sollen erreicht werden?
- Woran ist Zielerreichung erkennbar?
- Wie erfolgt Zielerreichung?
- Sind entsprechende Ressourcen vorhanden? - 34Welche Beispiele für Untersuchungsdesigns wurden genannt?- One-Shot Case Study (einmalige Befragung Gruppe - wenig aussagekräft)
- Ein-Gruppen-Pretest-Posttest-Design (Befragung vor & nach => VÄ? keine Vglgruppe!)
- Quasi-experimentelles Design
(zufällige Zuteilung, 2 Gruppen)
- Kontrollgruppenplan mit Pre- und Posttest (2 Gruppen vorher & nachher)
--> Aussagen über Wirkfaktoren & Generalisierbarket möglich??
=> wirkt Training, was steckt dahinter?
G. nur bei Randomisierung bzw. Kontrolle von Störfaktoren - 35Welche gesetzlichen Rahmenbedingungen gibt es beim Medizinstudium - Curriculumsreform?- Bundesgesetz über die Organisation von Unis (UOG 1993)
- Evaluierungsverordnung (EvalIVO)
- Unistudiengesetz (UniStG) => Verpflichtende Reform der Studienpläne
- 1.10.2002: neues Curricula tritt in Ö in Kraft mit Ziel der Qualitätssteigerung - 36Was ist der Idealverlauf der Evaluation einer Curriculumsreform?- IST-Stand-Analyse alter Studienpläne (Baseline)
- EV der Studienplankonzeption (prospektiv)
- EV der Implementierung des neuen Studienplans (Prozess)
- Ergebnis EV neues Studienplans (Outcome; Vgl mit altem Studienplan)
- Summative EV zur Überprüfung langfristiger Wirkungen (Impact) - 37Wie ist die Evaluation von der Curriculumsreform in der Humanmedizin?- einhellige Forderung nach neuen Medizin-Curricula (problem based vs. lecture based = gem. Problem lösen vs. Vorlesung)
- einige Ansätze zur Realisierung (auch im dt. spr. Raum)
- Mangel an systematischen, begleitenden Evaluationen - 38Welche Evaluationen gab es bisher?- vgl. neues - altes Studium bzgl. Praxisrelevanz
- Einstellungen zu Reform bzw. zu altem vs. neuem Studium
--> Befundlage unklar, spricht jedoch für Kombi von lecture & problem based learning - 39Was waren die Problembereiche bisheriger Evaluationen?- nur Befragung von Teilgruppen
- niedrige Rücklaufquote (Ärzte im KH nicht begeistert über Fragebögen, Interviews)
=> mangelnde Repräsentativität
- reformbegleitende EV auf Basis der IST-Stand-Analyse fehlen gänzlich - 40Was waren die zentralen Fragestellungen der Studie?- IST-Situation: in welchem Umfang vermittelt Medizin Ausbildung in Graz Wissen/ Fähigkeiten & Fertigkeiten, die ein zukünftiger Arzt benötigt?
- Einstellungen zu Curriculumsreform?
- SOLL-Situation: Vorstellungen über die zentr Momente eines reformierten Medizinstudiums in Graz? - 41Wie war die Prozedur?- Externe summative Selbst- und Fremdevaluation aus versch. Perspektiven: 25 Vorinterviews, Ergebnisse früherer EV => Konzeption von Fragebögen, Vortest, Revision
- 42Was für eine Methodik wurde verwendet?- Fragebogenerhebung: multiperspektiv Einschätzungen (versch. Gruppen; Selbst- und Fremdrating)
- Befragungsgruppen: Studierende (3. Studienabschnitt), Turnusärzte (nach Studium in prakt. Ausbildung), Lehrende (1./2. & 3. Studienabschnitt), Supervisor (Betreuer der Turnusärzte) - 43Was waren die zentralen Ergebnisse & resultierende verwertbare Infos für weiteren Reformprozess?- allgem. Betonung Notwendigk. Reform
- Kompetenzen von Studenten & Turnusärzten werden nicht hoch eingeschätzt (Selbst- und Fremdrating)
- Diskrepanz zw. Ideal & Real in Vermittl ärztl Kompetenzen durch Studium
- zunehmend geringere Einstufung der Ausbildungsleistung mit wachsender Praxiserfahrung
- gewünschte Reformeffekte - gruppenspezifische Prioritäten
- generelle Befürwortung zur Begrenzung der Studierendenanzahl
- minimal Einsatz von Lernmethoden bzgl. SR des Lernprozess & kooperatives Lernen
Información
- Descripción
- VO zu Evaluationsforschung von Marko Lüftenegger
- Creado por
- Miriam Brunner
- Visitas
- 78
- Etiquetas
- Valoración