GoConqr hat ein neues Design! Sag uns, wie es dir gefällt.

Kostenlos registrieren

Karteikarten

Evaluationsforschung

Miriam Brunner Psychologie Deutsch 43 Karten

Karten in diesem Stapel (43)

  1. 1Was untersucht Evaluationsforschung?- wissenschaftsgestützt
    - unter Berücksichtigung geltender Standards
    - Effektivität (Ausmaß der Zielerreichung)
    - Effizienz (Kosten-Nutzen-Relation) von Gegenständen
    => Ist das was ich durchführe, durchführenswert?
    Problem: Evaluation = alles, was Bewertung ist (Modewort)
  2. 2Was kann evaluiert werden?- Programme, Maßnahmen, Interventionen
    - Einrichtungen & Organisationsteile
    - Techniken & Methoden
    - Produkte & Personen
    - Prozesse & Netzwerke
    - (Studien- wenig Evaluationsgrenzen)
    => Evaluationsforschung = interdisziplinäres Feld (Psy, Soziologie, Öko, Politologie, Erziehungswiss)
  3. 3Wie definierte Scriven (1991) Evaluation?Evaluation = jegliche Art der Festsetzung des Wertes eines Gegenstandes
  4. 4Was ist Evaluationsforschung?= systemat. & wiss Herangehensweise zur Erhöhung Bewertungsaussagekraft (Methoden)
    - Teilgebiet der Angewandten (Sozial-)Forschung, häufig externe Auftraggeber
    - Herausforderung: Diskrepanz zw method.-wiss. Ansprüchen & vorgegebenem Kostenrahmen
  5. 5Welche verwandten Ansätze von Evaluationsforschung gibt es?- Qualitätsmanagement: aus Wirtschaft; Bewertungsprozess anhand QM-Systems = Akkreditierung
    - Monitoring: regelmäßige Überwachung & Begleitung der Durchführung einer Maßnahme/ eines Prozesses; US: kontinuierliche Aktivitäten; k. zentr. Rolle der wiss. Fundierung
  6. 6Wie definiert man Bildungsmonitoring?= systematische & regelmäßige Erfassung von Indikatoren für Qualität eines Bildungssystems oder dessen Teilsysteme
  7. 7Was macht Bildungsmonitoring?- Rückmeldung über IST-Zustände im BS
    - Steuerungshilfe des Systems (durch Bildungsergebnisse/-prozesse)
    - nutzt empirische Verfahren
    - gezielte Indikatorenerfassung, die bestimmte Aspekte der Ergebnisqualität repräsentieren
    - Einbeziehung einer Testkomponente => Erfassung des Outputs des BS
    - Konzentration der Erhebung von Bildungsergebnissen auf grundlegende Kompetenzen
    - keine umfassende, flächendeckende Beobachtung von BS
    - repräsentat SP-ziehung für Population
    - Datenbasis von Bildungsberichten
  8. 8Welche internationale Beispiele für Bildungsleistungsstudien gibt es?- OECD: Program f Internat Student Assessment (PISA) => alle 3 J, seit 2003, Lesen-Rechnen-Science, 15 Jahre => unterdurchschn. in Lesen + Schreiben
    - Trend in Internat Mathemat & Science Study (TIMSS) - Mathe Fokus
    - Progress in Internat Reading Literacy Study (PIRLS) - Primärstufe (9-10) Lesen
    - Teaching and Learning Internat Survey (TALIS) - Lehrkräfte? - Methoden, Unterrichtsstrukturen, ES, Wissen, ..
    - Programme f t internat Assessement of Adult Competencies (PIAAC) - Erw
  9. 9Ergebnisse aus PISA (2006)- persönl. Nutzen der Nawi
    - instrument. Motivation in Nawi
    => Gendergap: Mädchen geringste Motivation for NW - unterdurchschnt.
  10. 10Was war der fließende Übergang des Bildungsmonitorings und der Evaluation?- BM = deskriptiv => Überblicksstudie mit Erfassung vieler Indikatoren (Survey) => Bereitstellung von Beschreibungswissen - keine Erklärung!
    - Auffassung oft als EF: Ergebn. genutzt f.: Infoquelle f. polit. Entscheid + Steuerungswiss; Lieferung v. emp. Evidenz f. Entscheid; PISA & TIMSS = angesehen als Evaluation im BS
    - Problem: Kopplung Evaluationsdesign - Ergebn - VB funkt wegen Stakeholdern n. gut! => Wichtigkeit der Umsetzung von Grundprinzipien neuer, partizipativer Evaluationsansätze
  11. 11Wie wird Evaluation nach Zielen eingeteilt?- Baseline EV
    - Prospektive EV
    - Formative EV
    - Summative EV
    - EV der Programmeffizienz
    - Impact EV
  12. 12Was ist die Baseline Evaluation?= IST-Stand Analyse, Beschreibung der Ausgangssituation
    - wichtig für Vgl. mit Situation nach Maßnahme (VOR VÄ erhoben!)
  13. 13Was ist die Prospektive Evaluation?= Bewertung einer Programmkonzeption
    - Abschätzung der Realisierbarkeit der Maßnahme & mögliche Nebeneffekte
  14. 14Was ist die formative Evaluation?= Beschreibung/ Bewertung von Programmimplementationen
    - Zielsetzungen & Umsetzungen
    - gezielte Rückmeldung zur Programmoptimierung (laufende Durchführung mit Kontrolle)
  15. 15Was ist die Summative Evaluation?= Wirksamkeitsprüfung der Maßnahme
    - in Bezug auf gesetzte Ziele unmittelbar nach Programmabschluss
  16. 16Was ist die Evaluation der Programmeffizienz?= Bewertung der Ökonomie der Maßnahme (Kosten-Nutzen Relation)
    - Ist Ergebnis so gut, dass es Maßnahme rechtfertigt?
  17. 17Was ist die Impact Evaluation?= Bewertung nachhaltiger Effekte von Programmen
    - langfristiger Nutzen, geht weit über direkte Ziele hinaus
  18. 18Wie erfolgt die Einteilung nach Rolle des Evaluators?- Selbst EV
    - Fremd EV
    - Interne EV
    - Externe EV
  19. 19Was ist die Selbstevaluation bzw. Fremdevaluation?- Organisationsmitglieder bewerten sich bzw. ihre Maßnahmen selbst
    - Bewertung durch DRITTE
  20. 20Was ist Interne bzw. Externe Evaluation?Intern: Selbstevaluation; Evaluator kommt aus gleicher Organisation - keine direkte Maßnahmenbeteiligung
    Extern: Bewertung durch unabhängigen Experten => keine Bez zu Einrichtung/ Maßnahme
  21. 21Welche Auswirkungen hat Evaluation als strategisches Instrument?- Erhöhung Motivation/ Leistung der MA
    - Durchsetzungshilfe f. (positive) Entscheidung
    - Umsetzungshilfe f. wenig akzept. Entscheidungen
    - Verantwortungsdeligation f. negat. Entscheid. (MA einsparen - wollen nicht, aber es ist besser)
    - symbol., ritualis. Funkt. v. EV => Durchführung zur Erfüllung gesetzl. Vorschriften/ Vorgaben von Geldgebern/ Entscheidungsträgern
    (alle 5 Jahre - Nachweise der VÄ)
  22. 22Welche verschiedene Arten von Evaluationsfunktionen gibt es?- Erkenntnis-/ Aufklärungsfunktion
    - Optimierungsfunktion
    - Kontrollfunktion
    - Entscheidungs-/ Steuerungsfunktion
    - Legimitationsfunktion
  23. 23Was ist die Erkenntnis-/ Aufklärungsfunktion?= wissenschaftliche Erkenntnis über Eigenschaften/ Wirkung von Interventionen
  24. 24Was ist die Optimierungsfunktion?= Potentiale der Interventionsziele finden
    - Stärkenausbau, Schwächenbeseitigung
  25. 25Was ist die Kontrollfunktion?= korrekte Maßnahmenumsetzung
    - Effektivität, Effizienz?, Nebenwirkungen?
  26. 26Was ist die Entscheidungs-/ Steuerungsfunktion?= Auswahl, Umsetzung, Weiterentwicklung, Nutzung von Interventionen
  27. 27Was ist die Legimitationsfunktion?= Rechtfertigung der Durchführung/ Entwicklung der Intervention nach außen
  28. 28Welche Evaluationsebenen gibt es nach Kikpatrick (1998) ?1. Akzeptanzerfassung einer Maßnahme => emotionale, basale Ebene; Leiter = sympathisch, kompentent, ...
    2. Ausmaßerfassung: Wissens- bzw. Fertigkeitserweit/ Einstellungsveränd als direkte Folge der Maßnahme
    3. Transfererfassung: Gelerntem => Alltag => VH-Änderung
    4. VÄ-Erfassung auf Organisation- bzw. Systemebene => Auswirkung von Individuum - ganzer Organisation; Mehrwet dort, wo ich mein VH anwende
  29. 29Was macht das JCSEE, 1994; DeGEval, 2002?= Bewertung & Qualitätssicherung von Evaluationen (30 bzw. Standards)
    - Nutzen: Evaluationszweck; Infobedarf der Nutzer
    - Machbarkeit: unter ökonom. Ressourcennutzung
    - Fairness: ethisch korrekt
    - Genauigkeit: fundierte, verwertbare Infos
  30. 30In welchen Berufsfeldern sind Evaluatoren tätig?- Bildung
    - Sozialwesen
    - Familie
    - Arbeitsmarkt
    - Gesundheit
    - Justiz- und Strafvollzug
    - Wohn- und Städtebau
    - Entwicklungspolitik
  31. 31Was sind erforderliche Kompetenzen für Evaluatoren?- Sowi Methodenwissen
    - psycholog. Fachwissen
    - Schlüsselqualifikationen
    - hohes Allgemeinwissen im inhaltlichen Bereich
  32. 32Was für eine Relevanz haben Forschungsmethoden für Evaluation?- Handwerkszeug zur wiss. fundierten Beantwortung inhaltlicher Fragen
    - erforderliche Kenntnisse für eigen Untersuchungen
    - Entscheidung über geeignetstes Vorgehen
    - zum Verständnis & Bewertung anderer Untersuchungen
    --> Relevanz von Faktenwissen & Entscheidungs- und Bewertungskompetenz
  33. 33Welche Fragestellungen sollte man sich bei der Evaluation stellen?- Welche Ziele sollen erreicht werden?
    - Woran ist Zielerreichung erkennbar?
    - Wie erfolgt Zielerreichung?
    - Sind entsprechende Ressourcen vorhanden?
  34. 34Welche Beispiele für Untersuchungsdesigns wurden genannt?- One-Shot Case Study (einmalige Befragung Gruppe - wenig aussagekräft)
    - Ein-Gruppen-Pretest-Posttest-Design (Befragung vor & nach => VÄ? keine Vglgruppe!)
    - Quasi-experimentelles Design
    (zufällige Zuteilung, 2 Gruppen)
    - Kontrollgruppenplan mit Pre- und Posttest (2 Gruppen vorher & nachher)
    --> Aussagen über Wirkfaktoren & Generalisierbarket möglich??
    => wirkt Training, was steckt dahinter?
    G. nur bei Randomisierung bzw. Kontrolle von Störfaktoren
  35. 35Welche gesetzlichen Rahmenbedingungen gibt es beim Medizinstudium - Curriculumsreform?- Bundesgesetz über die Organisation von Unis (UOG 1993)
    - Evaluierungsverordnung (EvalIVO)
    - Unistudiengesetz (UniStG) => Verpflichtende Reform der Studienpläne
    - 1.10.2002: neues Curricula tritt in Ö in Kraft mit Ziel der Qualitätssteigerung
  36. 36Was ist der Idealverlauf der Evaluation einer Curriculumsreform?- IST-Stand-Analyse alter Studienpläne (Baseline)
    - EV der Studienplankonzeption (prospektiv)
    - EV der Implementierung des neuen Studienplans (Prozess)
    - Ergebnis EV neues Studienplans (Outcome; Vgl mit altem Studienplan)
    - Summative EV zur Überprüfung langfristiger Wirkungen (Impact)
  37. 37Wie ist die Evaluation von der Curriculumsreform in der Humanmedizin?- einhellige Forderung nach neuen Medizin-Curricula (problem based vs. lecture based = gem. Problem lösen vs. Vorlesung)
    - einige Ansätze zur Realisierung (auch im dt. spr. Raum)
    - Mangel an systematischen, begleitenden Evaluationen
  38. 38Welche Evaluationen gab es bisher?- vgl. neues - altes Studium bzgl. Praxisrelevanz
    - Einstellungen zu Reform bzw. zu altem vs. neuem Studium
    --> Befundlage unklar, spricht jedoch für Kombi von lecture & problem based learning
  39. 39Was waren die Problembereiche bisheriger Evaluationen?- nur Befragung von Teilgruppen
    - niedrige Rücklaufquote (Ärzte im KH nicht begeistert über Fragebögen, Interviews)
    => mangelnde Repräsentativität
    - reformbegleitende EV auf Basis der IST-Stand-Analyse fehlen gänzlich
  40. 40Was waren die zentralen Fragestellungen der Studie?- IST-Situation: in welchem Umfang vermittelt Medizin Ausbildung in Graz Wissen/ Fähigkeiten & Fertigkeiten, die ein zukünftiger Arzt benötigt?
    - Einstellungen zu Curriculumsreform?
    - SOLL-Situation: Vorstellungen über die zentr Momente eines reformierten Medizinstudiums in Graz?
  41. 41Wie war die Prozedur?- Externe summative Selbst- und Fremdevaluation aus versch. Perspektiven: 25 Vorinterviews, Ergebnisse früherer EV => Konzeption von Fragebögen, Vortest, Revision
  42. 42Was für eine Methodik wurde verwendet?- Fragebogenerhebung: multiperspektiv Einschätzungen (versch. Gruppen; Selbst- und Fremdrating)
    - Befragungsgruppen: Studierende (3. Studienabschnitt), Turnusärzte (nach Studium in prakt. Ausbildung), Lehrende (1./2. & 3. Studienabschnitt), Supervisor (Betreuer der Turnusärzte)
  43. 43Was waren die zentralen Ergebnisse & resultierende verwertbare Infos für weiteren Reformprozess?- allgem. Betonung Notwendigk. Reform
    - Kompetenzen von Studenten & Turnusärzten werden nicht hoch eingeschätzt (Selbst- und Fremdrating)
    - Diskrepanz zw. Ideal & Real in Vermittl ärztl Kompetenzen durch Studium
    - zunehmend geringere Einstufung der Ausbildungsleistung mit wachsender Praxiserfahrung
    - gewünschte Reformeffekte - gruppenspezifische Prioritäten
    - generelle Befürwortung zur Begrenzung der Studierendenanzahl
    - minimal Einsatz von Lernmethoden bzgl. SR des Lernprozess & kooperatives Lernen

Informationen

Beschreibung
VO zu Evaluationsforschung von Marko Lüftenegger
Erstellt von
Miriam Brunner
Aufrufe
78
Bewertung

Feedback

Worum geht es?

Wie gefällt dir das neue Design?

Dein Eindruck