Karteikarten
Hasselhorn - Diagnostik und Evaluation
Karten in diesem Stapel (59)
- 1Diagnostizieren= Tätigkeit des Beurteilens und Bewertens
= Prozess der Diagnose
Qualitätssicherung durch Bereitstellung geeigneter diagnostischer Werkzeuge - 2Diagnostische WerkzeugeStandardisierte Testverfahren,
strukturierte Interviews,
Checklisten,
Verhaltensbeobachtungen - 3Diagnostische ExpertiseKompetenz, eine Person zutreffend zu beurteilen
> basale Kompetenz der Lehrenden! - 4Pygmalion-EffektPhänomen, das den Schüler durch induzierte Leistungserwartungen aufblühen lässt
- 5Diagnose=Bewertung bisher erbrachter Leistungen (Zensur)
= bewertende Schlussfolgerung über eine Person/Sache/Institution im Rahmen eines vorgegebenen Systems/Katalogs - 6Prognose= Vorhersage/Einschätzung einer zukünftigen Entwicklung von Personen/Sachverhalten
> erweist sich erst in Zukunft als richtig/falsch - 7Test= Systematisch & routinemäßig einsetzbares Verfahren zur Messung definierter Ausschnitte menschlichen Verhaltens
> Feststellung des Ausprägungsgrades einer Eigenschaft / Vorhersage zukünftigen Verhaltens - 8Standardisierter Test (Definition)= Test bei dessen Entwicklung und Anwendung gewisse Standards einzuhalten sind
> erhöht Objektivität
> minimiert Fehleranfälligkeit
> normiert an repräsentativen Stichproben - 9Standardisierter Test (Voraussetzungen)1. Formelle Festlegung der Art der Testdurchführung/Testauswertung
2. Festlegung von Bewertungsnormen
3. Weitere Gütemerkmale - 10Konstruktion eines Schulleistungstests1. Lernzielanalyse
2. Generieren von Testaufgaben
a) Vorerprobung
b) erste Testdurchführung
c) Aufgaben- und Testanalyse
d) Testvalidierung
e) Testeichung - 111. Lernzielanalyse (Schulleistungstest)Was soll geprüft werden?
Festlegung der Items
Wissen, Verstehen, Anwenden - 122. Generieren von Testaufgaben (Schulleistungstest)Items sollen repräsentative Auswahl der im Unterricht verwendeten Lernaufgaben sein
Zeit:
Speed-Test / Power-Test - 13a) Vorerprobung (Schulleistungstest)- mit einigen Personen
- Verständlichkeit/Eindeutigkeit der Aufgabenformulierungen prüfen
- Durchführungspraktikabilität - 14b) Erste Testdurchführung (Schulleistungstest)- kleine Stichprobe (dreistellig)
- Angemessenheit und Schwierigkeit der Aufgaben und Instruktionen - 15c) Aufgaben- und Testanalyse (Schulleistungstest)- Aufgabenschwierigkeit (Pi)
- Trennschärfe
- Aufgaben von leicht nach schwer anordnen (Motivation) - 16Aufgabenschwierigkeit (Pi)- gibt in Prozent an, wie viele Personen die Aufgabe richtig gelöst haben
- mittlere Schwierigkeit wünschenswert:
(Pi = 20 bis Pi = 80) - 17Trennschärfe= Indikator für Güte des Tests (>.30)
- wird als Korrelationskoeffizient (r) angegeben
-1: Fehlkonstruktion
0: wenig aussagekräftig (wird von starken und schwachen SuS gelöst)
+1: anzusteben, Item erfasst etw. ähnliches wie Gesamttest - 18d) Testvalidierung (Schulleistungstest)= Normierung durch große repräsentative Stichprobe
> Bewertungsnormen für Interpretation der Testwerte gewinnen
(Prozentrangnormen) - 19Prozentrang= Gibt an, wie viel Prozent der Personen von der Eichstichprobe gleich viele oder weniger Testitems richtig gelöst haben
- mittlerer Leistungsbereich: PRN differenzieren sehr stark
- Extrembereiche: selbst größere Prozentränge machen kaum noch einen Unterschied - 20Prozentrangnormen= Vergleich der Abweichung eines individuellen Wertes vom Durchschnitt des Kollektivs
>Zusammenfassung von Rohwerten zu Rohwertklassen
Person hat Prozentrangnorm 40:
ihre Leistung übertrifft 40 % der Vergleichsgruppe / 60 % der Vergleichsgruppe schneiden besser ab - 21Häufigkeitsverteilungabsolute Häufigkeit = Anzahl der Personen, die einen bestimmten Testwert erreichen
relative Häufigkeit = Prozentzahl der Personen, die einen bestimmten Testwert erreichen
kumulative Häufigkeit = aufsummierte Häufigkeiten bis zu einem bestimmten Testwert - 22Maße der zentralen TendenzMedian
Mittelwert
Modalwert (Modus) - 23Maße der VariabilitätSpannweite (Variationsbreite)
Standardabweichung (s) = Summe der Abweichung aller Einzelwerte vom Gesamtmittelwert
Varianz (s²) - 24Rohwert= Anzahl der richtig gelösten Aufgaben
> zusammen mit dem Normwert lässt sich Position einer Person in Bezug auf Gesamtheit bestimmen - 25Normwertez-Werte, IQ-Werte, T-Werte
> normalverteilt
> Vielfache der Standartabweichung
> ineinander überführbar (Lineartransformation) - 26z-WerteMittelwert 0
SD 1 - 27IQ-WerteMittelwert 100
SD 15 - 28T-WerteMittelwert 50
SD 10 - 29Beobachteter WertSchätzung des wahren Wertes
- 30Wahrer Wert= stellt das Leistungsvermögen einer Person punktgenau dar
> Beurteilung der Güte des beobachten Wertes durch Festlegung von (Vertrauens-)/Konfidenzintervallen - 31Vertrauens- / Konfidenzintervall= gibt Bereich an, innerhalb dessen mit festgelegter Irrtumswahrscheinlichkeit das wahre Leistungsvermögen einer Person liegt
> wird umso kleiner, je weniger messfehlerbehaftet der Test / je kleiner die Irrtumswahrscheinlichkeit - 32Gütekriterien für diagnostisches UrteilObjektivität
Reliabilität
Validität
Normierung
Nebengütekriterien - 33Objektivität= Urteil ist unbeeinflusst
wenn alle zum gleichen Ergebnis kommen
Durchführungsobjektivität (standardisiert)
Auswertungsobjektivität (Multiple Choice)
Interpretationsobjektivität (Rohwert in Normwert umgewandelt) - 34Reliabilität (Definition und Axiome)= Zuverlässigkeit, Messgenauigkeit
1. Existenzaxiom: wahrer Wert (W)
2. Verknüpfungsaxiom:
W + F (Fehlerwert) = X (beobachteter Wert)
3. Fehleraxiom: Messfehler treten zufällig auf und sind unabhängig von W
> rWF = 0 - 35Reliabilitätsbestimmung (Methoden)= Anteil der Varianz der wahren Werte wird an der Varianz der beobachteten Werte geschätzt
Retest
Paralleltest
Interne Konsistenz - 36Retest-ReliabilitätVerfahren wird nach wenigen Tagen/ Wochen wiederholt
Einfachste Methode zur Genauigkeitsbestimmung
Test-Retest-Korrelation wird als Reliabilitätskoeffizient interpretiert - 37Paralleltest-Reliabilitätmind. zwei gleiche, parallele Testvarianten
> Eine Gruppe erhält beide Testvarianten zur Bearbeitung
> Korrelation bestimmt das Ausmaß der Übereinstimmung (Äquivalenz)
Erhaltene Korrelationskoeffizient = Schätzwert für Reliabilität - 38Interne Konsistenz (Testhalbierungsmethode)Test besteht aus 2 gleichlangen Teilen
> Beide Teile beanspruchen, das gleiche, zu beurteilende Merkmal einer Person zu messen
> Korrelation zwischen beiden Teilen wird ermittelt
(Testlänge wird berücksichtigt) - 39Interne Konsistenz (Homogenitätskoeffizient)= Testverfahren, bei dem jedes Item das gleiche, zu beurteilende Merkmal einer Person zu messen beansprucht
> einzelne Aufgaben messen das gleiche
(homogen) - 40Interne Konsistenz (Cronbachs Alpha Koeffizient))= Koeffizient basiert auf der Korrelation aller Testteile untereinander
> Verbreitetes Maß zur Bestimmung der inneren Konsistenz
> Strenge Reliabilitätsprüfung durch Abschätzung der unteren Grenze der Messgenauigkeit - 41Validität= Gültigkeit
> wie gut (Genauigkeit) wird genau jenes Merkmal erfasst, dass das Verfahren zu messen beansprucht
Inhaltsvalidität
Kriteriumsvalidität - 42Inhaltsvalidität- der zu beurteilende Bereich wird optimal repräsentiert
- Bereich gilt als inhaltsvalide, wenn alle Experten der gleichen Meinung bezüglich der Eignung eines Tests zur Merkmalsmessung sind - 43Kriteriumsvalidität= von einem Testergebnis kann auf ein für diagnostische Entscheidungen relevantes Kriterium (Schulfähigkeit) geschlossen werden
> Größere Überzeugungskraft als Inhaltsvalidität
- Cronbach unterteilt Art der empirischen Validität in:
1. Konkurrente Validität: Zeitgleich erfasstes Kriterium
2. Prognotische Validität: zeitlich später beobachtbares Kriterium - 44NormierungIst erfüllt, wenn zur Relativierung individueller Testergebnisse, Normen einer def. Population, anhand der Daten einer repräsentativen Eichstichprobe vorliegen
- 45NebengütekriterienÖkonomie: Kosten & Aufwand
Nützlichkeit: Praktischer Bedarf
Zumutbarkeit: Belastung der Person
Unverfälschbarkeit: Durchschaubarkeit
Fairness: Gleichberechtigung aller Personen - 46Bezugsnormen= Grundlage für die Bewertung einer gezeigten Leistung
Soziale
Individuelle
Sachliche - 47Soziale BezugsnormBewertung einer individuellen Leistung im Vergleich zu den Leistungen anderer
+ dauerhaft starke / schwache SuS werden erkennbar
- allg. Lernzuwachs wird nicht beachtet - 48Individuelle BezugsnormVergleich mit den individuellen Leistungen die zuvor gezeigt wurden
+ mehr Hoffnung auf Erfolg / Lernfreude
+ geringere Prüfungsangst
+ realistisches Zielsetzungsverhalten
- nicht hilfreich für Selektionsentscheidungen - 49Sachliche BezugsnormBewertung bezieht sich auf einen inhaltlich verankerten Leistungsstandard
bestimmte Mindestkompetenzen sind erforderlich - 50Beobachtungsfehler- entstehen durch begrenztes Vermögen oder fehlenden guten Willen
(geringe Sorgfalt, Müdigkeit, ...)
> Objektivität des Urteils leidet - 51Milde-EffektBeurteilungsfehler
zu positives beurteilen durch positive Voreingenommenheit - 52GroßzügigkeitsfehlerBeurteilungsfehler
alle werden günstiger Beurteilt, da der Bezug zur Ursache verloren gegangen ist - 53Halo- / Hof-EffektBeurteilungsfehler
Urteil wird von einer Eigenschaft negativ oder positiv beeinflusst bzw. verzerrt - 54Logischer FehlerBeurteilungsfehler
Subtile Variante des Hof-Effekts; Fälschliche Annahme über den Zusammenhang zweier Merkmale - 55Tendenz zur MitteBeurteilungsfehler
meiden extremer Urteile, nur mittlere Bewertungen - 56Tendenz zu extremen UrteilenBeurteilungsfehler
mittlere Bewertungen werden vermieden, Beurteiler überhöhen Unterschiede zw. Personen und verwenden Extrempunkte der Bewertungsskala - 57Komponenten der Urteilsgenauigkeit (Schrader & Helmke)1. Niveaukomponente:
Tendenz Klassenniveau eher zu über-/ unterschätzen
2. Differenzierungskomponente:
Tendenz Streuung der SuS-Leistungen zu über/ -unterschätzen
3. Vergleichskomponente:
unzutreffende Einschätzung der relativen Leistungsposition der einzelnen SuS innerhalb der Klasse - 58Welche Wirkungen haben Lehrerurteile?- Wertende Rückmeldung zu einer persönlichen Leistung geben
- Sehr selbstwertrelevant
- Erheblicher Einfluss auf Lernweise der SuS
- Einfluss auf Lernmotivation - 59Beurteilungen müssen ...... sich an einem individuellen Bezugsmaßstab orientieren
... zeitnah erfolgen
... so vermittelt werden, dass sie nicht entmutigen
Informationen
- Beschreibung
- Psychologie Karteikarten am Hasselhorn - Diagnostik und Evaluation, erstellt von Anna Backes am 07/08/2017.
- Erstellt von
- Anna Backes
- Aufrufe
- 26
- Tags
- Bewertung