교육평가 플래시카드 - 평가도구의 양호도 ~ 검사점수의 보고와 해석

Descrição

FlashCards sobre 교육평가 플래시카드 - 평가도구의 양호도 ~ 검사점수의 보고와 해석, criado por 덕원 강 em 13-04-2025.
덕원 강
FlashCards por 덕원 강, atualizado 8 meses atrás
덕원 강
Criado por 덕원 강 8 meses atrás
59
0

Resumo de Recurso

Questão Responda
평가도구의 양호도 - 분류 타당도 신뢰도 객관도 실용도
평가 양호도 - 타당도의 개념 측정도구가 측정하려고 의도한 것을 어느 정도 충실히 측정하고 있는가의 정도 - 무엇을 측정하고 있는지 - 사용목적에 얼마나 부합하는지
평가 양호도 - 타당도의 종류 4가지 내용타당도 준거타당도 (공인타당도 / 예언타당도) 구인타당도 결과타당도
타당도 종류- 내용타당도의 개념과 구성 한 검사를 구성하는문항들이 전체의 내용영역과 행동영역을 얼마나 잘 대표하고 있는가의 정도 (이원분류표와 유사) - 교과 타당도와 교수 타당도 (엄밀히 구분x)
타당도 종류 - 내용 타당도의 특성 (△) - 교수-학습과정에서 설정하였던 교육목표의 성취 여부를 묻는 학업성취 도 검사의 타당성 검증을 위해 내용타당도가 많이 사용됨 - 내용타당도를 높이기 위해서는 교육목표를 내용영역과 행동영역으로 이분화시켜 표현한 이원분류표의 작성이 필수적
타당도 종류 - 내용 타당도의 추정 방법 - 주관적 판단에 의하므로 객관적 자료 사용x - 검사내용전문가의 전문지식에 의해 검증
타당도 종류 - 공인타당도 개념 검사도구에서 구한 점수와 이미 타당성을 입증받은 다른 검사도구에 서 구한 점수 간 상관을 토대로 검사도구의 타당성을 평가하는 방법
타당도 종류 - 예언타당도 개념 검사도구에서 구한 점수와 미래에 피험자에게 나타날 행동 특성을 수 량화한 준거점수 간의 상관을 토대로 검사도구의 타당성을 평가하는 방법 (선발, 채용 등에 적절)
타당도 종류 - 구인타당도 개념 특정 검사도구가 측정하려고 하는 심리적 특성에 대해 정의를 내리고, 그 정의를 기준으로 특정 검사도구가 측정하고자 하는 심리적 특성인 '구인'을 얼마나 제대로 측정하고 있는지를 분석함으로써 검사도구의 타당 성을 평가하는 방법 (내향성 예시)
타당도 종류 - 결과타당도 개념 (△) 검사결과가 검사의 목적과 얼마나 부합하는가, 즉 의도한 결과를 얼 마나 달성하였으며 의도하지 않은 어떤 결과가 나타났는지에 대한 검증
평가 양호도 - 신뢰도의 개념 측정하려고 하는 것을 얼마나 안정적으로 측정하는가(측정의 일관성)
평가 양호도 - 신뢰도의 추정방법 (2회 반복검사 시) 재검사 신뢰도 : 하나의 측정도구를 동일한 피험자, 두 번 실시 동형검사 신뢰도 : 비슷한 검사 두 개를 각각 다른 시기에 실시
평가 양호도 - 신뢰도의 추정방법 (1회 검사 시) 반분 신뢰도 : 한 검사를 두 부분으로 나누어 두 개의 검사로 간주 문항내적합치도 : 문항 하나하나를 하나의 검사로 간주
신뢰도 향상 요인 - 검사에 관련된 요인 검사의 길이(문항 많을수록 높은 신뢰도) 문항의 난이도 (적절한 난이도) 문항의 변별도 (높은 변별도) 검사내용의 범위 (좁은 시험범위) 충분한 검사시간 가능점수 범위(오지선다 등)
신뢰도 향상 요인 - 집단에 관련된 요인 집단의 동질성 (집단 내부가 동질하지 않을수록) 검사요령의 차이 (검사에 익숙할수록) 동기유발의 차이 (모든 학생 일정 정도의 동기)
평가 양호도 - 신뢰도와 타당도의 관계 (표)
평가 양호도 - 객관도 개념 평정자의 주관적 편견을 얼마나 배제하였는가의 문제
객관도 - 채점자 내 신뢰도와 채점자 간 신뢰도 개념 채점자 내 신뢰도 : 한 채점자가 계속적으로 일관성 있게 채점하는 정도 채점자 간 신뢰도 : 채점결과가 채점자들 사이에서 얼마나 유사한가 채점자 내 신뢰도가 높아야 채점자 간 신뢰도 높을 수 있음
평가 양호도 - 객관도 향상 방안 -명확한 평가의 기준을 미리 마련하고 객관적이고 구체적이며 실제적인 자료수집에 노력해야 함 - 평가자가 평가하려는 내용과 평가방법에 대한 소양을 길러야 함
평가 양호도 - 객관도 - 평정의 오류 종류 ★ 집중경향의 오류 ★ 후광효과 ★ 논리적 오류 ★ 표준의 오류 근접의 오류
객관도 - 집중경향의 오류 개념 - 평정 시 중간 점수에 채점결과가 집중되는 경향성 - 잘한 것과 그렇지 않은 것 간의 변별력이 떨어짐
객관도 - 후광효과(인상의 오류) 개념 평정 시 수행 결과물 자체보다 학생이 가진 배경 정보에 영향을 받아 잘못된 판단을 하는 경우
객관도 - 논리적 오류 개념 명확하게 평정의 속성을 규정하지 못해 발생하는 오류로 일반적 으로 유사한 다른 속성과 평정 속성을 구별하지 못해 발생하는 문제 - 도덕성과 윗사람의 예절 구분 예시
객관도 - 표준의 오류 및 근접의 오류 개념 표준의 오류 채점자가 각자 평정의 기준을 달리 둠으로써 나타나는 오류 근접의 오류 여러 속성을 근접하여 연속적으로 평정하는 경우 이전의 평정이 이후의 평정에 영향을 미치는 현상
평가 양호도 - 실용도 개념(△) 어떤 측정도구를 사용할 때 드는 비용과 이익을 비교·분석하여 측정도구의 유용성을 평가하는 방법
검사 도구 및 문항의 제작 - 문항 제작자의 요건 (△) - 평가하고자 하는 교과내용에 관해 정확한 지식과 정보를 구비해야 한다 - 평가받는 대상, 즉 학생에 대해 잘 알고 있어야 한다. - 훌륭한 언어 구사력과 문장력을 갖춰야 한다. - 풍부한 문항 제작 및 검토 경험을 쌓아야 한다.
검사 도구 및 문항의 제작 - 문항의 요건 - 문항내용이 측정하고자 하는 내용, 평가목표와 일치해야 함 - 문항의 참신성 - 문항이 구조화되어야 함 (문항은 체계성과 명료성을 지녀야 함)
검사 도구 및 문항의 제작 - 문항 형식 결정 시 고려사항 - 문항으로 측정하고자 하는 바 (평가의 목적)에 따라 : 문항의 내용이나 형식 결정 - 검사환경에 따라 : 문항 유형 결정에 고려 - 피경험자들의 특징 : 문항 유형 결정에 고려
검사 도구 및 문항의 제작 - 논술형 문항의 장점 - 반응의 자유도가 큼 ★ - 고등정신능력 측정에 효과 ★
검사 도구 및 문항의 제작 - 논술형 문항의 단점 - 채점의 객관성과 신뢰도를 확보하기 어려움 - 채점하는데 많은 시간과 노력이 소요됨 - 응답자의 문장력이 검사점수에 영향을 줄 수 있음
검사 도구 및 문항의 제작 - 논술형 문항 채점 시 유의사항 (△) - 모범답안을 미리 작성하고, 채점기준을 사전에 결정해야 한다 - 학생의 인적사항을 모르는 상태에서 채점 (후광효과 배제) - 답안을 문항별로 채점 (학생별X, 순서효과 배제) - 두 사람 이상이 채점한 뒤 평균내는 방식이 좋음
문항분석 - 고전검사이론 - 개념 문항과 검사를 검사 총점에 의하여 분석하는 방법
고전검사이론 - 문항난이도 계산식
고전검사이론 - 모두 정답or오답 문항에 대한 절대평가 및 상대평가에서의 해석 상대평가 상황 : 변별 기능이 없어서 불필요한 문항 절대평가 상황 : 학업성취에 대한 정보를 제공하므로 의미있는 문항
고전검사이론 - 문항변별도 계산식
고전검사이론 - 문항반응분포 개념 (△) 문항별로 오답에 대한 반응이 어떻게 나오고 있는지를 확인 정답지에 50% 정도가 반응하고, 나머지 오답지에 반응이 고르게 분산되어야 바람직한분포
문항분석 - 문항반응이론 개념 문항 하나하하나에 근거하여 문항의 특성을 분석하는 이론
문항반응이론 - 문항난이도 개념 - 문항의 답을 맞힐 확률이 0.5에 해당되는 능력 수준을 표현 - 문항특성곡선이 오른쪽에 있을수록 어려운 문항
문항반응이론 - 문항난이도 (그림)
문항반응이론 - 문항변별도 개념 문항난이도를 나타내는 점에서 문항특성곡선의 기울기
문항반응이론 - 문항변별도 (그림)
문항반응이론 - 문항추측도 개념 능력이 전혀 없는 피험자가 문항의 답을 맞힐 확률
검사결과의 해석 - 규준점수 개념 - 규준에 비추어 피험자의 원점수에 대한 상대적 서열을 나타내는 점수 - 백분위, 표준점수 등
검사결과의 해석 - 표준점수 개념과 종류 - 점수가 정규분포의 형식을 가진다는 가정하에 원점수에 해당하는 상대적 서열을 나타내는 점수 - Z점수와 T점수
검사결과의 해석 - 학업성취도 검사에서 준거의 개념 교사나 교과내용전문가가 해당 내용을 이해하였 다고 가정하는 최저 학습목표
검사결과의 해석 - 준거점수 설정 주요 방법 2가지 Angoff 방법 북마크 방법 *검사도구 내용분석평가에 의한 준거설정방법임
준거점수 설정방법 - Angoff 방법 개념 교사나 평가전문가가 문항을 분석한 후 최소능력 보유 피험자들로 구성 된 가상적 집단에서 어느 정도 비율의 피험자가 문항의 정답을 맞힐 수 있는가를 판정한 다음, 각 문항의 답을 맞힐 피험자 비율의 합을 준거점 수로 설정하는 방법
준거점수 설정방법 - Angoff 방법 장단점 장점 : 절차가 간단하고 문항을 맞힐 수 있는 확률이 다양하여 선다형이 아닌 문항에도 적용할 수 있음 단점 - 평가전문가가 문항의 내용보다 줄거리,답지에 영향을 받아 문항난이도가 과소, 과대추정될 수 있음 - 교사나 평가전문가가 문항의 내용에 집중하기보다 답지의 분석 등에 의해 평가를 내릴 수 있음
준거점수 설정방법 - 북마크방법 주요 절차 - 준거설정자들을 몇 개의 소집단으로 나누고, 소집단별로 각 평가자 는 합격 -불합격의 경계선상에 있는 피험자가 맞힐 수 있는 문항들 중 가장 어려운 문항과 맞히지 못할 문항들 중에서 가장 쉬운 문항 사이에 경계선(북마크)를 설정하도록 함 - 전체 준거설정자가 모여 자신의 북마크에 관한 의견을 교환하고 각자 문제집에 최종적 북마크를 설정하여 제출함