Начальная школа
<<  Проведение мониторинга достижений планируемых результатов обучения в начальной школе Как вставить мелодию в 2010  >>
Влияние характеристик образовательной среды на результаты обучения в
Влияние характеристик образовательной среды на результаты обучения в
Цели презентации
Цели презентации
Цель SAM: оценивание предметных компетенций учащихся начальной школы
Цель SAM: оценивание предметных компетенций учащихся начальной школы
Особенности инструмента SAM:
Особенности инструмента SAM:
Реализация теоретической модели SAM
Реализация теоретической модели SAM
Структура теста
Структура теста
Проверка качества: апробационное тестирование
Проверка качества: апробационное тестирование
Характеристики заданий в классической теории тестирования
Характеристики заданий в классической теории тестирования
Связь между надежностью и валидностью
Связь между надежностью и валидностью
Анализ данных апробации (весна 2012 г.) (КТТ, Математика, бланковая
Анализ данных апробации (весна 2012 г.) (КТТ, Математика, бланковая
Иерархия заданий по уровню трудности (математика)
Иерархия заданий по уровню трудности (математика)
Коэффициенты решаемости тестовых заданий в зависимости от их уровня
Коэффициенты решаемости тестовых заданий в зависимости от их уровня
Совместное распределение коэффициентов решаемости и показателей
Совместное распределение коэффициентов решаемости и показателей
Анализ дистракторов заданий закрытой формы с выбором ответа
Анализ дистракторов заданий закрытой формы с выбором ответа
Анализ в современной теории тестирования IRT
Анализ в современной теории тестирования IRT
Карта переменных (математика, вариант 1)
Карта переменных (математика, вариант 1)
Характеристические кривые двух заданий
Характеристические кривые двух заданий
Выравнивание вариантов
Выравнивание вариантов
Обоснование валидности SAM: основные направления
Обоснование валидности SAM: основные направления
Характеристика различных показателей валидности
Характеристика различных показателей валидности
Валидность конструкта
Валидность конструкта
Проверка второй гипотезы
Проверка второй гипотезы
Оценивание участников тестирования: ступени мастерства
Оценивание участников тестирования: ступени мастерства
Распределение участников тестирования по ступеням достижений в
Распределение участников тестирования по ступеням достижений в
Распределение участников тестирования по ступеням достижений в
Распределение участников тестирования по ступеням достижений в
Исследование прогностической валидности SAM
Исследование прогностической валидности SAM
Распределение оценок учащихся в зависимости от ступени достижений
Распределение оценок учащихся в зависимости от ступени достижений
Оценивание участников тестирования
Оценивание участников тестирования
Разработка методики оценивания участников тестирования
Разработка методики оценивания участников тестирования
Создание единой шкалы для представления результатов тестирования
Создание единой шкалы для представления результатов тестирования
Ступень 3
Ступень 3
Интерпретация пороговых оценок
Интерпретация пороговых оценок
Распределение участников апробации 2012г
Распределение участников апробации 2012г
Различная степень достижения ступеней
Различная степень достижения ступеней
Распределение участников тестирования по ступеням (математика)
Распределение участников тестирования по ступеням (математика)
Первичный анализ данных тестирования - был проведен на базе данных
Первичный анализ данных тестирования - был проведен на базе данных
Распределение учащихся по ступеням достижений в зависимости от
Распределение учащихся по ступеням достижений в зависимости от
Нормы выполнения теста
Нормы выполнения теста
Сравнение показателей школ
Сравнение показателей школ
Распределение учащихся разных школ по ступеням достижений (математика)
Распределение учащихся разных школ по ступеням достижений (математика)
Некоторые результаты исследования :
Некоторые результаты исследования :
Сравнение достижений учащихся различных классов одной школы
Сравнение достижений учащихся различных классов одной школы
Исследование характеристик образовательной среды
Исследование характеристик образовательной среды
Размер класса и образовательные результаты
Размер класса и образовательные результаты
Педагогические подходы к преподаванию
Педагогические подходы к преподаванию
Педагогические подходы и образовательные результаты
Педагогические подходы и образовательные результаты
Кластеризация классов
Кластеризация классов
Благодарю за внимание
Благодарю за внимание

Презентация: «Влияние характеристик образовательной среды на результаты обучения в начальной школе». Автор: Admin. Файл: «Влияние характеристик образовательной среды на результаты обучения в начальной школе.pptx». Размер zip-архива: 810 КБ.

Влияние характеристик образовательной среды на результаты обучения в начальной школе

содержание презентации «Влияние характеристик образовательной среды на результаты обучения в начальной школе.pptx»
СлайдТекст
1 Влияние характеристик образовательной среды на результаты обучения в

Влияние характеристик образовательной среды на результаты обучения в

начальной школе (на основе SAM - Student Achievement Monitoring)

Карданова Е.Ю. НИУ ВШЭ 2013

2 Цели презентации

Цели презентации

Рассказать про SAM Представить психометрические характеристики тестовых заданий и тестов Представить свидетельства валидности Описать методику оценивания и шкалирования участников тестирования SAM Проанализировать факторы, влияющие на результаты

3 Цель SAM: оценивание предметных компетенций учащихся начальной школы

Цель SAM: оценивание предметных компетенций учащихся начальной школы

по математике и русскому языку

Отличительная черта SAM : модель оценивания основана на теории Л. Выготского и предполагает оценивание компетенций учащихся на трех базовых уровнях: формальном, рефлексивном и функциональном

4 Особенности инструмента SAM:

Особенности инструмента SAM:

SAM выполняет две функции: а) измерения учебной успешности и б) диагностики уровня освоения материала Для каждого раздела учебного предмета разрабатываются задачи, соответствующие критериям трех уровней (формального, рефлексивного и функционального) Каждый такой блок выполняет функцию детектора, определяющего качественный уровень усвоения соответствующего раздела учебной программы Разработка блоков опирается на систему индикаторов (типологию задач), соответствующую обобщенным критериям уровней освоения способа действия

5 Реализация теоретической модели SAM

Реализация теоретической модели SAM

В рамках модели SAM разработаны тесты по двум предметам – математике и русскому языку – имеющие общую структуру Тесты рассчитаны на выпускников начальной школы и могут выполняться учащимися 4-го и 5-го классов. Тест включает основные разделы содержания, представленные в программах для начальной школы Структурной единицей теста является блок из трех заданий (1?го, 2?го и 3?го уровня), соответствующий одному разделу предметного содержания. Задачи предъявляются блоками. Используются задания открытой формы с кратким ответом, закрытой с выбором одного ответа из 4-5 предложенных, задания на установление соответствия, требующие построений и другие. Для оценивания заданий используется дихотомическая оценка: за правильный ответ ученик получает 1 балл, за неправильный ответ (или отсутствие ответа) – 0 баллов.

6 Структура теста

Структура теста

7 Проверка качества: апробационное тестирование

Проверка качества: апробационное тестирование

Цель – проверка функционирования заданий (анализ тестовых заданий) и всего теста в целом, исследование системообразующих свойств теста, оценивание его надежности и валидности

8 Характеристики заданий в классической теории тестирования

Характеристики заданий в классической теории тестирования

Трудность задания (коэффициент решаемости): доля испытуемых, выполнивших задание верно (получивших 1 балл за выполнение задания для дихотомических заданий определяется) Дискриминативность (дифференцирующая способность задания): способность задания различать испытуемых с различным уровнем подготовки.

9 Связь между надежностью и валидностью

Связь между надежностью и валидностью

Надежность – характеристика точности и устойчивости результатов оценки Валидность – характеристика пригодности оценочной информации для принятия правильных решений на ее основе

10 Анализ данных апробации (весна 2012 г.) (КТТ, Математика, бланковая

Анализ данных апробации (весна 2012 г.) (КТТ, Математика, бланковая

форма, более 5000 учащихся)

Все задания имеют удовлетворительные показатели коэффициенты решаемости заданий находятся в промежутке от 0,16 до 0,98 4 задания 1-го уровня обладают низкой дискриминативностью (это объясняется их легкостью - эти задания выполняют более 90% испытуемых).

1 вариант

2 вариант

Число испытуемых

3018

2941

Средний первичный балл

26

27

Стандартное отклонение

8.37

8.55

Коэффициент асимметрии

-0.21

-0.37

Коэффициент эксцесса

-0.56

-0.36

Средний коэффициент решаемости

0.59

0.61

Средний индекс дискриминативности

0.44

0.46

Средний скор. коэф. точ.-бис. корреляции

0.39

0.39

Показатель надежности (KR20)

0.90

0.91

Стандартная ошибка измерения

2.61

2.61

11 Иерархия заданий по уровню трудности (математика)

Иерархия заданий по уровню трудности (математика)

Задания трех уровней, относящиеся к одному блоку, должны образовывать иерархию по трудности

12 Коэффициенты решаемости тестовых заданий в зависимости от их уровня

Коэффициенты решаемости тестовых заданий в зависимости от их уровня

(математика)

Кол-во заданий

Кол-во заданий

Уровень трудности

Уровень трудности

Уровень трудности

Уровень трудности

Среднее значение

Ст. отклон.

Миним. значение

Максим. значение

Задания 1-го уровня

15

0,86

0,07

0,73

0,98

Задания 2-го уровня

15

0,60

0,09

0,46

0,73

Задания 3-го уровня

15

0,30

0,09

0,16

0,45

Всего

45

0,59

0,25

0,16

0,98

Содержательная область

Весь тест

1-й уровень

2-й уровень

3-й уровень

Числа и вычисления

0,61

0,91

0,64

0,29

Измерение величин

0,59

0,85

0,58

0,35

Закономерности

0,59

0,86

0,61

0,29

Зависимости

0,58

0,85

0,64

0,25

Элементы геометрии

0,51

0,82

0,49

0,20

13 Совместное распределение коэффициентов решаемости и показателей

Совместное распределение коэффициентов решаемости и показателей

дискриминативности (математика, вариант 1)

14 Анализ дистракторов заданий закрытой формы с выбором ответа

Анализ дистракторов заданий закрытой формы с выбором ответа

Задание М-М-03-1-2

Задание М-М-03-1-2

Задание М-М-03-1-2

Задание М-М-03-1-2

Задание М-М-03-1-2

Варианты ответов

А

Б*

В

Г

Распределение ответов испытуемых

11%

66%

7%

6%

Коэффициент корреляции

-0,22

0,54

-0,29

-0,23

Задание L- F-2-02-1-2

Задание L- F-2-02-1-2

Задание L- F-2-02-1-2

Задание L- F-2-02-1-2

Задание L- F-2-02-1-2

Варианты ответов

А

Б

В*

Г

Распределение ответов испытуемых

17%

8%

61%

12%

Коэффициент корреляции

-0,09

-0,29

0,25

0,01

15 Анализ в современной теории тестирования IRT

Анализ в современной теории тестирования IRT

тесты могут быть признаны существенно одномерными тесты оптимальны по трудности и хорошо центрированы относительно контингента тестируемых абсолютное большинство заданий демонстрируют хорошие психометрические показатели и хорошее согласие с используемой моделью измерения Таким образом, тесты SAM могут быть признаны качественными измерительными инструментами математической и языковой компетенций учащихся начальной школы.

16 Карта переменных (математика, вариант 1)

Карта переменных (математика, вариант 1)

17 Характеристические кривые двух заданий

Характеристические кривые двух заданий

Задание очень трудное, 3-го уровня (выполнили 19% участников тестирования)

Задание 2-го уровня, средней трудности

18 Выравнивание вариантов

Выравнивание вариантов

Метод общих заданий Процедура: отдельная калибровка с фиксацией общих параметров и отражением всех параметров на общей шкале

19 Обоснование валидности SAM: основные направления

Обоснование валидности SAM: основные направления

Валидность по содержанию, Валидность конструкта Критериальная валидность (текущая и прогностическая)

20 Характеристика различных показателей валидности

Характеристика различных показателей валидности

Показатель валидности по содержанию характеризует меру адекватности тестовых материалов проверяемой компетенции показатель валидности конструкта устанавливает меру согласованности результатов тестирования с психологической моделью тестируемой способности показатель критериальной валидности фиксирует меру согласованности результатов тестирования с известными объективными критериями

21 Валидность конструкта

Валидность конструкта

В модели SAM основным конструктом, подлежащим верификации, является трехуровневая таксономия освоения учебного содержания, вписанная в возрастной контекст. Этот конструкт связан как минимум с двумя гипотетическими утверждениями, требующими проверки: 1) Задания трех уровней, относящиеся к одному блоку и отвечающие теоретически заданным критериям трех уровней, должны обнаруживать соответствующую иерархию по трудности. 2) В начальной школе предметный материал в норме может и должен усваиваться на втором (рефлексивном) уровне, т.е. на уровне понимания. Освоение этого материала на третьем (функциональном) уровне может и должно происходить в рамках основной школы.

22 Проверка второй гипотезы

Проверка второй гипотезы

Исследование проводилось в 2011-2012 гг. В 2011 г. тесты по математике и русскому языку были предложены учащимся 4-х возрастных групп – 4-х, 6-х, 8-х и 10-х классов (тестировались по две параллели в каждой школе). Через год, в 2012 г. те же тесты были предложены тем же учащимся, которые в тот момент были учащимися 5-х, 7-х, 9-х и 11-х классов. Тестирование проходило весной, в конце учебного года Выборка включала около 100 человек в каждой параллели

23 Оценивание участников тестирования: ступени мастерства

Оценивание участников тестирования: ступени мастерства

Ниже первой ступени – не освоен даже первый: учащийся выполняет менее 50% заданий 1-го уровня Первая ступень – освоен первый уровень: учащийся выполняет не менее 50% заданий 1-го уровня Вторая ступень – освоен второй уровень: учащийся выполняет не менее 50% заданий 2-го уровня Третья ступень – освоен третий уровень: учащийся выполняет не менее 50% заданий 3-го уровня

24 Распределение участников тестирования по ступеням достижений в

Распределение участников тестирования по ступеням достижений в

зависимости от класса (математика)

25 Распределение участников тестирования по ступеням достижений в

Распределение участников тестирования по ступеням достижений в

зависимости от класса (русский язык)

26 Исследование прогностической валидности SAM

Исследование прогностической валидности SAM

Исследование проводилось на базе данных апробации тестов SAM в одном из регионов РФ весной 2011 г. Общий объем выборки составил 941 человек из 12 школ. Тестирование проходило в конце 4-го класса, т.е. по окончании начальной школы. Были собраны оценки по математике этих же учащихся в 5-м классе (т.е. через год после проведения тестирования).

Распределение участников тестирования по ступеням достижений (математика)

27 Распределение оценок учащихся в зависимости от ступени достижений

Распределение оценок учащихся в зависимости от ступени достижений

(математика)

Распределение учащихся по ступеням достижений в зависимости от оценки (математика)

Коэффициенты корреляции между тестовым баллом учащихся и их школьными оценками, а также между ступенью, к которой был отнесен учащийся, и его школьной оценкой соответственно равны 0,6 и 0,56.

28 Оценивание участников тестирования

Оценивание участников тестирования

Нормативно-ориентированный подход позволяет сравнить результаты различных участников между собой, а также с ранее полученными результатами. С этой целью каждому участнику тестирования в результате математической обработки результатов присваивается интегральный тестовый балл. Тестовые баллы всех участников тестирования находятся на единой шкале, независимо от времени прохождения теста и конкретного набора выполненных заданий. Критериально-ориентированный подход – обеспечивает возможность качественной оценки усвоения предметного содержания через указание ведущего типа ориентировки в решении задач. Для его реализации был разработан ступенчатый вариант шкалы достижений, основанный на интегральных баллах участников тестирования и пороговых значениях, делящих всех участников на группы, соответствующие различным качественным ступеням достижений .

29 Разработка методики оценивания участников тестирования

Разработка методики оценивания участников тестирования

Выбор модели для оценивания участников тестирования Выбор базовой выборки для создания единой шкалы представления результатов тестирования Создание единой шкалы для представления результатов тестирования Установление пороговых оценок (benchmarks) и интерпретация отдельных уровней достижений Выравнивание результатов последующих тестирований (нанесение всех результатов на созданную ранее единую шкалу) Представление результатов тестирования

30 Создание единой шкалы для представления результатов тестирования

Создание единой шкалы для представления результатов тестирования

Специальное исследование (объем выборки 939 учащихся) Получение оценок мер испытуемых в логитах Выбор подходящего линейного преобразования для перехода на 1000-балльную шкалу Все результаты будущих тестирований будут преобразовываться на эту шкалу с помощью того же линейного преобразования

31 Ступень 3

Ступень 3

Ожидается, что ученик А выполнит, по крайней мере, 50% заданий 3-го уровня

Задания 3-го уровня

570

Ожидается, что ученик В выполнит, по крайней мере, 50% заданий 2-го уровня

Ступень 2

Задания 2-го уровня

500

Ожидается, что ученик С выполнит, по крайней мере, 50% заданий 1-го уровня

Ступень1

Задания 1-го уровня

430

Ожидается, что ученик D не сможет выполнить даже 50% заданий 1-го уровня

Ниже 1-ой ступени

Шкала математической компетенции

Ученик A

Ученик B

Ученик C

Ученик D

32 Интерпретация пороговых оценок

Интерпретация пороговых оценок

Пороги: 430 (граница между 0 и 1 ступенями) 500 (граница между 1 и 2 ступенями) 570 (граница между 1 и 2 ступенями)

33 Распределение участников апробации 2012г

Распределение участников апробации 2012г

по ступеням достижений (математика, около 5000 человек)

В настоящее время установлены следующие пороговые оценки для математики: переход со ступени 0 на ступень 1 – 430 баллов; со ступени 1 на ступень 2 – 500 баллов; со ступени 2 на ступень 3 – 570 баллов.

34 Различная степень достижения ступеней

Различная степень достижения ступеней

Степень достижения ступени может быть различной: учащийся может только-только достигнуть ступени, «зацепиться» за нее, а может уже ее освоить, т.е. стоять на ней уверенно. Ступень считается достигнутой, если, по крайней мере, 50% заданий данного уровня выполнены правильно. Будем считать, что ступень не только достигнута, но и освоена, если правильно выполнены не менее 75% заданий данного уровня. Такая интерпретация результатов тестирования позволит выделить учащихся, уверенно стоящих на ступени и готовых к переходу на следующую ступень.

35 Распределение участников тестирования по ступеням (математика)

Распределение участников тестирования по ступеням (математика)

1

1

1725

1725

29

29

Достиг

665

11

39

Освоил

1060

18

61

2

2

2974

2974

50

50

Достиг

1864

32

63

Освоил

1110

18

37

3

3

1124

1124

19

19

Достиг

760

13

68

Освоил

364

6

32

Ступень

Всего человек

Процент

Степень освоения

Всего человек

Процент от общего

Процент от ступени

36 Первичный анализ данных тестирования - был проведен на базе данных

Первичный анализ данных тестирования - был проведен на базе данных

апробации тестов SAM в одном из регионов РФ весной 2012 г. - были протестированы практически все учащиеся 4-го класса начальной школы данного региона: общий объем выборки составил 4406 человек по математике и 4385 по русскому языку.

37 Распределение учащихся по ступеням достижений в зависимости от

Распределение учащихся по ступеням достижений в зависимости от

предмета

Профиль образовательных результатов по математике для данной выборки учащихся (средние проценты решенных задач в зависимости от уровня).

38 Нормы выполнения теста

Нормы выполнения теста

Среднестатистическая групповая норма – средний по школам показатель выполнения теста и его стандартное отклонение Социокультурная норма – средний показатель группы школ-лидеров

Среднее значение

Стандартное отклонение

Математика

517

34

Русский язык

499

36

Тестовый балл

Математика

561

Русский язык

543

39 Сравнение показателей школ

Сравнение показателей школ

тестовый балл МАТЕМАТИКА

Mean

558

507

568

504

Std. Deviation

29,8

31,1

20,7

27,0

Minimum

491,5

429,1

543,0

429,1

Maximum

639,1

584,0

639,1

542,3

тестовый балл РУССКИЙ

Mean

549,9

483,3

541,2

486,2

Std. Deviation

16,6

30,3

25,9

33,8

Minimum

532,6

338,0

480,0

338,0

Maximum

606,1

531,8

606,1

576,7

Descriptives

Русский язык

Математика

Математика

Социокультурная норма

Остальные школы

Социокультурная норма

Остальные школы

40 Распределение учащихся разных школ по ступеням достижений (математика)

Распределение учащихся разных школ по ступеням достижений (математика)

41 Некоторые результаты исследования :

Некоторые результаты исследования :

Результат SAM статистически значимо зависит от типа населенного пункта: учащиеся городов и поселков выполняют тест лучше, чем учащиеся сельской местности Результат SAM статистически значимо зависит от пола участника: девочки выполняют тест лучше, чем мальчики Результат SAM статистически значимо зависит от типа учебного заведения: учащиеся гимназий выполняют тест лучше, чем учащиеся общеобразовательных школ

42 Сравнение достижений учащихся различных классов одной школы

Сравнение достижений учащихся различных классов одной школы

Русский язык (вверху) Математика (справа)

43 Исследование характеристик образовательной среды

Исследование характеристик образовательной среды

Выборка: Один регион РФ весна 2012 Учащиеся 4-го класса: Математика - 4406 Русский язык - 4385

44 Размер класса и образовательные результаты

Размер класса и образовательные результаты

Малые классы более однородны – больший процент учащихся на ступенях 1 и 2 Большие классы имеют больший процент в крайних категориях

45 Педагогические подходы к преподаванию

Педагогические подходы к преподаванию

Traditional

Constructivist

Конструкти-висткий

Традицион-ный

Задания

22

16

KR-20 надежность

0,82

0,69

Среднее значение

1,54

-,23

Станд. отклонение

1,075

,667

Correlation -,204** is significant at the 0.05 (2-tailed)

46 Педагогические подходы и образовательные результаты

Педагогические подходы и образовательные результаты

Pearson Correlation

Конструктивистский подход ассоциируется с лучшими образовательными результатами Традиционный подход имет отрицательную связь или не имеет связи с результатами

Test score Russian language

Test score Mathematics

Below 1 level

1 level

2 level

3 level

Constructivist

,235**

,256**

-,117

-,226**

,065

,294**

Traditional

-,163*

-,110

,006

,138*

-,079

-,126

**. Correlation is significant at the 0.01 (2-tailed) *. Correlation is significant at the 0.05 (2-tailed)

**. Correlation is significant at the 0.01 (2-tailed) *. Correlation is significant at the 0.05 (2-tailed)

**. Correlation is significant at the 0.01 (2-tailed) *. Correlation is significant at the 0.05 (2-tailed)

**. Correlation is significant at the 0.01 (2-tailed) *. Correlation is significant at the 0.05 (2-tailed)

**. Correlation is significant at the 0.01 (2-tailed) *. Correlation is significant at the 0.05 (2-tailed)

**. Correlation is significant at the 0.01 (2-tailed) *. Correlation is significant at the 0.05 (2-tailed)

**. Correlation is significant at the 0.01 (2-tailed) *. Correlation is significant at the 0.05 (2-tailed)

47 Кластеризация классов

Кластеризация классов

Сравнение кластеров

3

3

3

2

2

1

Кластер

Подход

Кластер

> Constructivist, < Traditional

2

> Constructivist

1

> Constructivist

Малые классы

> Constructivist

1

=

Малые классы

=

Малые классы

*. The mean difference is significant at the 0.05 level

*. The mean difference is significant at the 0.05 level

*. The mean difference is significant at the 0.05 level

48 Благодарю за внимание

Благодарю за внимание

Карданова Елена Юрьевна: e_kardanova@mail.ru

«Влияние характеристик образовательной среды на результаты обучения в начальной школе»
http://900igr.net/prezentacija/pedagogika/vlijanie-kharakteristik-obrazovatelnoj-sredy-na-rezultaty-obuchenija-v-nachalnoj-shkole-137267.html
cсылка на страницу
Урок

Педагогика

135 тем
Слайды
900igr.net > Презентации по педагогике > Начальная школа > Влияние характеристик образовательной среды на результаты обучения в начальной школе