Оценка персонала
<<  Показатели оценки результата: варианты формулировок Многофункциональный центр прикладных квалификаций  >>
ВЕБИНАР 13 Интерпретация и представление результатов оценки качества
ВЕБИНАР 13 Интерпретация и представление результатов оценки качества
Интерпретация и представление результатов определяется
Интерпретация и представление результатов определяется
Основные пользователи результатов ЭКЗАМЕНОВ МОНИТОРИНГОВ
Основные пользователи результатов ЭКЗАМЕНОВ МОНИТОРИНГОВ
NAPLAN, Австралия
NAPLAN, Австралия
NAPLAN, Австралия
NAPLAN, Австралия
Мониторинг в начальной школе, Россия
Мониторинг в начальной школе, Россия
NAEP, США Результаты по уровням достижений
NAEP, США Результаты по уровням достижений
Мониторинг в начальной школе, Россия
Мониторинг в начальной школе, Россия
NAEP, США Результаты по уровням достижений
NAEP, США Результаты по уровням достижений
NAPLAN 2012, Австралия
NAPLAN 2012, Австралия
Информация для управленцев
Информация для управленцев
Сингапур
Сингапур
США
США
Об использовании результатов ЕГЭ
Об использовании результатов ЕГЭ
Интерпретация результатов ЕГЭ Вопросы, которые предлагается обсудить:
Интерпретация результатов ЕГЭ Вопросы, которые предлагается обсудить:
?
?
Интерпретация результатов определяется с одной стороны запросами
Интерпретация результатов определяется с одной стороны запросами
Интерпретация результатов оценочных процедур
Интерпретация результатов оценочных процедур
Средний балл ЕГЭ – наиболее распространённый и принятый в системе
Средний балл ЕГЭ – наиболее распространённый и принятый в системе
Использование средней величины допускается только после оценки её
Использование средней величины допускается только после оценки её
50
50
?
?
Два уровня освоения образовательного стандарта (ЕГЭ-2013) по методике
Два уровня освоения образовательного стандарта (ЕГЭ-2013) по методике
Сравнение 100-балльных шкал по среднепро-центильным рангам, или что
Сравнение 100-балльных шкал по среднепро-центильным рангам, или что
Пример сравнения результатов ЕГЭ двух школ:
Пример сравнения результатов ЕГЭ двух школ:
!
!
!
!
!
!
!
!
!
!
!
!
Интерпретация результатов ЕГЭ для учителя
Интерпретация результатов ЕГЭ для учителя
Пример интерпретации результатов ЕГЭ для учителя
Пример интерпретации результатов ЕГЭ для учителя
Интерпретация результатов ЕГЭ для школы (администрация, педколлектив,
Интерпретация результатов ЕГЭ для школы (администрация, педколлектив,
Пример интерпретации результатов ЕГЭ для ШКОЛЫ
Пример интерпретации результатов ЕГЭ для ШКОЛЫ
Интерпретация результатов ЕГЭ для управления образовательными
Интерпретация результатов ЕГЭ для управления образовательными
Пример интерпретации результатов ЕГЭ школ в пределах одного из
Пример интерпретации результатов ЕГЭ школ в пределах одного из
Равенство доступа к образованию соответствующего качества
Равенство доступа к образованию соответствующего качества
Опыт подготовки рекомендаций по анализу и интерпретации результатов
Опыт подготовки рекомендаций по анализу и интерпретации результатов
Региональный отчёт по результатам оценочной процедуры – как сделать
Региональный отчёт по результатам оценочной процедуры – как сделать
Примеры региональных отчётов по результатам ЕГЭ-2012
Примеры региональных отчётов по результатам ЕГЭ-2012
Сильные стороны:
Сильные стороны:
Анализ результатов ЕГЭ и ГИА по региону, муниципалитету,
Анализ результатов ЕГЭ и ГИА по региону, муниципалитету,
Ваши вопросы
Ваши вопросы

Презентация на тему: «Интерпретация и представление результатов оценки качества образования для разных групп пользователей». Автор: PR. Файл: «Интерпретация и представление результатов оценки качества образования для разных групп пользователей.pptx». Размер zip-архива: 7967 КБ.

Интерпретация и представление результатов оценки качества образования для разных групп пользователей

содержание презентации «Интерпретация и представление результатов оценки качества образования для разных групп пользователей.pptx»
СлайдТекст
1 ВЕБИНАР 13 Интерпретация и представление результатов оценки качества

ВЕБИНАР 13 Интерпретация и представление результатов оценки качества

образования для разных групп пользователей 25 июня 2013 года

Российский тренинговый центр Института управления образованием РАО

Болотов, В.А., вице-президент РАО Боченков С.А., эксперт Независимого агентства оценки качества образования «Лидер», г. Чебоксары Вальдман И.А., директор Российского Тренингового центра ИУО РАО

2 Интерпретация и представление результатов определяется

Интерпретация и представление результатов определяется

Потребителями информации (их запросами, вариантами использования результатов и технической квалификацией пользователей в понимании результатов) Целями и особенностями оценочной процедуры (например, оценка проводится на выборке или ген. совокупности) …

3 Основные пользователи результатов ЭКЗАМЕНОВ МОНИТОРИНГОВ

Основные пользователи результатов ЭКЗАМЕНОВ МОНИТОРИНГОВ

4 NAPLAN, Австралия

NAPLAN, Австралия

Индивидуальный отчёт по ученику. Информация для ученика и родителей

www.nap.edu.au

Диапазон средних результатов 60% учащихся 3 класса Австралии

Индивидуальный отчёт включает: Графическое представление результатов ученика в сравнение со школой и страной Краткую характеристику заданий по каждой области оценки Описание навыков, оцениваемых на каждом уровне и по каждой области оценки

Результат ученика

Средний результат по школе

Средний результат по стране

Чтение

Доказательное письмо

5 NAPLAN, Австралия

NAPLAN, Австралия

Сравнение в кластере. Информация для школы

6 Мониторинг в начальной школе, Россия

Мониторинг в начальной школе, Россия

Структура освоения планируемых результатов обучения. Информация для учителя и школы

Процент выполнения заданий теста по указанным темам (данные по образовательному учреждению на фоне данных по городу или субъекта РФ)

Данная диаграмма дополняется перечнем проверяемых учебных тем

7 NAEP, США Результаты по уровням достижений

NAEP, США Результаты по уровням достижений

Информация для управленцев

Лос Анжелес, математика, 4 класс

http://nces.ed.gov/nationsreportcard/

8 Мониторинг в начальной школе, Россия

Мониторинг в начальной школе, Россия

Распределение результатов по уровням достижений по регионам. Информация для управленцев

Распределение учащихся 4 класса по уровням достижения по математике в соответствии с ФГОС начальной школы

9 NAEP, США Результаты по уровням достижений

NAEP, США Результаты по уровням достижений

Информация для управленцев

Лос Анжелес, математика, 4 класс

Уровень дохода

Этнические группы

10 NAPLAN 2012, Австралия

NAPLAN 2012, Австралия

Сравнение регионов страны. Информация для управленцев

Сравнение результатов по чтению учащихся 3 класса по штатам и территориям страны

11 Информация для управленцев

Информация для управленцев

TIMSS 2007 Сравнение результатов стран

12 Сингапур

Сингапур

Роль национальных экзаменов и представление результатов

Учебные достижения на сайте школы

Распределение учащихся по наиболее подходящим им образовательным маршрутам

Результаты экзамена получает сугубо ученик по почте или на сайте

http://www.balestierhillsec.moe.edu.sg

13 США

США

Информационная карта школы (School report card). Тест штата Северная Каролина

Тенденция за 3 года

Доля учащихся, получивших балл в тесте штата на уровне класса или выше

Доля учащихся, сдавших тест штата по математике и чтению, по группам.

Доля учащихся, получивших балл в тесте штата по математике на уровне класса или выше

http://www.ncschoolreportcard.org/src/schDetails.jsp?Page=2&pSchCode=305&pLEACode=050&pYear=2011-2012

7 класс

7 класс

8 класс

8 класс

Всего

Всего

Чтение

Матем

Чтение

Матем

Чтение

Матем

Наша школа

76.7%

90.0%

76.8%

89.2%

76.7%

89.6%

Число сдававших

270

269

280

279

550

548

Школьный округ

76.7%

90.0%

76.8%

89.2%

75.0%

89.1%

Штат

68.2%

81.1%

71.1%

85.2%

71.2%

82.8%

Все

Male

Female

White

Black

Hispanic

American Indian

Asian

Pacific Islander

Two or More Races

E.D.

N.E.D.

L.E.P.

Migrant Students

Students with Disabilities

Наша школа

75.0%

71.4%

78.5%

75.6%

N/A

65.6%

N/A

N/A

N/A

87.5%

67.6%

87.1%

22.2%

N/A

28.4%

Число сдававших

548

269

279

504

N/A

32

N/A

N/A

N/A

8

339

209

9

N/A

81

Школьный округ

72.8%

67.1%

78.9%

73.7%

83.3%

62.1%

N/A

71.4%

N/A

75.0%

65.6%

84.8%

29.3%

44.4%

40.1%

Штат

67.5%

65.0%

70.1%

79.3%

49.4%

55.1%

55.3%

79.1%

64.1%

69.7%

54.2%

84.1%

31.7%

42.8%

33.8%

14 Об использовании результатов ЕГЭ

Об использовании результатов ЕГЭ

Собственно результаты ЕГЭ без привлечения других данных могут использоваться лишь для двух целей – завершения обучения в школе и отбор кандидатов для продолжения обучения в вузе. При оценке деятельности учителя, школы и образовательных систем результаты ЕГЭ могут использоваться лишь в сочетании с другими данными, характеризующими различные результаты деятельности. Корректная интерпретации результатов ЕГЭ позволяет использовать их для управления качеством образования.

15 Интерпретация результатов ЕГЭ Вопросы, которые предлагается обсудить:

Интерпретация результатов ЕГЭ Вопросы, которые предлагается обсудить:

Что мы понимаем под «результатами ЕГЭ»? Общие подходы к интерпретации результатов оценочных процедур. Средний балл ЕГЭ – наиболее распространённый и принятый показатель, отражающий образовательные результаты. Риски использования. Если не средний балл, то что? Анализ практики использования различных показателей результатов ЕГЭ: группировка, назначение, ограничения и риски использования. Примеры интерпретации результатов оценочных процедур (на примере ЕГЭ) для разных групп пользователей (для учителя, для школы, для системы образования). Региональный отчёт по результатам оценочной процедуры – как сделать эго максимально информативным и полезным?

1

2

3

4

5

16 ?

?

Что такое «результаты ЕГЭ»? Всё зависит от точки зрения...

Учитель

Общество

Сми

Исследователи

Руководитель сети школы

Директор школы

Индивидуальный результат выпускника по предмету – балл по 100-балльной шкале и решаемость заданий

Хорошие результаты ЕГЭ для учителя – это чтобы все учащиеся сдали ЕГЭ хорошо… а именно: Чтобы все, кто подготовились к экзамену по предмету, пошли на экзамен, а неподготовлен-ные не ходили. Чтобы все кто пошли успешно сдали ЕГЭ (преодолели минимальный порог 100%) и получили результаты лучше, чем у других учителей и школ. Чтобы результаты ЕГЭ были адекватны текущим оценкам, которые выставил учитель.

Хорошие результаты ЕГЭ для муниципалитета – это чтобы все учащиеся школ территории сдали ЕГЭ хорошо… а именно: Чтобы все выпускники, допущенные до итоговой аттестации успешно сдали экзамены и получили документы об образовании. Чтобы профиль школ сети подтверждался результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Чтобы различия в результатах ЕГЭ между школами были меньше, чем между результатами внутри школ. Чтобы не было нарушений процедуры и аномальных результатов

Хорошие результаты ЕГЭ для школы – это чтобы все учащиеся школы сдали ЕГЭ хорошо… а именно: Чтобы все выпускники, допущенные к ЕГЭ получили аттестат и полноценное свидетельство о результатах ЕГЭ. Чтобы спектр выбора выпускниками предметов соответствовал профилю школы. Чтобы результаты по профильным предметам были высокими в сравнении с аналогичными школами.

17 Интерпретация результатов определяется с одной стороны запросами

Интерпретация результатов определяется с одной стороны запросами

группы пользователей, с другой – источниками данных

Запросы разных групп пользователей о результатах оценочной процедуры Участники и их родители Учителя Администрация школы Органы управления образованием Методические службы Родители, выбирающие школу СМИ, местное сообщество

Источники данных о результатах оценочной процедуры и об условиях организации образовательного процесса Протоколы результатов ЕГЭ (ГИА) Регламент оценочной процедуры Спецификации и кодификаторы КИМов Кодификатор школ региона _____________________________ Программа развития школы (региона) Данные других оценочных процедур и мониторингов

Информационные продукты, содержащие интерпретацию результатов оценочной процедуры Свидетельство о результатах ЕГЭ Региональный отчёт по итогам оценки. Специализированный отчёт (по предмету, группе учащихся, по школе, по группе школ). Аналитическая записка для министра. Информационный буклет для родителей. Пресс-релиз

18 Интерпретация результатов оценочных процедур

Интерпретация результатов оценочных процедур

Основные фиксации:

Анализ и интерпретация результатов оценочной процедуры определяется с одной стороны запросами группы потенциальных пользователей, с другой – доступными источниками данных. Запросы на аналитические материалы по результатам оценочной процедуры разные и зависят от точки принятия управленческих решений, т.е. понимание результата оценочной процедуры на каждом уровне управления и под каждый запрос может быть различным. Для адресной подготовки аналитики необходимо максимально точное понимание того, на какие именно вопросы хотели бы получить ответы представители данной группы пользователей и каковы критерии (характеристики) качества объекта оценки. Для каждой группы пользователей необходимо применять особую модель анализа и интерпретации результатов оценочной процедуры и свою систему ключевых показателей. Показатели должны отражать состояние того участка работы и в таком ракурсе, в котором работает управленец, т.к. ориентируясь на эти показатели он не только выстраивает свою деятельность, но и использует все имеющиеся в его распоряжении ресурсы для воздействия на эти показатели.

19 Средний балл ЕГЭ – наиболее распространённый и принятый в системе

Средний балл ЕГЭ – наиболее распространённый и принятый в системе

образования РФ показатель, отражающий образовательные результаты.

Сопоставление результатов ЕГЭ по школе с результатами по муниципалитету, регионе, стране

Динамика результатов ЕГЭ по региону за три года

Самарская область http://www.edc.samara.ru/~school120/ege.htm

Чувашия http://ege21.ru/ege/metod/egeh_2012_chuvashija_statisticheskij_sbornik_2_ver.pdf, стр.48.

20 Использование средней величины допускается только после оценки её

Использование средней величины допускается только после оценки её

типичности и надёжности. Как оценить типичность и надёжность средней?

Средняя величина должна быть типичной, т. е. должна отражать основную совокупность, из которой она получена. Типичность средней величины обратно-пропорциональна степени колеблемости (рассеянности) измеряемой величины. Чем более рассеян ряд, тем менее типична средняя. Чем больше число измерений составляет совокупность, тем надёжнее средняя.

21 50

50

16,4%

56,6%

На практике мало кто задумывается, что такое однородность и продолжает считать «среднюю температуру по больнице»…

28,3

8,2

Средний балл

Стандартное отклонение

Коэффициент вариации

22 ?

?

Средние величины и шкалирование. Совпадают ли шкалы оценочных процедур?

Какие выводы можно сделать об уровне подготовки, сравнивая результаты по двум предметам?

Средний балл по математике по РФ= 44,6

Средний балл по русскому языку = 61,1

Если тесты по двум предметам сопоставимы по сложности и шкалы выровнены, то уровень подготовки по русскому всех выпускников страны в среднем выше, чем по математике. Если тесты по двум предметам не выровнены по сложности, то возможно несколько вариантов: Уровень подготовки по русскому выше, чем по математике. Уровень подготовки по математике выше, чем по русскому языку, просто тест сложнее. Уровень подготовки по двум предметам примерно равный.

23 Два уровня освоения образовательного стандарта (ЕГЭ-2013) по методике

Два уровня освоения образовательного стандарта (ЕГЭ-2013) по методике

ФИПИ

«…Указанная процедура позволяет согласовывать тестовые баллы одинаково подготовленных участников 2011 — 2013 гг. и обеспечивает сравнительную сопоставимость результатов экзамена по годам». http://www.ege.edu.ru/ru/main/scaling/

Предмет

Русский язык

17 из 64 (36 из 100)

54 из 64 (73 из 100)

Математика

5 из 32 (24 из 100)

15 из 32 (63 из 100)

Обществознание

15 из 59 (39 из 100)

48 из 59 (72 из 100)

История

13 из 58 (32 из 100)

47 из 58 (72 из 100)

Физика

11 из 51(36 из 100)

33 из 51 (62 из 100)

Химия

14 из 65 (36 из 100)

58 из 65 (80 из 100)

Биология

17 из 69 (36 из 100)

60 из 69 (79 из 100)

География

14 из 53 (37 из 100)

43 из 53 (69 из 100)

Информатика

8 из 40 (40 из 100)

35 из 40 (84 из 100)

Иностранные языки

16 из 80 (20 из 100)

65 из 80 (82 из 100)

Литература

8 из 42 (32 из 100)

36 из 42 (73 из 100)

ПБ1 (в скобках ТБ1 – балл по 100-балльной шкале)

ПБ2 (в скобках ТБ2 – балл по 100-балльной шкале)

ПБ2 - наименьший первичный балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания

ПБ1 - наименьший первичный балл, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по соответствующему общеобразовательному предмету

24 Сравнение 100-балльных шкал по среднепро-центильным рангам, или что

Сравнение 100-балльных шкал по среднепро-центильным рангам, или что

лежит в основе сравнения среднего балла ЕГЭ между предметами

Соотношение 100-балльной шкалы и уровней освоения образовательного стандарта (РФ, ЕГЭ-2013)

70 баллов

Средний балл по 100-балльной шкале недопустимо использовать как при сравнении результатов между предметами, так и для оценки динамики по годам!!!

84

82

80

79

73

72

63

62

40

39

36

36

36

36

24

20

© С.А. Боченков

25 Пример сравнения результатов ЕГЭ двух школ:

Пример сравнения результатов ЕГЭ двух школ:

(Математика 63 + физика 62 + русский 73) / 3 = 66,0

(Русский 73 + биология 79 + химия 80) / 3 = 77,3

Профиль школы

Кол-во выпускников

Средний балл ЕГЭ, при условии, что все выпускники все предметы сдали с одинаковым результатом, равным ТБ2

Вывод о результатах профильной подготовки

Вывод об эффективности вузов, по качеству подготовки поступивших в них выпускников этих школ

Школа с инженерным профилем (математика, физика + русский язык)

30

При одинаковом качестве подготовки (равном ТБ2 -балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания ) средний балл инженерного класса оказывается НИЖЕ показателя медицинского класса на 11,3 балла или на 17%

При одинаковом качестве подготовки (равном ТБ2 -балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно, о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания ) средний балл инженерного класса оказывается НИЖЕ показателя медицинского класса на 11,3 балла или на 17%

Все выпускники поступили в соответствующие профильные вузы на инженерное и медицинское направление подготовки. Таким образом, медицинский вуз оказывается на 17% лучше инженерного по показателю среднего балла, при этом качество подготовки абитуриентов не отличается, а разницу определяет невыровненная стобалльная шкала

Все выпускники поступили в соответствующие профильные вузы на инженерное и медицинское направление подготовки. Таким образом, медицинский вуз оказывается на 17% лучше инженерного по показателю среднего балла, при этом качество подготовки абитуриентов не отличается, а разницу определяет невыровненная стобалльная шкала

Школа с медицинским профильным (биология, химия + русский язык)

30

26 !

!

?

Х

Если не средний балл, то что? Какие показатели имеет смысл использовать при анализе результатов ЕГЭ?

Условные знаки:

Анализ практики использования разных показателей результатов ЕГЭ

- Показатель малоинформативен или имеет большие ограничения при использовании

- Показатель содержит ошибку, приводит к ошибочным суждениям

- Показатель информативен при грамотном применении

27 !

!

Х

?

Х

Группа показателей характеризующих распространения процедуры итоговой аттестации в форме ЕГЭ и активности участия выпускников в процедуре ЕГЭ

Примеры показателей:

Ограничения и риски:

Возможно применение для оценки школ, реализующих модели профильного образования на старшей ступени. Необходим для оценки эффективности профилей заявленных и реализуемых школой.

Количество учебных предметов, по которым выпускникам XI (XII) классов общеобразовательных учреждений предоставляется возможность прохождения государственной (итоговой) аттестации в форме ЕГЭ, ед. Доля выпускников общеобразовательных учреждений, сдававших ЕГЭ от общего числа выпускников общеобразовательных учреждений, %. Доля выпускников общеобразовательных учреждений, сдающих ЕГЭ по трем и более учебным предметам, %. Эффективность профильного образования (для предметов, изучаемых на профильном уровне) - Доля выпускников общеобразовательных учреждений, сдававших ЕГЭ по профильному предмету от общего числа выпускников его изучавших, %.

Риск ориентации школы на увеличение числа предметов, которое выбирает и сдаёт каждый выпускник в форме ЕГЭ. Не смотря на то, что выпускник имеет право сдать в форме ЕГЭ только обязательные экзамены и пойти учиться в УНПО или СПО или работать показатель «три и более» будет элиминировать этот вариант траектории.

28 !

!

!

!

Группа показателей, характеризующих освоение минимальных требований образовательного стандарта

Примеры показателей:

Ограничения и риски:

Широкая область применения, т.к. задача учителя, школы, системы образования – создание условий для освоения образовательного стандарта.

Уровень освоения образовательного стандарта для получения документа о среднем (полном) общем образовании – доля выпускников, успешно сдавших (выше минимального порога) ЕГЭ по двум обязательным предметам, % Уровень освоения образовательного стандарта для получения профессионального образования - получение свидетельства о результатах ЕГЭ с баллами по всем предметам, необходимыми для поступления в выбранное учреждение профессионального образования - доля выпускников, успешно сдавших (выше минимального порога) все экзамены, которые они выбрали для сдачи в форме ЕГЭ в общем числе выпускников, %. Уровень освоения образовательного стандарта по каждому предмету - доля учащихся, преодолевших минимальный порог (по каждому предмету), %.

Достижение одних и тех же значений показателей может потребовать в разных условиях совершенно разного количества и качества образовательных ресурсов, поэтому сравнение целесообразно преимущественно в пределах кластера. Риск снижения уровня требований по предмету до минимальных. Риск перераспределения ресурсов в пользу обязательных предметов. Риск установления зависимости уровня минимального порога от общих результатов, полученных выпускниками данного года по РФ в целом.

29 !

!

!

!

Х

?

Х

?

Группа показателей, характеризующих уровень и качество образовательных достижений

Примеры показателей:

Ограничения и риски:

Возможно применение для оценки школ, реализующих модели профильного образования на старшей ступени. Необходимы для оценки эффективности профилей заявленных и реализуемых школой.

Риск необоснованных требований максимально-высоких баллов. Стимулирование участия в нарушениях процедуры ЕГЭ и информационной безопасности. Шкала достаточно сильно различается по предметам и суммарный учёт результатов нескольких предметов не только малоинформативен, но и может привести к ошибочным выводам. Риск ошибочных выводов из-за несопоставимости среднего балла между предметами и динамики по годам. Риск подмены ориентира за освоения содержания учебного материала ориентиром на достижение высоких баллов.

Средний балл по 100-балльной шкале (вариации – только по обязательным предметам, только по профильным предметам). Средний балл по каждому предмету Доля выпускников, получивших соответствующее количество баллов ЕГЭ по предметам: от 50 до 75 баллов (вариант - до 50, 51-75); 70 баллов и выше (вариант – 80 баллов и выше, 90 баллов и выше), %. Доля (кол-во) участников, набравших 100 баллов (на 1000 участников), %. Доля выпускников, показавших по профильному предмету результат, соответствующий отличному уровню (относится к 10% лучших результатов по РФ). Доля выпускников сдавших экзамен по предмету с результатом равным ТБ2 (высокий уровень) и выше в общем числе изучавших данный предмет на профильном уровне. Доля выпускников, сдавших все предметы из изучавшихся на профильном уровне не ниже порога профильной подготовки (ТБ2)

30 !

!

?

?

?

?

?

Группа показателей, отражающих равенства доступа к образованию соответствующего качества

Примеры показателей:

Ограничения и риски:

Возможно применение для оценки сети образовательных учреждений. Позволяет оценить зависимость полученных выпускником результатов от школы, в которой происходило обучение Применяются для оценки состояния сети школ.

Риск непонимания внешними пользователями и управленцами физического смысла применяемых показателей и способов их расчёта и как следствие – недоверие к полученным заключениям. Неотработанность применяемых показателей и методики измерения.

Точки экстремума по школе, муниципалитету (на основе значений среднего балла). Диапазон среднего балла ЕГЭ образовательных учреждений по математике, русскому языку (приводятся значения минимального и максимального баллов, исключая 5% лучших и 5% худших результатов). Дисперсия результатов ЕГЭ. Отклонения среднего балла ЕГЭ школы (муниципалитета) от фонового (регион, группа регионов). Угол наклона линии тренда Сравнение диапазона изменения внутришкольных результатов с разницей результатов между разными школами, расположенных на одной территории

31 !

!

!

Группа показателей, характеризующие уровень освоения содержания изучаемых предметов (блоков и отдельных проверяемых дидактических единиц)

Ограничения и риски:

Примеры показателей:

Возможно широкое применение, т.к. позволяет использовать результаты оценки в деятельности каждого учителя, в методических разработках и рекомендациях.

Достижение одних и тех же значений показателей может потребовать в разных школах совершенно разного количества и качества образовательных ресурсов, поэтому необходимо правильно выбирать фон для сравнения (например, кластер аналогичных школ). Построение профилей по предмету для больших групп участников (например, регион или муниципалитет) несёт риск совмещение неоднородных групп и искажения реальной картины.

Успешность усвоения отдельных дидактических единиц - сравнение позадачной решаемости в разрезе отдельных дидактических единиц по каждому учебному предмету с коридором ожидаемой решаемости (вариант – со средней решаемостью по региону, по РФ). Успешность освоения содержательных блоков и основных умений.

32 Интерпретация результатов ЕГЭ для учителя

Интерпретация результатов ЕГЭ для учителя

Информационные запросы УЧИТЕЛЯ о результатах ЕГЭ Уровень требований контрольно-измерительных материалов ЕГЭ по предмету. Востребованность учебного предмета как экзамена в форме ЕГЭ среди его учеников. Освоение учениками образовательного стандарта на минимальном уровне. Освоение учениками образовательного стандарта на профильном уровне. Успешность освоения отдельных дидактических единиц (позадачная решаемость), содержательных блоков, сформированность умений и видов деятельности. Соответствие системы текущего оценивания внешней оценке.

«Рамка качества» работы УЧИТЕЛЯ в результатах ЕГЭ - если предмет изучается на базовом уровне: освоение образовательного стандарта на минимальном уровне стремится к 100%; все учащиеся из числа слабоуспевающих успешно решают определённый набор заданий, позволяющий им преодолеть минимальный порог - если предмет изучается на профильном уроне: востребованность предмета выше, чем среднее для территории и аналогичных образовательных учреждений освоение образовательного стандарта на минимальном уровне 100%; освоение образовательного стандарта на профильном уровне выше, чем среднее по территории и для аналогичных школ система текущего оценивания адекватна внешней оценке.

33 Пример интерпретации результатов ЕГЭ для учителя

Пример интерпретации результатов ЕГЭ для учителя

Группы учащихся по уровню готовности к ЕГЭ-2012 по физике.

Доля выпускников, успешно сдавших ЕГЭ по предмету от общего числа выпускников, сдававших данный предмет - 100% Доля выпускников, сдавших ЕГЭ по предмету с результатом, соответствующим повышенному уровню и выше от общего числа выпускников, изучавших предмет на профильном уровне – 81,25%

Высокий уровень подготовки к ЕГЭ: знаний и умений достаточно для полноценного продолжения образования в профильном вузе с достаточно высоким конкурсом.

Повышенный уровень подготовки к ЕГЭ: знаний и умений достаточно для продолжения образования по профильным специальностям в вузах со средним уровнем требований.

Базовый уровень подготовки к ЕГЭ: знания, умения и способы деятельности соответствуют требованиям стандарта на минимально возможном уровне. В группу с базовым уровнем подготовки входят учащиеся, которые могут продолжать образование по профильным специальностям в НПО и СПО или выбрать направление обучения в вузе, где данный предмет не является профильным.

Низкий уровень подготовки к ЕГЭ: группа риска, т.к. бессистемность и отрывочность их знаний не позволяет преодолеть минимальный порог для получения свидетельства о результатах ЕГЭ.

34 Интерпретация результатов ЕГЭ для школы (администрация, педколлектив,

Интерпретация результатов ЕГЭ для школы (администрация, педколлектив,

учащиеся, родители, социум)

Что значит – «хорошая школа» по результатам ЕГЭ? это школа, выпускники которой активно выбирают экзамены в форме ЕГЭ из числа предметов профиля школы необходимые им для продолжения образования. это школа, все выпускники которой успешно справляются с двумя обязательными экзаменами в форме ЕГЭ (русский язык и математика). Это необходимо для получения аттестата о среднем (полном) образовании. это школа, все выпускники которой успешно сдали все экзамены (изучавшиеся на профильном уровне) в форме ЕГЭ (обязательные и по выбору выше минимального порога), т.е. получили полноценное свидетельство о результатах ЕГЭ для конкурса при поступлении на выбранную специальность. это школы, обеспечивающие общий высокий уровень подготовки по всем предметам, особенно по предметам профиля. это школа, показывающая положительную динамику или стабильность в высоких результатах по каждой из указанных позиций.

Информационные запросы ШКОЛЫ о результатах ЕГЭ Соответствует ли заявленный профиль школы спектру предметов, выбираемых выпускниками для сдачи в форме ЕГЭ? Каков уровень освоения образовательного стандарта на минимальном уровне (доля выпускников, успешно сдавших два обязательных экзамена, доля выпускников, успешно сдавших все экзамены в форме ЕГЭ) ? Каков уровень освоения образовательного стандарта на профильном уровне (доля выпускников, успешно сдавших все предметы из числа изучавшихся на профильном уровне с результатом, соответствующим повышенному уровню (ПБ 2) и выше)? Соответствие ли применяемая учителями система текущего оценивания внешней оценке? Каковы позиции школы в рейтинге по вышеназванным показателям среди школ города (района) и среди аналогичных (кластер) школ региона? Какова динамика значений ключевых показателей?

35 Пример интерпретации результатов ЕГЭ для ШКОЛЫ

Пример интерпретации результатов ЕГЭ для ШКОЛЫ

Соответствие между востребованностью учебных предметов и качеством подготовки к ЕГЭ

Не обеспечивает качества подготовки по востребованным предметам (биология, химия). Обеспечивает высокий уровень подготовки как по предметам профиля (английский язык, обществознание), так и по другим предметам. Кроме востребованной физики обеспечивает высокий уровень практически по всем предметам.

36 Интерпретация результатов ЕГЭ для управления образовательными

Интерпретация результатов ЕГЭ для управления образовательными

системами (муниципальный, региональный уровни управления)

Что значит – «хорошая система образования» по результатам ЕГЭ? Процедура проведения ЕГЭ защищена, в результатах ЕГЭ не наблюдается аномальных результатов. Все выпускники, допущенные до итоговой аттестации успешно сдают экзамены и получают документы об образовании. Различия в результатах между школами ниже, чем между результатами внутри школы. Выявлены группы риска в контингенте обучающихся, определена степень депрессивности каждого элемента территории, имеются данные об условиях работы каждой из школ. Профиль школ подтверждается результатами ЕГЭ как по спектру выбираемых предметов, так и качеством полученных результатов. Общеобразовательная и профильная подготовка, предоставляемая сетью школ обеспечивает потребности населения.

Информационные запросы органов управления о результатах ЕГЭ в системе образования муниципалитета, региона Надёжность процедуры проведения ЕГЭ на территории(нарушения, фальсификации). Охват средним (полным) образованием учащихся соответствующего возраста учреждениями системы – освоение образовательного стандарта. Равенство доступа к образованию соответствующего качества. Выявление групп риска среди категорий учащихся, определение степени депрессивности территорий, выявление школ, работающих в трудных условиях. Удовлетворение потребностей населения в общеобразовательной и профильной подготовке, предоставляемой сетью школ. Контроль качества и оценка эффективности деятельности школ. Эффективность использования ресурсов сети.

37 Пример интерпретации результатов ЕГЭ школ в пределах одного из

Пример интерпретации результатов ЕГЭ школ в пределах одного из

муниципалитетов региона:

Кластер

Число выпускников

Доля выпускников, успешно сдавших два обязательных экзамена в форме ЕГЭ (выше порога)

"+" - ВСЕ выпускники освоили стандарт; "-" - НЕ ВСЕ выпускники освоили стандарт

Доля выпускников, успешно сдавших все экзамены в форме ЕГЭ (выше порога)

Качество подготовки по обязательным предметам. Средний балл по двум предметам

Качество профильной подготовки. Доля выпускников, сдавших все экзамены по выбору с результатом выше профильного уровня

Качество профильной подготовки. Доля экзаменов с результатом выше профильного уровня.

Группа по совокупным результатам ЕГЭ-2012

Школы, обеспечившие своим выпускникам не только минимальный уровень освоения образовательного стандарта, но достигшие высоких результатов в профильной подготовки 35,5% выпускников региона

МБОУ "Гимназия А"

№1

89

100,0%

+

92,1%

58,26

7,9%

21,3%

1

Мбоу "сош а"

№2

94

100,0%

+

96,8%

59,01

6,4%

17,3%

1

Мбоу "сош б"

№2

68

100,0%

+

97,1%

54,32

4,4%

13,8%

1

Мбоу "сош в"

№3

42

100,0%

+

97,6%

57,10

2,4%

13,0%

1

Школы, обеспечивающие только минимальную общеобразовательную подготовку 17,8% выпускников региона

МБОУ "СОШ №Х с УИОП"

№1

24

100,0%

+

95,8%

61,52

0,0%

18,1%

2

Мбоу "сош №г"

№3

11

100,0%

+

90,9%

46,55

0,0%

0,0%

2

Мбоу "сош №д"

№2

98

100,0%

+

79,6%

53,08

7,1%

14,4%

3

Мбоу "сош №е

№3

40

100,0%

+

82,5%

52,48

0,0%

6,8%

3

Школы, имеющие низкие результаты по одним показателям ЕГЭ и высокие по другим –школы с нестабильным результатом и различными проблемами 33,7% выпускников региона

Мбоу "сош №ж"

№3

50

100,0%

+

78,0%

47,64

2,0%

6,7%

3

МАОУ "СОШ №И с УИОП"

№1

70

100,0%

+

91,4%

52,72

0,0%

4,5%

3

МБОУ "СОШ №К с УИОП"

№1

30

100,0%

+

90,0%

50,20

0,0%

3,4%

3

Мбоу "сош №л"

№2

61

98,4%

-

86,9%

53,00

3,3%

9,6%

3

Школы с низкими результатами ЕГЭ по всем позициям 13,0% выпускников региона

Мбоу "в(с)ош №? "

№6

25

88,0%

-

60,0%

38,34

0,0%

0,0%

3

Мбоу “сош №м"

№2

59

98,3%

-

74,6%

47,80

0,0%

0,0%

4

38 Равенство доступа к образованию соответствующего качества

Равенство доступа к образованию соответствующего качества

Муниципалитеты.

39 Опыт подготовки рекомендаций по анализу и интерпретации результатов

Опыт подготовки рекомендаций по анализу и интерпретации результатов

ЕГЭ для муниципалитетов

Красноярский ЦОКО http://cok.cross-edu.ru/?page_id=6606 Презентация «ЧТО МОЖЕТ ДЕЛАТЬ МУНИЦИПАЛИТЕТ СРЕЗУЛЬТАТАМИ ЕГЭ» Семёнов С.В.

40 Региональный отчёт по результатам оценочной процедуры – как сделать

Региональный отчёт по результатам оценочной процедуры – как сделать

эго максимально информативным и полезным?

Выпускники

Учителя и школы

Потребности пользователей в информации о результатах ЕГЭ

Индивидуальный результат ЕГЭ

База результатов ЕГЭ (закрытая информация)

Органы управления образованием

Общество

Исследователи

Сми

Региональный отчёт является наиболее полным и всесторонним из всех информационных продуктов. Региональный отчёт открывает доступ к информации о результатах всем группам пользователей (информационная основа для спектра адресных продуктов и вторичного анализа результатов). Региональный отчёт задаёт подходы к анализу и к правильной интерпретации результатов оценочной процедуры. Региональный отчёт отражает качество самой оценочной процедуры, позволяет отслеживать ключевые показатели.

41 Примеры региональных отчётов по результатам ЕГЭ-2012

Примеры региональных отчётов по результатам ЕГЭ-2012

Примерная структура регионального сборника по результатам ЕГЭ: Общие подходы к анализу и интерпретации результатов ЕГЭ: ключевые линии анализа, система показателей, возможные направления использования. Особенности контингента участников ЕГЭ по региону. Общие результаты ЕГЭ выпускников общеобразовательных учреждений региона. Общая статистика результатов Активность участия Уровень освоения образовательного стандарта Качество учебных достижений Равенство доступа к образованию соответствующего качества Муниципальные образования региона в зеркале ЕГЭ. Рейтинг муниципалитетов. Общеобразовательные учреждения региона в зеркале ЕГЭ. Рейтинг школ. Анализ результатов ЕГЭ в разрезе учебных предметов. Методические рекомендации. Основные выводы и рекомендации. ПРИЛОЖЕНИЕ. Таблица значений показателей по региону, муниципалитетам, общеобразовательным учреждениям, фоновым группам.

42 Сильные стороны:

Сильные стороны:

Слабые стороны:

Практика подготовки региональных отчётов по результатам ЕГЭ.

Отчёты есть в большинстве регионов, их подготовка становится обязательной практикой. Приводятся контекстные данные об особенностях контингента, характеристиках сети школ, организации образовательного процесса и т.п. Используются показатели, основанные на «порогах», «уровнях». В сравнении и рейтингах школ появляется кластерный подход. Углубленный анализ результатов по предметам дополняется межпредметными сравнениями и оценкой качества образовательных услуг, предоставляемой школами и системами образования.

Преобладание статистики в ущерб анализу и интерпретации данных. Широкое распространение среднего балла по 100-балльной шкале. Материал отчёта и табличные данные не всегда выставляются в открытый доступ. Преобладает анализ по предметам в ущерб совокупным результатам ЕГЭ каждого выпускника, как получателя бюджетной услуги.

43 Анализ результатов ЕГЭ и ГИА по региону, муниципалитету,

Анализ результатов ЕГЭ и ГИА по региону, муниципалитету,

образовательному учреждению: подготовка аналитических материалов под заказ.

АНОНС АНАЛИТИКИ-2013 Сопоставимость результатов ЕГЭ и ГИА. Оценка эффективности профильного образования в старшей школе. Обновлённая система кластеров образовательных учреждений. Уровневый подход к оценке результатов ЕГЭ и ГИА. Экспресс-анализ результатов ЕГЭ и ГИА-2013 по региону, муниципалитету, школе по отдельным предметам.

Опыт адресной подготовки аналитических материалов, выполненных на основе результатов внешних оценочных процедур (ЕГЭ, ГИА) и выстроенных под задачи управления качеством образования.

по вопросам подготовки анализа результатов ЕГЭ по региону, муниципалитету, образовательному учреждению обращаться по тел.89051998891 или e-mail: s_bochenkov@mail.ru Боченков Сергей Анатольевич

44 Ваши вопросы

Ваши вопросы

rtc.imerae@gmail.com

WWW.RTC-EDU.RU

«Интерпретация и представление результатов оценки качества образования для разных групп пользователей»
http://900igr.net/prezentacija/ekonomika/interpretatsija-i-predstavlenie-rezultatov-otsenki-kachestva-obrazovanija-dlja-raznykh-grupp-polzovatelej-79060.html
cсылка на страницу

Оценка персонала

6 презентаций об оценке персонала
Урок

Экономика

125 тем
Слайды
900igr.net > Презентации по экономике > Оценка персонала > Интерпретация и представление результатов оценки качества образования для разных групп пользователей