Bloom, 1984 · обычный класс
Класс0
Mastery~1σ
Тьютор~2σ
01 Научный доклад
ИИ для персонализации обучения студентов
Модель обучающегося
Следующий шаг
Решение человека
02 Зачем этот вопрос сейчас
Две разные шкалы
VanLehn, 2011 · без тьюторинга
0,31итоговый ответ
0,76пошаговый ITS
0,40субшаговый ITS
0,79тьютор
- 1984
Проблема 2σ
- 1994
Knowledge tracing
- 2011
Плато эффекта
- 2019
Обзор 146 работ
- 2023
Генеративный ИИ
- 2024
Высокий риск
03 Рамка, а не один продукт
Три модели
Обзор 2007–2018, не доля внедрения
2656 найдено
146 в синтезе
Область 1 из 4
Профилирование и прогноз
Прогноз приёма, успеваемости и отчисления. Не общий процент точности.
04 Принципы и механизм
Следующий шаг
Самуже получается
С поддержкойзона ближайшего развития
Дальшеещё рано
цикл шага
Что делает система на этом такте
След действия
Считается шаг, не тип личности.
05 Что можно оценить по следу работы
След, не диагноз
Два состояния навыка
Верный шаг поднимает оценку навыка. Ошибка снижает. Это схема, не данные студентов.
06 Что сделано в системах, а не в этом докладе
Четыре системы
Когнитивная модель
Cognitive Tutors
Правило на каждом шаге.
Anderson, Corbett, Koedinger и Pelletier в 1995 году пишут, что ранние оценки обычно, но не всегда показывали прирост достижений. В лучших случаях сопоставимое освоение достигалось примерно за треть времени обычного обучения. Немедленная короткая обратная связь работала лучше длинной. Это итог их собственных ранних оценок, с явной оговоркой «не всегда».
Anderson et al., 1995. DOI: 10.1207/s15327809jls0402_2
Пространство знаний
ALEKS
Набор задач, не одна отметка.
Теория Doignon и Falmagne, 1999, отделяет оценку знания от числовой шкалы. Книга прямо называет ALEKS примером системы оценивания математического знания на этой основе и отмечает, что у системы есть учебная часть. Доклад не добавляет процент «эффективности ALEKS»: в использованных источниках его нет как единой величины.
Doignon, Falmagne, 1999. DOI: 10.1007/978-3-642-58625-5
Память, не экзамен
Duolingo, half-life regression
Интервал повторения, не экзамен.
Settles и Meeder, 2016, на данных Duolingo сообщили: ошибка прогноза припоминания снизилась более чем на 45% относительно нескольких базовых моделей; в операционном исследовании ежедневная вовлечённость выросла на 12%. Авторы связаны с этими данными. Переносить 12% на успеваемость или на другой предмет нельзя: измерялись припоминание и возвращение в приложение.
Settles, Meeder, 2016. DOI: 10.18653/v1/P16-1174
Генеративные инструменты
Класс систем после 2022 года
Порождение текста ≠ знание студента.
ЮНЕСКО в 2023 году выпустило отдельное руководство и сообщило: в опросе более 450 школ и университетов менее 10% имели институциональные правила по генеративному ИИ. Там же рекомендована граница 13 лет для классного применения. Руководство требует сохранять агентность человека и готовить преподавателей. Эффект для успеваемости этим сообщением не измерен.
Miao, Holmes, 2023; сообщение ЮНЕСКО от 7 сентября 2023 года.
07 Одна шкала, одна статья
Одна шкала VanLehn
Близко к тьютору
Пошаговый ITS, d = 0,76
Не понимание
Прогноз ответа ≠ знание
Высокий риск
Допуск, оценка, маршрут
08 Повестка, не обещание
Открытые вопросы
01
Открытая модель
Студент видит оценку.
02
Решение, не дашборд
Клик не равен действию.
03
Подготовка людей
Сначала преподаватель.
04
Высокая ставка — человеку
Решение остаётся у человека.
05
Длинные исследования
Нужны длинные исследования.
09 Выводы по источникам
Заключение
- 01
Нужны три модели, не одна нейросеть.
- 02
Пошаговый тьютор близок к человеку. База — без тьюторинга.
- 03
2σ Bloom — не норма для чат-бота.
- 04
Вероятность навыка ≠ понимание.
- 05
Высокая ставка остаётся у человека.
10 Только то, что можно открыть