Лоуренс Холт из Института XQ назвал проблему, при которой результаты образовательных технологий относятся лишь к небольшой доле учеников, «проблемой 5 процентов»: часто выясняется, что программа приносит пользу только тем, кто использовал её по инструкции. Остальные 95 процентов получают минимальные результаты или не получают их вовсе.

Холт писал прежде всего об онлайн-программах по математике. В центре его рассуждений был вопрос о том, как побудить учеников пользоваться образовательными технологиями в рекомендованном объёме. Причины могут быть разными: отсутствие мотивации у учеников, недостаточный энтузиазм учителей, неравный доступ к технологиям или сочетание этих факторов. В такой постановке задача состоит в том, чтобы привлечь учеников к использованию конкретного инструмента.

С генеративным ИИ ситуация иная. Возможно, впервые в истории образовательных технологий ученики по всему миру приняли новый инструмент настолько широко, что выражение «ИИ неизбежен» стало привычным в разговорах об образовании. Разумеется, есть и те, кто сопротивляется: растёт недовольство ИИ, особенно из-за центров обработки данных. Но ученики, несомненно, часто пользуются ИИ. Проблемы с «дозировкой» здесь нет.

При этом качественных эмпирических исследований о том, как использование генеративного ИИ влияет на учеников, по-прежнему мало. Есть заметные исключения, но, согласно недавнему обзору исследований Стэнфордского университета, из более чем 800 работ об ИИ в образовании лишь 20 дают убедительные доказательства причинно-следственной связи. А один известный метаанализ, который якобы показывал огромный прирост успеваемости благодаря ИИ, отозвали — хотя его успели посмотреть 400 тысяч раз. В этой области царит неразбериха.

Возможно, дело в том, что изучать ИИ «в реальной жизни» очень сложно. Мы знаем, что инструменты ИИ бесплатны и широко доступны ученикам. Мы также знаем, что многие пользуются ими после уроков для разных целей, в том числе чтобы выполнять школьные задания. Однако измерить масштабы такого использования трудно: исследователям сложно наблюдать за жизнью детей дома. Не менее трудно связать поведение вне школы с измеримыми результатами обучения: наборы данных нелегко сопоставить. Поэтому исследования влияния ИИ на образование чаще проводились в лабораториях или в небольшом масштабе.

Теперь ситуация меняется.

Данные о влиянии ИИ на обучение

Исследование Дэвида Стрёмберга, Виктора Лея и Яньхуэй У «Штраф за обучение с генеративным ИИ: данные о среднем образовании в Китае» получило широкую огласку после публикации визуализаций результатов. В рабочей статье использованы данные примерно 27 тысяч китайских учеников с седьмого по двенадцатый класс. Авторы исследуют вопрос, который занимал меня несколько лет: «Как самостоятельное использование генеративного ИИ влияет на накопление знаний с течением времени в обычных школьных условиях?»

Ниже — краткое изложение результатов.

  • Среди учеников, охваченных исследованием, примерно 80 процентов начали пользоваться генеративным ИИ. Уже через пять месяцев использования около половины из них стали «полностью перекладывать домашние задания на ИИ»: фактически перестали выполнять их самостоятельно и вместо этого обращались к ИИ.
  • Со временем это привело к существенному снижению результатов — как на ежемесячных экзаменах без учебников и других материалов, так и на важных итоговых экзаменах, по которым в Китае определяют поступление в старшую школу и колледж. К концу периода исследования средние результаты упали на 24 процента на вступительном экзамене в старшую школу и на 18 процентов — в колледж.
  • Исследователи не обнаружили никаких сопоставимых преимуществ в обучении, связанных с использованием ИИ. Они прямо пишут: «Наши результаты показывают, что генеративный ИИ, который, вероятно, станет распространённой образовательной технологией, существенно вредит обучению учеников».

Проще говоря, теперь у нас есть строгие эмпирические данные о долгосрочном влиянии ИИ на учеников в реальных условиях. Исследование указывает, что ИИ существенно вредит обучению половины учеников и не даёт заметной пользы другой половине. К моменту завершения исследования половина учеников, регулярно пользовавшихся ИИ, полностью передавала ему выполнение домашних заданий. Дома они просто переставали самостоятельно обдумывать школьную работу.

По аналогии с «проблемой 5 процентов» Лоуренса Холта я называю этот вывод «проблемой 50 процентов». Это, скорее, осторожная оценка вреда, вызванного широким распространением ИИ среди учеников, а не их отказом от него. Исследователи идут дальше и предполагают, что «негативное влияние на результаты обучения в основном обусловлено 81 процентом учеников, использующих ИИ: они тратят на домашние задания меньше времени, чем даже самые быстрые ученики, не пользующиеся ИИ, получают за них оценки, соответствующие возможностям используемых ими инструментов генеративного ИИ, но при этом показывают очень низкие результаты на экзаменах». Какую бы цифру мы ни выбрали, главное остаётся неизменным: огромное количество детей учится хуже из-за ИИ — не меньше половины, а почти наверняка больше.

Я не раз говорил, что генеративный ИИ — это инструмент автоматизации когнитивной деятельности. Неудивительно, хотя и печально, что из-за него ученики учатся меньше. Новое эмпирическое исследование позволяет ясно оценить масштаб вреда.

Что показывают данные

Рассмотрим результаты учеников, пользовавшихся ИИ и не пользовавшихся им, в разных видах учебной деятельности.

Исходные данные относятся к 81 проценту учеников, которые впоследствии стали использовать генеративный ИИ для школьных заданий, но учитывают только период до начала использования. Эти результаты обозначены как «до ИИ» и показаны зелёным цветом. Далее идут данные группы, не пользовавшейся генеративным ИИ вообще, — все 19 процентов таких учеников. Их результаты обозначены как «без ИИ» и показаны синим цветом. Третья группа — те же ученики из первой группы после того, как они начали пользоваться ИИ; их результаты обозначены как «после ИИ» и показаны красным цветом. Ученики начали пользоваться ИИ не одновременно: внедрение происходило постепенно.

Исследователи использовали в качестве единицы анализа не ученика, а «ученико-месяц», то есть по каждому ученику собирали несколько наблюдений — по одному за каждый месяц. Примечательно, что исследователи смогли установить точный момент начала использования генеративного ИИ: ученики записывали даты регистрации в инструментах ИИ на своих устройствах.

Сначала рассмотрим, сколько времени ученики тратили на домашние задания, затем — какие оценки получали за них. Наконец, посмотрим, как менялись результаты ежемесячных экзаменов без учебников и важных вступительных экзаменов в старшую школу и колледж.

1. Как ИИ влияет на время, которое ученики тратят на домашние задания?

Исследователи могли отслеживать время выполнения домашних заданий, потому что ученикам нужно было входить в систему, чтобы скачать задания, а после выполнения — загружать их обратно. Результаты неудивительны: ИИ заметно сокращает время, которое ученики тратят на домашнюю работу. Ученики из групп «до ИИ» и «без ИИ» в среднем занимались около часа — от 50 до 80 минут. Большинство учеников из группы «после ИИ» тратили около 45 минут, а некоторые справлялись всего за 25 минут — вероятно, за минимальное время, необходимое, чтобы скопировать и вставить ответы чат-бота.

Именно так и работает ИИ как инструмент автоматизации когнитивной деятельности.

2. Как ИИ влияет на оценки за домашние задания?

Как и в политике во всём мире, здесь наблюдается заметный сдвиг вправо.

Ученики из групп «до ИИ» и «без ИИ» снова показывают почти одинаковые результаты — этого и следовало ожидать. У учеников из группы «после ИИ» картина иная: заявленные «положительные» результаты резко растут, а оценки оказываются намного выше, чем у самых прилежных учеников из группы «без ИИ». Оценки нормированы так, что среднее значение составляет 100, а не максимальное. Поэтому 130 баллов — это примерно на 30 процентов выше среднего. Итак, ученики из группы «после ИИ» меньше занимались, но получали более высокие оценки, чем их сверстники. Для них это выгодная сделка.

Но стоит задуматься о последствиях для школ. Когда я разговариваю с учениками об ИИ, часто слышу, что они не хотят, чтобы их выставили дураками. Если ученики знают, что одноклассники пользуются ИИ и благодаря этому получают более высокие оценки, даже те, кто хотел бы сопротивляться, могут почувствовать давление и начать пользоваться им, чтобы не отставать.

Это гонка когнитивных способностей ко дну.

Оценки за домашние задания, очевидно, — очень несовершенный показатель обучения. Многие исследования в сфере образования, в том числе работы, которые часто продвигают поставщики образовательных технологий, опираются на сопоставимые данные о предполагаемом обучении «в данный момент», как в этом случае. Это отчасти понятно: собирать сведения о долгосрочных результатах обучения очень трудно. Но главное в образовании — прочные знания. Здесь проявляется обманчивая опасность ИИ: пользуясь им, ученики могли ошибочно считать, что школьные дела идут прекрасно. ИИ создаёт иллюзию успеха: оценки растут, а реальное обучение ухудшается.

Теперь снимем эту маску.

3. Как ИИ влияет на результаты экзаменов без учебников?

Если говорить словами американской политики, здесь наблюдается огромный сдвиг влево.

Как и в двух предыдущих наборах данных, результаты учеников из групп «до ИИ» и «без ИИ» на ежемесячных экзаменах без учебников почти совпадают. Но теперь негативное влияние ИИ видно особенно ясно: ученики из группы «после ИИ» набирают гораздо меньше баллов, чем их сверстники из группы «без ИИ». Многие показывают результаты хуже, чем любой ученик до появления ИИ.

Резкий сдвиг вниз при сравнении зелёного и красного распределений — это то, что я называю «чистыми потерями в обучении», вызванными генеративным ИИ. Перед нами недвусмысленные свидетельства снижения общих результатов учеников, которое со временем усиливалось по мере распространения ИИ. Среднее снижение составило 20 процентов при стандартном отклонении 1,4. Сравнение не вполне корректно, но это падение намного превышает оценку потерь в обучении в США после пандемии: примерно 0,25 стандартного отклонения по математике и 0,13 — по чтению.

Со временем эти потери существенно ухудшили результаты учеников на важных итоговых экзаменах, определяющих поступление в старшую школу и колледж в Китае. У учеников, начавших пользоваться генеративным ИИ за два года или более до сдачи экзаменов, предполагаемое негативное влияние составило 24 процента (1,5 стандартного отклонения) на экзамене в старшую школу и 18 процентов (1,3 стандартного отклонения) — на экзамене в колледж.

Если ваш ребёнок учится в средней или старшей школе, пользуется генеративным ИИ и собирается поступать в колледж, эти данные должны вас встревожить. Дело не в академической честности, а в поколении детей, которым говорят, что ИИ «неизбежен» и за ним «будущее», и предлагают действовать соответственно, хотя твёрдых норм допустимого использования этих инструментов в образовании ещё нет. Ученики пользуются ИИ так, что это вредит их когнитивному развитию и сужает жизненные возможности. Исправить этот вред непросто, если вообще возможно.

Генеративный ИИ — когнитивный рак, а мы почти ничего не делаем, чтобы остановить его распространение.

Ответы на возражения

Прежде всего хочу отметить, что исследование привлекло моё внимание и помогло шире обсудить его тревожные результаты. Однако в кратком материале, сопровождавшем публикацию данных, анонимный автор предположил, что «ИИ может повысить продуктивность обучения, но только для тех, кто использует его разумно». Блейк Ричардс, исследователь Google, работающий «на пересечении машинного обучения и нейронауки», также заявил в социальных сетях, что проблема не в ИИ: если учитывать, сколько времени ученики занимаются, то ученики, использующие ИИ, показывают такие же или лучшие результаты, чем остальные.

Стремление рассуждать в пользу желаемого вывода — мощная сила. В данном случае «учёт» времени занятий стирает главное открытие исследования. Но оставим это в стороне и проверим, обоснован ли аргумент сам по себе. Следует ли из исследования, что ИИ может улучшить обучение, если пользоваться им «разумно»?

Насколько я могу судить, это утверждение основано на корреляции между временем выполнения домашних заданий и результатами экзаменов без учебников.

Если не обращать внимания на все неудобные данные в левой части графика — хотя, разумеется, так делать не следует, — и сосредоточиться только на совпадающих значениях для учеников, использовавших генеративный ИИ и продолжавших заниматься столько же, сколько ученики без ИИ, то большого разрыва между ними действительно нет. Но заметной пользы от ИИ тоже не видно — если не считать всплеска на отметке 75 минут.

Что означает этот всплеск? Можно ли считать его доказательством «перспективности» ИИ? Этот пример показывает, почему опасно оценивать графики на глаз, не имея доступа к исходным данным. По словам ведущего исследователя Дэвида Стрёмберга, таких учеников было совсем мало:

Ученики, которые начали пользоваться ИИ и тратили на домашние задания 75 минут, встречаются крайне редко. Таких учеников всего 20, и каждый из них затратил столько времени только в течение одного месяца. Это 0,2 процента наблюдений «ученико-месяц» среди тех, кто использовал ИИ. Спустя более пяти месяцев после начала использования ИИ мы вообще не наблюдаем учеников, тративших на домашние задания 75 минут. В этой группе всего четыре ученика потратили на задания больше 65 минут.

Будем реалистами. В исследовании участвовали почти 27 тысяч учеников. Ссылаться на 20 прилежных учеников, использовавших ИИ, — всё равно что приукрашивать положение вещей с ног до головы. Пора перестать делать вид, будто обучение резко улучшится, если только правильно научить детей пользоваться ИИ. Это не усилитель обучения, а инструмент, который наносит ему фундаментальный вред.

Можно выдвинуть и более сложное возражение: исследование отслеживало использование ИИ с самого начала, когда инструменты были менее совершенными, чем сейчас. Возможно, с этим связано и то, что сильнее всего генеративный ИИ навредил тем, кто начал пользоваться им раньше: «предполагаемый штраф за использование ИИ снизился примерно с 25 процентов в начале периода исследования до примерно 16 процентов к его завершению». Значит, возможно, исследование показывает максимальный масштаб вреда, причинённого ИИ, и этот штраф продолжит уменьшаться.

Но, как говорится, надежда — не стратегия, и у такого возражения есть слабые места. Быстрое развитие ИИ может повлиять на ситуацию в обе стороны. Компании уже прямо предлагают ученикам «ИИ-агентов», которые выполняют задания за них. С точки зрения когнитивного развития агенты ещё хуже чат-ботов: по крайней мере, с чат-ботом нужно как-то взаимодействовать, чтобы получить ответ. Кроме того, даже если вред для обучения будет уменьшаться, важен и масштаб распространения. Напомним, что до завершения исследования 20 процентов учеников сопротивлялись использованию ИИ. Как вы думаете, таких стало больше или меньше? Я знаю, на что поставил бы.

Наконец, некоторые могут сказать, что я придаю этому исследованию слишком большое значение: это всего лишь одно исследование, проведённое в Китае. Но Китай, пожалуй, единственная страна в мире, где масштабы использования ИИ и энтузиазм по отношению к нему сопоставимы с США. При этом компании в Китае полностью отключают свои продукты во время важных экзаменов. Для сравнения: OpenAI активно продвигает ChatGPT в кампусах американских колледжей во время экзаменационной недели.

И главное: если вы с энтузиазмом относитесь к ИИ в образовании, вряд ли вы сможете привести столь же строгое исследование, которое показало бы положительное долгосрочное влияние генеративного ИИ на образование в сопоставимых реальных условиях. И нет, одного исследования с участием примерно 150 студентов-физиков Гарвардского университета для этого недостаточно.

Вред уже наносится

Штраф за обучение с генеративным ИИ не исчезнет сам собой. Специалисты и влиятельные комментаторы в сфере образования продолжают обсуждать потери в обучении из-за закрытия школ во время пандемии. Однако потери, связанные с генеративным ИИ, судя по всему, существеннее, происходят сейчас и могут продолжаться гораздо дольше. Поэтому я спрашиваю политиков, филантропов и так называемых лидеров общественного мнения, которые заявляют, что серьёзно относятся к данным в сфере образования: как вы собираетесь предотвратить дальнейший вред от генеративного ИИ? Вы вообще что-нибудь делаете?

Закончу словами когнитивного психолога Дэна Уиллингема о том, когда и как ученикам следует использовать ИИ в образовании. Его мысль перекликается с тем, о чём я говорю уже несколько лет, и основана на общем понимании принципов человеческого мышления:

«Смысл заданий — в умственных процессах, необходимых для их выполнения, а смысл этих умственных процессов — в обучении. Отсюда можно вывести простой критерий для использования ИИ. Инструменты искусственного интеллекта не должны заменять задачи, в которых ученикам пошла бы на пользу самостоятельная умственная работа. […] Ученикам следует использовать ИИ только для того, что они уже умеют хорошо».

Инструмент, которым следует пользоваться только после того, как уже чему-то научился, — не средство обучения. Пора перестать рассуждать о воображаемом потенциале ИИ и сосредоточиться на смягчении его несомненного вреда. Наши ученики не должны расплачиваться за использование технологии, предназначенной автоматизировать мышление, а не помогать людям учиться.