ИИ-тьютор на Gemini сравнялся с живыми репетиторами в тесте на 1 100 школьников
Google провела 10-недельный тест с 1 100 школьниками в Британии: ИИ-тьютор на Gemini дал результат как у живых репетиторов. В Италии учителя с Gemini чаще проводили групповые занятия.
Google опубликовала результаты двух исследований о том, как Gemini помогает школьникам и учителям. В Британии 10-недельный тест с более 1 100 школьниками 12–15 лет показал, что ИИ-тьютор поддерживал их в математике примерно так же, как живой репетитор. В Италии учителя, готовившие уроки вместе с Gemini, чаще проводили групповые занятия.
В британском тесте ученик платформы Eedi при ошибке получал одну из трёх подсказок: статичную, помощь человека или разбор с ИИ на основе Gemini. Каждый ответ модели перед показом проверяли эксперты. В почти 99% сессий Gemini вела школьника к решению наводящими шагами, и более чем в 85% чатов ученики доходили до ответа сами.
Качество объяснений выросло почти на 25% по сравнению с прошлогодним исследованием: доля ответов, одобренных экспертами с первого раза, поднялась с 76% до 95%. На заданиях платформы и промежуточных тестах группа с ИИ показала те же результаты, что и ученики с человеческими тьюторами. На стандартизированном тесте STAR прироста за 10 недель не было. Google объясняет это тем, что пошаговый разбор занимает больше времени: за сессию ученик решал в среднем 14 задач против 19 при статичных подсказках. Компания планирует испытания на весь учебный год.
В Италии год изучали 31 школу сети Salesians of Don Bosco, около 1 600 учителей и более 24 500 учеников 13–18 лет. Педагоги, готовившие уроки с Gemini, чаще чувствовали себя креативными: 79% против 30% без инструмента. Лекции у доски сократились на 38%, а групповая работа и обсуждения в парах выросли почти втрое. Вовлечённость учеников на уроках с Gemini поднялась с 77% до 84%.
Нагрузка на учителя тоже снизилась: необходимость держать внимание класса за счёт личной энергии упала на 66%, а уроки, где вовлечённость держится на самой активности, выросли с 23,2% до 52,2%. Стоимость Gemini for Education в материалах исследований не указана.