Skypro — онлайн-университет в экосистеме Skyeng, ориентированный на взрослых студентов и предлагающий программы по аналитике, разработке, дизайну и другим востребованным направлениям. Университет активно внедряет новые технологии в образовательные процессы, включая использование искусственного интеллекта (ИИ) в оценке домашних заданий.
Как и многие проекты в сфере онлайн-образования, Skypro сталкивается с растущими издержками и нехваткой квалифицированных наставников, особенно при работе с тысячами студентов.
В статье расскажем, как университет автоматизировал проверку домашних заданий с помощью ИИ, чтобы:
- Сократить затраты на проверку без потери в качестве и сроках;
- Ускорить обратную связь с учениками в 10 раз;
- Повысить COR (доходимость) студентов до конца курса;
- Стабилизировать и контролировать качество оценки.
Статья будет полезна продуктовым менеджерам EdTech-компаний, руководителям образовательных проектов и всем, кто заинтересован во внедрении ИИ в бизнес для роста эффективности. Разберем архитектуру решения, подход к контролю качества, экономику проекта и поделимся наблюдениями, как меняется поведение студентов и наставников при внедрении ИИ.
Ручная проверка ДЗ — долго и дорого
Skypro ежемесячно обрабатывает 12 000 домашних заданий. Проверка каждой работы требует участия наставника и влечет за собой ощутимые издержки:
- средняя цена ручной проверки домашней работы достаточно высокая, а для курсовых заданий — в три раза дороже, чем для обычной домашки;
- количество наставников ограничено, их время — дорого. Масштабировать проверку в ручном режиме без роста затрат невозможно;
- даже при соблюдении SLA в 24 часа, реальные сроки получения полноценного фидбека могут достигать 5–7 дней из-за доработок и повторных итераций;
- затянутый ответ от наставника снижает вовлеченность и повышает риск оттока студентов.
Эти ограничения не только увеличивают нагрузку на команду и бюджеты, но и мешают обеспечивать стабильное качество образовательного процесса при масштабировании. Поэтому перед командой встала задача: найти решение, которое позволит сократить издержки, ускорить проверку и сохранить высокий стандарт оценки заданий. Например, классический цикл проверки мог растягиваться до недели, из-за чего терялась скорость обратной связи, а значит — и мотивация учеников. Задача была такой: снизить затраты на проверку работ, не теряя в качестве и скорости обратной связи.
Гипотеза и выбор решения
Идея использовать ИИ возникла без формальной скоринговой модели. Команда руководствовалась здравым смыслом: если технология GPT-3.5 уже на тот момент (2023) позволяла решать сложные задачи, стоило протестировать ее потенциал в проверке типовых студенческих работ.
Поскольку домашние задания занимали значительную долю издержек в структуре юнит-экономики, именно этот участок выбрали для эксперимента.
Реализация
Проект по автоматизации проверки домашних заданий в Skypro был реализован небольшой, но высокоэффективной командой: один основной разработчик, Ираклий Кикалишвили как инициатор, и еще два специалиста (включая технического ресерчера). Вся разработка велась без привлечения большого числа штатных инженеров, благодаря использованию no-code-инструмента Make.
Ключевым элементом архитектуры выступила образовательная платформа Skypro, на которой ученики сдавали работы в разных форматах — от Excel-файлов и Google-документов до pull request’ов в GitHub. Для удобства работы с такими документами система производит предобработку:
- Сначала распознается тип вложения, например, это может быть формат .docx, .xlsx, .pptx;
- Затем файлы парсятся в текстовом виде;
- Информация внутри ДЗ структурируется в формат, подходящий для анализа;
- Подготовленная векторная база передается в специализированный pipeline автоматизации, разработанный экспертами SkyPro;
- Для оркестрации отдельных процессов на этом этапе используется Make .
Для проверки заданий используется API OpenAI — в первую очередь модели GPT-3.5 (и, позднее GPT-4). Модель оценивает соответствие задания заранее заданному чек-листу, формирует обратную связь с пояснениями, а при необходимости — возвращается к диалогу с учеником для повторной проверки доработанного решения.
Параллельно на платформе ведется разработка внутренних интерфейсов, включая систему инспекции, редактор промптов и модуль ретро-тестирования, где можно оперативно перепроверять новые и архивные задания.
Архитектура решения
На ранней стадии команда использовала простые single-shot промпты — это были длинные инструкции, содержащие сразу весь контекст. Такой подход позволил быстро получить первые результаты, но вскоре выявились ограничения: модель теряла нить диалога при повторных итерациях и не справлялась с глубокой логикой заданий.
Это привело к переходу на многоступенчатую агентскую систему, где задачи разделили между специализированными модулями:
- Агент проверки — анализирует работу по критериям;
- Агент обратной связи — формирует комментарии для студента;
- Агент контроля — принимает итоговое решение.
Такая архитектура повысила гибкость и позволила точечно настраивать каждый этап. Однако команда не остановилась на развертывании, качество работы ИИ постоянно растет за счет мониторинга действий студентов и наставников после получения обратной связи и итеративных доработок — обновления промптов и логики агентов на основе реальных кейсов. Такой цикл обратной связи позволяет точечно улучшать систему, делая проверку домашних заданий более точной и полезной для пользователей.
Процесс разработки был гибким: команда двигалась небольшими шагами, проверяя идеи на практике и быстро внося коррективы.
- Первый MVP был реализован менее чем за неделю — он позволял проверять простые текстовые задания.
- Переход на новую архитектуру занял еще около двух недель. Наиболее трудоемким этапом стало создание инфраструктуры вокруг проверки: разработка интерфейса для ревью промптов, подключение наставников к процессу обучения модели, построение системы контроля качества и управление базой тест-кейсов. Этот блок работ занял примерно два месяца, после чего решение стало частью операционного процесса Skypro и начало масштабироваться на разные типы заданий. Внедрение инфраструктуры и системы контроля заняло около 2 месяцев.
Результаты: эффективность, качество и влияние на обучение
Внедрение ИИ в проверку домашних заданий в Skypro дало не просто заметный, а стратегически важный результат — как с точки зрения экономики, так и с точки зрения пользовательского опыта.
- На момент подготовки материала ИИ обрабатывает около 35% всех домашних заданий полностью без участия наставников. Это позволило снизить операционные расходы на проверку, улучшив ключевые показатели качества.
- Экономика проекта также претерпела радикальные изменения: автоматизация снизила затраты на проверку работ на 35%. В общей структуре операционных расходов это дало экономию около 10%, учитывая множество других процессов помимо оценки (затраты на платформу, GPT-модель и Make-сценарии, найм и обучение наставников).
Самым неожиданным оказался анализ ретеншн-данных: ученики, получающие обратную связь от ИИ, чаще доходят до следующих этапов программы, чем те, чьи работы проверялись вручную. Это связано как с высокой скоростью получения комментариев — от одной до двух часов, — так и с более структурированной и последовательной логикой проверки. Интересно, что эта скорость была искусственно ограничена: слишком быстрый ответ (например, за минуту) вызывал у взрослых студентов недоверие — они подозревали шаблон или халтуру. Поэтому фидбек от ИИ был «замедлен» до комфортных сроков, близких к взаимодействию с человеком.
Качественные метрики также говорят в пользу модели.
Внутренний показатель defect rate, фиксирующий расхождения между оценкой ИИ и оценкой наставника по тем же критериям, оказался ниже, чем так называемый «межэкспертный шум» — расхождение между оценками разных преподавателей. Это означает, что модель проверяет не только стабильно, но и в ряде случаев — точнее человека. При этом команда отслеживает каждый случай расхождения, вручную пересматривая его и используя в обучении системы.
Что это дает бизнесу:
- Существенное снижение переменных затрат на проверку заданий (до 90%);
- Повышение конверсии в завершение обучения за счет ускоренного фидбека;
- Возможность масштабировать процесс без роста команды наставников;
- Снижение дефектов проверки по сравнению с человеческой вариативностью;
- Устойчивый контроль качества и механизм обратной связи на баги ИИ.
Внедрение ИИ позволило Skypro не просто автоматизировать рутинную задачу, а выстроить масштабируемую, управляемую и экономически эффективную систему, которая влияет не только на издержки, но и на конечные образовательные результаты.
Бонус: неожиданные инсайты
Во-первых, внедрение ИИ всегда сопряжено с вопросом восприятия со стороны пользователя. Когда SkyPro начал внедрять ИИ для проверки заданий, команда ожидала вопросов о технологиях — но столкнулась с неожиданно эмоциональной реакцией. Оказалось, многие взрослые студенты переживали, что ИИ заменит реальных наставников и опасались, что автоматизация сделает обучение менее персонализированным. Это стало ценным уроком — цифровые инструменты нужно внедрять так, чтобы их преимущества говорили сами за себя, не провоцируя сопротивления.
Во-вторых, участие наставников оказалось критически важным на всех этапах проекта. Именно они помогали формировать и улучшать промпты, проверяли сложные случаи вручную, оценивали корректность решений ИИ и принимали участие в ретро-тестировании. Без вовлечения предметных экспертов невозможно было бы построить систему с управляемым качеством. Для этого был разработан специальный интерфейс «отладчика», в котором наставники могли вручную прогонять сценарии, вносить правки и валидировать работу модели на примерах.
Третий важный урок — качество промпта напрямую определяет стабильность и точность работы ИИ. В Skypro промпты не только настраивались вручную, но и тестировались на архивных домашних заданиях. Для этого команда создала систему ретро-проверок, где каждое изменение можно было прогнать по существующей базе и убедиться, что новая версия промпта не ломает старые кейсы.
Четвертый вывод касается самих заданий. Команда поняла, что не всегда есть смысл усложнять архитектуру модели, если можно адаптировать входящий материал. В ряде случаев проще оказалось поменять формат или структуру задания, чтобы оно лучше «читалось» моделью. Например, в Excel-домашках ученикам предложили использовать шаблоны с заданными именами листов и ячеек, чтобы исключить ошибки на этапе парсинга и повысить точность проверки.
Пятый вывод — стандартизация критически важна для масштабируемости. Чем более предсказуема структура задания, тем проще его автоматизировать. Это касается как технической реализации (например, автоматического извлечения данных из pull request в GitHub), так и UX-инструкций для учеников (например, «вставляйте результат в ячейку B2, не переименовывайте листы»).
Наконец, команда пришла к выводу, что ИИ должен уметь «сдаваться». Если после трех итераций система не может принять работу — из-за непонимания, нестандартного формата или «галлюцинаций» модели — задание автоматически передается на ручную проверку. Это решение позволило избежать ситуаций, когда ученик бесконечно получает некорректные правки и теряет мотивацию. Такой подход балансирует эффективность автоматизации и качество образовательного опыта.
Все эти наблюдения сформировали устойчивый фреймворк, с которым Skypro теперь подходит к масштабированию проекта и планированию следующих шагов: от персонализированного дообучения до генерации контента на основе слабых мест ученика.
Что в планах команды
Главная цель — сделать обучение более гибким и эффективным за счет точечной помощи там, где студенту это особенно нужно. Команда планирует развивать проект в сторону «доучивающего ИИ-наставника». Цель — не только проверять, но и помогать студенту осваивать материал. В приоритете: персонализированные рекомендации и помощь на основе истории обучения и маркетинговых данных, интеграция ИИ в работу кураторов и наставников как Copilot, возможность генерации вспомогательных материалов «на лету» — текстов, инструкций, примеров.
👉🏼 Подписывайтесь на Telegram-канал AI Factory — хаб для обмена опытом и экспертными знаниями.
