Подобные вопросно-ответные системы используются для автоматизации колл-центров и сервисов клиентской поддержки, в чат-ботах и поисковых машинах. Подробнее об AGI-based вопросно-ответных системах, их использовании и методах построения смотри в вебинаре от разработчиков задачи.
Ниже вы найдете набор данных, состоящий из текстов и вопросов к ним с разными вариантами ответа. Ваша задача: написать алгоритм, который определит, какие из ответов верные.
Основные принципы:
Для решения задачи вам предоставлен датасет, в котором около 6 000 вопросов для более чем 800 текстов из 5 разных областей:
Задача представляет собой бинарную классификацию (True/False).
В систему для проверки необходимо предоставить jsonl-файл с метками ответов: если ответ верен – 1, если нет – 0.
Качество решения определяется, как среднее значение точности и полноты ответов – F1 average.
Также вам доступно базовое решение от разработчиков задачи и вебинары с его разбором: первый и второй.