Олимпиада по ИИ 2020-2021. Образовательный хакатон

Условие задачи

Необходимо создать алгоритм, который находит ответ на вопрос, в соответствующем тексте из Википедии.

Попробовать решить задачу можно здесь

Данные

Датасет включает в себя фрагменты статей из Википедии, вопросы к ним, заданные разметчиками, и правильные ответы. Правильным ответом на каждый вопрос является сегмент из соответствующего фрагмента Википедии.

Пример:

Фрагмент:
Тильзи́тский мир — мирный договор, заключённый в период с 13 июня по 25 июня 1807 года в Тильзите между Александром I и Наполеоном после Войны четвёртой коалиции 1806—1807 годов, в которой Россия помогала Пруссии.

Вопрос:
Как назывался договор, подписанный между Россией и Францией в 1807 году после побед Наполеона в кампании 1806-1807 гг.?

Ответ:
Тильзи́тский мир

В архиве доступно 2 файла:

  • sbersquad_train.json – для обучения модели и настройки параметров;
  • sbersquad_test.json – проверочный файл для предсказаний.

Формат решений

Для проверки нужно было предоставить json-файл, в котором указан id вопроса и ответ на него.

Качество решения определялось по двум метрикам:

  • процент ответов, которые точно соответствуют ответам из золотого стандарта (EM);
  • уже знакомая метрика F1 average.

Вам доступно базовое решение от разработчиков задачи и вебинар с его разбором.

Наверх