Из того, что я понял, вы хотели бы иметь классификатор, который принимает текстовый ввод и прогнозирует из списка предопределенных категорий.

Я не уверен, каков ваш уровень знаний, поэтому я дам общий обзор, если другие люди захотят узнать о предмете.

Как и во всех задачах НЛП, в которых используется машинное обучение, вам придется преобразовать домен textual в домен numerical с помощью процесса featurization.

1. Обработка текста и меток
2. Определите соответствующие функции
3. Создание числового представления функций
4. Обучение и тестирование на классификаторе

Обработка текста и меток

в тексте могут быть какие-то странные маркеры или вещи, которые нужно изменить, чтобы сделать его более «чистым». это стандартный шаг нормализации текста.

тогда вам придется сохранить связанные категории в качестве меток для текстов.

В итоге получится что-то вроде следующего:

For each wiki article:
    Normalise wiki article text
    Save associated categories labels with text for training

Определите соответствующие функции

Некоторые функции, которые вы, кажется, упомянули:

1. Доминирующее поле (актер, политик)
2. Информация заголовка

Синтаксическая информация (теги POS) является локальной (уровень маркера), но может использоваться для извлечения определенных функций, например, являются ли слова именами собственными или нет.

Создание числового представления функций

К счастью, есть способы автоматического кодирования, такие как doc2vec, который может создать вектор документа из текста. Затем вы можете добавить дополнительные индивидуальные функции, которые кажутся уместными.

Затем у вас будет векторное представление функций, относящихся к этому тексту, а также метки (категории).

Это станет вашими тренировочными данными.

Обучение и тестирование на классификаторе

Теперь тренируйтесь и тестируйте классификатор по вашему выбору.

Ваши данные относятся «один ко многим», так как вы попытаетесь предсказать множество меток.

Попробуйте что-нибудь простое, чтобы убедиться, что все работает так, как вы ожидаете.

Вы должны проверить свои результаты с помощью процедуры перекрестной проверки, такой как k-кратная проверка с использованием стандартных показателей (точность, отзыв, F1).

Уточнение

Просто чтобы уточнить, эта задача на самом деле не является задачей распознавания именованных объектов. Это своего рода задача классификации с несколькими метками, где метки представляют собой категории, определенные на страницах Википедии.

Распознавание именованных объектов — это поиск значимых именованных объектов в документе, таких как люди, места. Обычно что-то похожее на существительное. Обычно это делается на уровне токенов, тогда как ваша задача кажется на уровне документа.