Нужно ли это и как это реализовать?

Модерация текста — это процесс блокировки, утверждения или проверки отправленного контента на основе политик и пороговых значений определенного сайта. Проще говоря, это цензура текста по правилам, установленным модератором. В связи с постоянно растущим количеством вредоносных элементов, постоянно публикуемых в Интернете, модерация текстов стала необходимой для большинства социальных платформ. Поскольку почти все популярные сайты имеют форму модерации текста, будь то пометки, отчеты или автоматические модификации, многие люди уже сталкивались с этим. Хорошим примером может быть Discord, который позволяет пользователям создавать своих собственных ботов-модераторов, адаптированных к их серверам. В этой статье мы надеемся пролить свет на модерацию текста, зачем она нужна, ее плюсы и минусы, а также различные способы ее реализации на сайте.

Причина использования модерации текста:

В апреле 2019 года в онлайн-газете о вреде внимание было обращено на саморегулирование частных медиа-компаний на фоне резкого роста эксплуатации детей и преступлений на почве ненависти в Интернете. Это привело к глобальному подавлению того, как компании, работающие в социальных сетях, обращались со своими платформами, и многие опасались, что слишком мало делается для сдерживания роста вредоносных элементов, которые гноились на их сайтах.

В Великобритании был выдвинут проект законопроекта о безопасности в Интернете (май 2021 г.), который будет принят правительством в ближайшем будущем. медиа-компании, за исключением новостных и журналистских сайтов, должны будут следовать за ними. Законопроект направлен на сокращение/прекращение эксплуатации детей в Интернете и сокращение количества вредных элементов.

Несоблюдение этих правил может привести к тому, что Ofcom обеспечит соблюдение требований, полномочия Ofcom будут включать возможность оштрафовать компании на 18 миллионов фунтов стерлингов или > 10% от годового мирового оборота (в зависимости от того, что больше) и право блокировать доступ сайта к терминалам в Великобритании. Рассмотрение было принято в отношении небольших медиа-компаний, у которых может не быть полномочий/финансов для соблюдения всех правил.

Этот законопроект был довольно спорным, и многие считали, что он потенциально будет препятствовать реализации права на свободу слова, поскольку идея предотвращения «вредных элементов» была названа слишком расплывчатой. Однако законопроект — не единственная причина использования модерации текста на сайтах, многие сайты также имеют модерацию из-за возрастного рейтинга своего рынка. Например, TikTok имеет возрастной рейтинг в Великобритании 13 и, таким образом, имеет строгую модерацию видео, публикуемых в их приложении. Если бы они не модерировали свой сайт соответствующим образом, они бы увидели падение своей прибыли из-за снижения числа пользователей. .

С другой стороны, хотя модерация оказывается более важной, следует знать о пороге их модерации на случай, если они станут слишком экстремальными и препятствуют свободе слова.

Различные методы и тот, который идеально подходит для вас:

Когда дело доходит до модерации, иногда бывает сложно выбрать лучший тип модерации для вашей работы. Я расскажу о нескольких методах модерации и о том, для какого типа работы они лучше всего подходят.

Во-первых, у нас есть премодерация, это стратегия, при которой контент проверяется человеком, прежде чем ему будет предоставлено разрешение. Это обеспечивает высокий контроль над комментариями, а также надежную защиту отправляемого контента. Тем не менее, этот тип модерации будет иметь высокое соотношение модераторов к пользователям и станет более дорогостоящим по мере роста контента и сообщества. Тот факт, что комментарий нужно было проверить заранее, также приведет к задержке во времени между публикацией комментария и его просмотром на сайте, это может обескуражить пользователей, если сайт чувствителен ко времени, как на платформах социальных сетей. Поэтому этот тип тактики модерации не очень подходит для большинства людей, но будет удобен для сайтов с высоким уровнем правового риска, таких как сайты, основанные на знаменитостях, или сайты, которым не нужны комментарии в реальном времени, например, блог.

Затем у нас есть пост-модерация, которая проверяет контент после его публикации. Это избавляет от проблемы предварительной модерации с задержкой между комментариями и временем публикации, что делает тактику более подходящей для таких типов социальных платформ, как социальные сети. С другой стороны, эта тактика менее безопасна, чем предварительная модерация, поскольку комментарии могут быть просмотрены пользователями до того, как модератор сможет их удалить, а также имеет высокое соотношение модераторов и пользователей, что делает это более затратно по мере масштабов контента и сообщества. Лучше всего использовать этот тип модерации с другим, чтобы обеспечить более строгую безопасность.

Существует также реактивная модерация, которая основывается на том, что пользователи помечают комментарии, которые они считают социально вредными. Преимущество этой тактики в основном заключается в стоимости, стоимость не увеличивается по мере расширения сообщества, а финансирование практически не требуется. чтобы модерация продолжалась. Также наблюдается низкое соотношение модераторов и пользователей, и компании/создатели могут избежать ответственности за незаконный/уничижительный контент, если помеченный контент будет удален в приемлемые сроки. Однако у этого типа модерации есть и серьезный недостаток: компании/создателю придется слишком сильно полагаться на пользователей, что позволяет очень легко злоупотреблять сайтом и полномочиями модератора. например группа пользователей объединяется с определенным пользователем и постоянно помечает его комментарии, это может быть решено компанией через некоторое время, когда они заметят характер злоупотреблений, однако к тому времени многие уже утратят доверие к сайту и вашим репутация сильно пострадает. Еще одна вещь, которую следует учитывать при этом типе модерации, — это тот факт, что пользователи могут быть предвзятыми, и в зависимости от алгоритма и характера вашего проекта многие вредоносные элементы могут остаться незамеченными, поскольку большинство просматривающих указанный комментарий согласны с ним. Это опасно, поскольку потенциально позволяет вредоносным элементам накапливаться в группах единомышленников. Вот почему лучше реализовать этот тип модерации вместе с другим типом для обеспечения большей безопасности.

Наконец, у нас есть автоматическая модерация, которая становится все более популярной среди онлайн-платформ, и на то есть веские причины. Этот тип модерации позволяет автоматически просматривать и фильтровать контент, если это необходимо. Эта скорость удаления вредоносных элементов является одной из причин, по которой в настоящее время широко используется автоматическая модерация, комментарии также можно помечать и блокировать публикацию. Он также эффективен для больших объемов данных и имеет низкое соотношение количества модераторов к количеству пользователей, поэтому при масштабировании сообщества не потребуется дополнительных затрат. Однако, в отличие от других типов модерации, автоматизированная модерация не понимает человеческого языка, поэтому такие вещи, как тон, не улавливаются так, как это могут сделать люди, что позволяет неявным вредоносным элементам оставаться незамеченными. Для автоматической модерации допустимая погрешность выше, когда дело доходит до пометки, чем для остальных этих методов, поскольку программе трудно определить неверные слова и термины. Однако эта проблема неуклонно улучшается по мере появления новых способов улучшения методов обучения автоматизированных модераторов.

Принимая во внимание все вышеизложенное, крупным компаниям следует внедрить либо пре-/постмодерацию (в зависимости от того, зависит ли ваш сайт от времени) с автоматической и реактивной модерацией. Это позволяет компании установить высокое пороговое значение для автоматизации, уменьшая количество ложных срабатываний, а также гарантируя, что количество ложноотрицательных результатов будет обрабатываться способными людьми, способными определять тон и намерение комментариев. Это также снижает нагрузку на человека. модераторов, так как реактивная модерация и автоматическая модерация резко уменьшат объем контента, который им приходится фильтровать.

Если вы небольшая компания, лучше использовать автоматическую и реактивную модерацию, поскольку автоматическая модерация в долгосрочной перспективе обходится довольно дешево и не требует особого обслуживания, в лучшем случае вам, возможно, придется ее кормить. новые данные время от времени, реактивная модерация также позволит модераторам точно определить, где, по-видимому, находится большое количество вредоносных элементов, что позволит им следить за определенными группами или серверами.

Что такое хорошие правила и правила:

Чтобы сократить объем работы модераторов и избежать проблем с законом, вводятся рекомендации и правила. Наличие четких и конкретных политик важно для предотвращения каких-либо разногласий или полномасштабного кризиса, поскольку четко разъясняет, что приемлемо, а что нет на вашей платформе.

Возлагая на пользователя ответственность за весь контент, который он размещает в сети, а также разъясняя, какую позицию вы/ваша компания занимаете по определенным вопросам, вы можете уменьшить количество ситуаций, когда на вас/вашу компанию могут возлагать вину за любую проблему, связанную с контентом. обслуживания с точки зрения пользователя.

Наличие прозрачных политик также облегчает завоевание доверия пользователей и повышает уверенность в стандарте вашей платформы. Хотя рекомендации, в отличие от политик, сами по себе не являются обязательными. Они позволяют пользователям узнать, что от них ожидается на вашей платформе, и еще раз помогают укрепить вашу позицию по определенным вопросам.

Как начать автоматическую модерацию:

Часто бывает трудно понять, с чего начать, когда дело доходит до автоматической модерации текста, будь то аутсорсинг, сборсобственных данныхили просто использование набор открытых данных.

Для эффективной модерации текста используются алгоритмы обработки естественного языка, позволяющие легко понять эмоции, передаваемые в тексте. Следовательно, программа должна иметь хорошую/большую базу данных, чтобы полностью использовать выбранный вами алгоритм. Существует два способа сбора данных для модерации текста: данные из открытых источников и самостоятельно собранные данные.

Данные с открытым исходным кодом (имеют все или большую часть необходимых данных) обычно содержат большой объем данных о контенте, который уже хорошо организован и подготовлен к использованию. Это сокращает время, необходимое для настройки автоматизированного модератора, поскольку модератору больше не придется тратить время на сбор различных образцов текста с нуля, чтобы создать базового автоматизированного модератора. Модератор также может объединять различные файлы данных, чтобы создать большую базу данных и, следовательно, более сложных автоматизированных модераторов. Тот факт, что это открытый исходный код, также означает, что для получения файлов не потребуется никаких дополнительных затрат. Однако, как и во многих материалах с открытым исходным кодом, могут быть ошибки и ошибки, которые не были исправлены, и данные могут больше не быть приоритетом для создателя, что означает, что код потенциально может быть недействительным. Это означает, что модератор должен будет просмотреть данные и исправить их, чтобы они лучше соответствовали целям их работы, в зависимости от размера и количества проблем, вам может быть проще просто начать с нуля.

Это подводит нас к следующему типу сбора данных — самостоятельно собранным данным. в отличие от данных из открытых источников, самостоятельно собранные данные зависят от самого модератора, который собирает данные и компилирует их. Это позволяет использовать более универсального автоматизированного модератора, поскольку модератор может точно выбрать, какой тип данных он выбирает для передачи программе. это дает более адаптированную к вашему проекту модерацию. Однако требуется много времени, чтобы создать достаточную базу данных текстов для создания сложных автоматизированных модераторов, чего было бы трудно достичь в короткие сроки. Из-за этого вы можете столкнуться с тем, что нанимаете сбор данных, что может быть дорогостоящим в зависимости от того, насколько большой вы хотите, чтобы ваша база данных была.

Существует также возможность просто передать модерацию текстов специализированной компании, однако это довольно дорого в долгосрочной перспективе и затрудняет быстрое решение проблем, связанных с модерацией, поскольку это должно быть исправлено их специалистами. компания, а не вы.

Типы модерации:

Существует два распространенных типа автоматической модерации: лексикон и алгоритмы машинного обучения.

Механизмы, основанные на правилах Lexicon, сосредоточены на занесении в черный список сохраненных словесных данных. Этот метод основан на том, что создатель создает большой словарь оскорбительных слов, фраз и акронимов, которые модуль модерации затем может запрашивать и сопоставлять. чтобы проверить, является ли конкретный текст/комментарий оскорбительным или нет. Однако поисковые системы по лексикону непрактичны, поскольку объем данных и время, которые потребуются создателю для создания лексикона, способного охватить более тонкие языки ненависти, были бы слишком большими. Они также не могут понять настоящий язык, так как это механизм, основанный на правилах, поэтому такие вещи, как сарказм, намерение и контекст, будут потеряны для него.

С другой стороны, алгоритмы машинного обучения, основанные на Tf-IDF и логистической регрессии, позволяют быстро классифицировать сообщения, экономя время создателя, однако классификация не всегда может быть правильной, и поэтому создатель может потребоваться повторная проверка в случае каких-либо ошибочно классифицированных данных. Алгоритмы на основе нейронных сетей и предварительно обученных моделей встраивания также лучше справляются с этой задачей и могут в какой-то мере лучше определять токсичность по смыслу сообщения.

готовые фильтры для проверки:

Хотя эти фильтры могут не подойти для некоторых, они, как правило, являются хорошей основой для модерации текста и могут быть легко расширены и отредактированы. Кодирование также довольно легко понять во всех трех. Однако у каждого есть как плюсы, так и минусы.

«Фильтр плохих слов» — это основанный на словаре фильтр с кодом javascript, который создатель постоянно обновляет и часто исправляет любые ошибки, которые могли возникнуть. Файл isprofane.js позволяет программе проверять всю строку, а не отдельные слова, что дает более быстрые результаты.

Однако из-за чувствительности к регистру разработчику придется изменить список для своего конкретного варианта использования, например, «тупой» и «тупой» не рассматриваются как одно и то же, поэтому разработчик должен добавить слова как в верхнем, так и в нижнем регистре, чтобы полностью отфильтровать слово. .

«Фильтр ненормативной лексики» использует метод автоматов Левенштейна для глубокого анализа, экономя время и позволяя программе находить больше нишевых явных слов. Фильтр также имеет многоязычную поддержку, включая смешанные языки, однако создатель больше не ставит фильтр в приоритет, проблема с программой заключается в том, что все еще есть некоторые ошибки, которые необходимо исправить.

к сожалению, поскольку создатель решил отказаться от программы и не показал никаких признаков исправления каких-либо ошибок, все еще находящихся в системе в настоящее время, разработчик должен исправить это самостоятельно, чтобы использовать программу. Это может сделать идею поиска предварительно созданного фильтра абсолютной, поскольку вам, возможно, придется перекодировать программу с нуля. Еще одна проблема — скорость программы, когда одно предсказание занимает шестьдесят м/с.

«Проверка ненормативной лексики »использует машинное обучение SVM, что делает его надежным и эффективным. программа также обрабатывает предоставленные данные довольно быстро, при этом один прогноз занимает 0,2 м/с, что делает его подходящим для модерации в реальном времени. Проверка на ненормативную лексику также имеет большой набор данных с более чем 178 тысячами слов, в основном из Твиттера и Википедии, все из которых классифицируются вручную, что способствует глубокому пониманию текста.

Однако из-за типа собираемых данных, используемых нишевых явных слов, таких как те, в которых числа заменяют определенные буквы в словах, программе трудно обнаружить.

В целом, лучшей программой для реализации будет проверка ненормативной лексики. Он не только очень точен, но и отлично подходит для обработки в реальном времени, в отличие от фильтра ненормативной лексики. Существует также большой набор данных и нет явного словаря слов, что позволяет лучше фильтровать, а также учитывает определенные фразы, которые нелегко уловить из-за отсутствия в них явных слов, но агрессивного тона. Использование оценки вероятности, а не 1 или 0, позволяет компании установить свой собственный порог для токсичных комментариев, это помогает уменьшить количество ложных срабатываний в зависимости от порогового значения, однако, если порог для указанных комментариев слишком низок, это увеличит количество ложноотрицательных результатов, что, в свою очередь, приведет к снижению репутации платформы. Способ борьбы с этой проблемой заключается в использовании функции пометки, которая позволяет легко привлечь внимание к большему количеству комментариев, которые ИИ, возможно, не уловил. Это в сочетании с руководящими принципами и политикой позволяет резко снизить количество ложных срабатываний, если порог установлен выше, чтобы уменьшить количество ложных отрицательных результатов.

Я надеюсь, что это помогло вам лучше понять модерацию текста в целом и понять, какой из них лучше всего подходит для вас/вашей компании. Спасибо за чтение!