Узнайте об ограничениях ChatGPT и 3 практических совета
Вам придется зарыть голову в песок, если вы не слышали о ChatGPT. GPT расшифровывается как генеративный предварительно обученный преобразователь, языковая модель, обученная OpenAI и недавно включенная в бесплатный общедоступный чат-бот. Пользователи могут попросить бота ответить на любые вопросы, написать эссе или даже провести исследование рынка.
Благодаря своему значительному техническому прогрессу ChatGPT приобрел свой первый миллион пользователей всего за пять дней по сравнению с 10 месяцами Facebook и 3,5 годами Netflix. Чуть ли не в одночасье все начали говорить о ChatGPT и хвастаться своими абсурдными моментами с помощью чат-бота.
Все технологические гиганты выпускают свои собственные версии языковых моделей и рекламируют их мощь и открытый исходный код. Несколько примечательных примеров включают LaMDA от Google (несмотря на недавнюю демонстрацию с глюками), LLaMA от Meta и партнерство Amazon с HuggingFace.
Нет ничего плохого в том, чтобы восхищаться технологическими инновациями, но это не должно заходить слишком далеко. Как специалист по машинному обучению и один из первых пользователей GPT с 2020 года, я хочу убедиться, что мы не прославляем ChatGPT, игнорируя его потенциальное неправильное использование. С этой целью стоит понять недостатки ChatGPT, а также лежащие в их основе технические причины.
С чем борется ИИ, так же борется и ChatGPT
Начнем с того, что ChatGPT — это машина, а не человек. Это не проблема, но люди склонны забывать об этом простом факте, когда бот предоставляет им человеческий контент. Как многие из нас знают, ChatGPT обучается с использованием больших языковых моделей (LLM), а это означает, что он принципиально не отличается от любых других существующих приложений ИИ. В целом то, с чем борется ИИ, — это то же самое, с чем борется ChatGPT. Однако ChatGPT заставляет пользователей поверить, что это больше не ИИ, из-за его способности вести человеческую беседу, что приводит к росту злоупотреблений. ИИ во многих сценариях». Эти недостатки обычно вызваны двумя факторами, а именно проблемами с обучающими данными и проблемами с самой моделью. Давайте сначала обсудим обучающие данные:
Данные, которые ChatGPT использует для обучения своих моделей, включают в себя всю информацию в Интернете. Излишне говорить, что качество информации из Интернета определяет качество ChatGPT. Хотя Интернет является источником информации о мире, он также известен тем, что предоставляет неверную информацию. Таким образом, это неизбежно приводит ChatGPT к ситуации «мусор на входе, мусор на выходе».
Мусор на входе, мусор на выходе
Один из классических примеров этой проблемы касается того, как инженеры-программисты задают вопросы по кодированию на Stack Overflow и должны просматривать несколько решений, пока не найдут правильное. В свою очередь, когда ChatGPT использует Stack Overflow для обучения своих моделей, это может предоставить пользователям неверное решение, не позволяя им сравнить его с другими решениями. Фактически, Stack Overflow временно запретил пользователям публиковать ответы, сгенерированные ChatGPT. Согласно Stack Overflow, средняя скорость получения правильных ответов от ChatGPT «слишком низкая». Проще говоря, не используйте ChatGPT, если вам нужна точность.
Помимо проблем с неточностями, Интернет также известен токсичной информацией, которую ChatGPT не полностью фильтрует из своих обучающих данных. Как отметил OpenAI в своем предупреждении для пользователей ChatGPT, ChatGPT может иногда создавать вредные инструкции или предвзятый контент. Рассмотрим пример ниже, где пользователь просит ChatGPT написать стихотворение о том, как проникнуть в дом:.
Поддержание данных о тренировках в актуальном состоянии
Более того, не используйте ChatGPT, если вы ищете свежую информацию. Текущая версия ChatGPT, GPT3.5, была обучена в начале 2022 года. Таким образом, она имеет ограниченные знания о мире и событиях после 2021 года. Постоянное обновление имеет решающее значение для ChatGPT, поскольку в противном случае Google может потерять пользователей.
Однако поддержание данных обучения в актуальном состоянии представляет собой масштабную задачу. Чтобы поддерживать свою точность, OpenAI должен продолжать обучать свои модели с использованием последних данных. Подсчитано, что OpenAI может тратить миллионы в день на текущие расходы, которые даже не включают затраты на человеческую маркировку или другие инженерные затраты.
Ходить вокруг да около
Помимо проблем с обучающими данными, есть также проблемы с самой моделью, дающей нежелательные ответы. Как отмечает OpenAI, ChatGPT может предложить правдоподобно звучащие, но бессмысленные ответы. Представьте, что вы находитесь на совещании, где вашему боссу задают каверзный, но очевидный вопрос (например, Все ли получат бонусы в этом году?), но ему приходится так много ходить вокруг да около, что аудитория начинает отвлекаться от первоначального намерения. за вопросом.
ChatGPT страдает от аналогичной проблемы, не намеренно, а в значительной степени потому, что он обучается с использованием обучения с подкреплением на основе обратной связи человека или RLHF. Здесь человек ранжирует ответы, и это ранжирование затем используется для обучения модели вознаграждения. Хотя этот процесс помогает модели понять людей, он страдает от фундаментальных проблем:
Слишком стараются «угодить» людям
С одной стороны, человеческие предпочтения ненадежны, особенно когда есть только несколько точек данных для данного параметра из модели. С другой стороны, из-за характера модели вознаграждения ChatGPT может манипулировать своими ответами для достижения лучших результатов, что известно как проблема чрезмерной оптимизации. Другими словами, модель очень старается порадовать людей. Как гласит закон Гудхарта, когда мера становится целью, она перестает быть хорошей мерой. Таким образом, важно быть осторожным с ChatGPT, если вы хотите, чтобы ваш контент имел смысл, потому что программа иногда просто не позволяет этого.
Ищете друга с постоянным вкусом?
Наконец, не ищите в ChatGPT друга с постоянным вкусом. Имейте в виду, что природа ИИ противоположна поисковым системам, основанным на правилах. Чтобы объяснить, в отличие от Google или других поисковых систем, где вы можете искать точные слова, ChatGPT никогда не является детерминированным, а это означает, что он не будет давать один и тот же ответ на один и тот же вопрос, особенно когда ответы могут быть субъективными. Чтобы проиллюстрировать это, посмотрите ниже, как ChatGPT просят перечислить три известных романа и дают два совершенно разных ответа:
Так как же нам деславировать ChatGPT? Вот несколько моих советов:
- Если вы являетесь техническим специалистом и надеетесь внедрить ChatGPT в свой продукт, спросите себя, есть ли вообще хороший вариант использования ИИ. Не используйте ИИ просто так. Большинство проблем сегодня вообще не требуют ИИ. Например, для создания фильтра электронной почты достаточно простого правила «если…, то…» с несколькими ключевыми словами. Усилия по обучению и развертыванию модели машинного обучения могут перевесить ее преимущества.
- Если вы не разбираетесь в технических вопросах, уделите время изучению основ искусственного интеллекта или хотя бы посмотрите несколько роликов на эту тему на YouTube. Понимание общих терминов искусственного интеллекта, таких как обучение с учителем и обучение с подкреплением, поможет вам быстро развенчать мифы об искусственном интеллекте, а не только для того, чтобы казаться умнее перед друзьями.
- Если вы являетесь деловым партнером или инвестором и покупаете продукты ИИ, обратите особое внимание на обучающие данные, которые использует продукт. Это не только поможет вам оценить качество продукта, но также поможет вам быстро обнаружить поддельные компании с искусственным интеллектом. Согласно опросу, стартапы, которые заявляют, что работают в сфере ИИ, привлекают на 15–50 % больше финансирования по сравнению с другими компаниями, но 40 % из них на самом деле не используют ИИ.
Конечно, как можно завершить статью о ChatGPT, не процитировав ответ самого ChatGPT? С этой целью я спросил ChatGPT: «Как нам деславить ChatGPT?» Вот что я получил:
