Генеральный директор NVIDIA, возможно, прав в том, что кодирование мертво из-за искусственного интеллекта: новая модель OpenAI CriticGPT выявляет ошибки программирования ChatGPT лучше, чем инструкторы по искусственному интеллекту

Что тебе нужно знать

OpenAI недавно запустила CriticGPT, чтобы помочь выявить ошибки в коде, созданном с использованием ChatGPT.
Этот инструмент помогает инструкторам по искусственному интеллекту выявлять ошибки быстрее и проще, чем обычно без помощи искусственного интеллекта.
Производитель ChatGPT признает, что этот инструмент не на 100% точен и сталкивается с рядом проблем, включая неспособность справляться с очень сложными задачами и периодические галлюцинации.

Как исследователь с опытом работы в области искусственного интеллекта и машинного обучения, я считаю запуск CriticGPT OpenAI интересным событием в этой области. Способность инструмента выявлять ошибки в ответах ChatGPT является ценным дополнением для инструкторов по искусственному интеллекту, стремящихся повысить точность и эффективность этих моделей.

Недавно OpenAI представила CriticGPT, основанную на усовершенствованной модели GPT-4. Функция этого инструмента — генерировать критику результатов ChatGPT, когда дело доходит до оценки точности его ответов. Затем инструкторы-люди могут использовать эту критику для выявления и исправления любых потенциальных ошибок в коде ChatGPT.

По словам создателя ChatGPT:

«Наше исследование показало, что люди, использующие CriticGPT для проверки кода с помощью ChatGPT, превосходят тех, кто работает независимо, примерно в 60% случаев. В настоящее время мы разрабатываем план по включению моделей, подобных CriticGPT, в наш процесс маркировки RLHF, тем самым предлагая нашим инструкторам ценный искусственный интеллект. вспомогательное руководство».

OpenAI намерена применить обучение с подкреплением с использованием обратной связи от человека (RLHF) для улучшения помощи и участия ChatGPT. Важным аспектом этого улучшения является сбор оценок от тренеров по искусственному интеллекту. Эта оценка проводится путем сравнения различных ответов ChatGPT на основе их рейтингов.

CriticGPT служит для улучшения навыков логического мышления ChatGPT, тем самым уменьшая количество неточных ответов и ложной информации, что усложняет инструкторам-людям выявление ошибок по мере развития ChatGPT.

Этот инструмент в основном предназначен для выявления и составления критических замечаний, которые указывают на несоответствия в ответах ChatGPT. OpenAI признает, что этот инструмент не является безошибочным, но он значительно упрощает процесс обнаружения ошибок для инструкторов, позволяя им выявлять проблемы более эффективно по сравнению с ручными методами без участия ИИ.

Как заядлый пользователь CriticGPT, я рад сообщить, что, по слухам, этот инновационный инструмент расширит мои способности к критике, что позволит мне давать более полные и содержательные оценки в будущем. Хотя инструкторы ИИ и CriticGPT эффективно функционируют как автономные объекты, синергия между человеком и CriticGPT оказывается популярным и комплексным решением, когда дело доходит до предоставления точной и подробной критики.

Согласно выводам OpenAI:

Как исследователь, изучающий предпочтения тренеров относительно стилей критики между CriticGPT и ChatGPT, я обнаружил интригующую тенденцию. Почти в двух третях случаев, связанных с естественными ошибками, инструкторы явно отдают предпочтение критике, созданной CriticGPT, а не критике ChatGPT. Причина такого выбора многогранна.

CriticGPT все еще находится в стадии разработки

Хотя CriticGPT заслуживает внимания, он требует значительного улучшения, основываясь на следующих отмеченных недостатках OpenAI:

Мы обучали CriticGPT на довольно коротких ответах ChatGPT. Чтобы контролировать агентов будущего, нам потребуется разработать методы, которые помогут тренерам понимать длинные и сложные задачи.
Модели все еще галлюцинируют, и иногда тренеры допускают ошибки в маркировке, увидев эти галлюцинации.
Иногда реальные ошибки могут распространяться на многие части ответа. Наша работа сосредоточена на ошибках, на которые можно указать в одном месте, но в будущем нам необходимо заняться и разрозненными ошибками.
CriticGPT может помочь только в ограниченном объеме: если задача или ответ чрезвычайно сложны, даже эксперт с помощью модели не сможет правильно оценить их.

Как страстный поклонник достижений OpenAI, я рад сообщить, что в будущем они планируют поднять CriticGPT на новую высоту за счет улучшения данных RLHF (Reinforcement Learning from Human Feedback) для обучения GPT-4. В другом исследовании, проведенном исследователями из Оксфордского университета, мне было интересно узнать, как они используют семантическую энтропию в качестве инструмента для оценки достоинств и значения полученных результатов. Такой подход позволил им оценить качество ответов и обнаружить любые следы галлюцинаций в тексте.

Будучи страстным поклонником технологических достижений, я не могу не восхищаться прогрессом, достигнутым в моделях искусственного интеллекта. Они больше не являются простыми инструментами; они становятся опытными специалистами по решению проблем, способными с легкостью решать сложные задачи. Эта тенденция побудила некоторых отраслевых экспертов, таких как Дженсен Хуанг, генеральный директор NVIDIA, предположить, что карьера кодирования, возможно, скоро уйдет. Хотя Хуанг, возможно, и не совсем прав, учитывая текущие обстоятельства, потенциальные возможности продвинутых моделей искусственного интеллекта, таких как GPT-4o от OpenAI, действительно вызывают серьезные опасения. Итак, если вы подумываете о будущей карьере, изучение вариантов в таких областях, как биология, образование, производство или сельское хозяйство, может оказаться более перспективным, чем заниматься программированием.

Смотрите также

2024-07-02 20:09