Telegram-канал apptractor - Mobile Development by AppTractor - iOS и Swift, Android и Kotlin, Flutter и Dart, инструменты, рынок и все остальное: Unsorted

Mobile Development by AppTractor - iOS и Swift, Android и Kotlin, Flutter и Dart, инструменты, рынок и все остальное

09 Jul 2024 08:24

ChatGPT хорошо программирует в задачах, существовавших до 2021 года, но испытывает трудности с новыми

Недавнее исследование, в ходе которого выяснялось, насколько хорошо ChatGPT программирует, показало, что он вполне неплох. По крайней мере в задачах, с которыми он знаком 🤖

• Исследование, опубликованное в июньском номере IEEE Transactions on Software Engineering, проверило GPT-3.5 на 728 задачах с LeetCode на пяти языках программирования (C, C++, Java, JavaScript и Python).
• На задачах, существовавших в LeetCode до 2021 года, ChatGPT решал легкие задачи в 89% случаев, задачи средней сложности — в 71% случаев, а трудные — в 40% случаев.
• Однако при тестировании на задачах, которые появились в LeetCode после 2021 года, результаты решения легких, средних и трудных задач снизились до 52%, 40% и 0.66% соответственно.

Когда дело доходит до проблем с алгоритмами после 2021 года, способность ChatGPT генерировать функционально корректный код страдает. Иногда он не может понять смысл вопросов даже для задач легкого уровня, — говорит исследователь. - Разумная гипотеза о том, почему ChatGPT лучше справляется с проблемами алгоритмов до 2021 года, заключается в том, что эти проблемы часто встречаются в обучающем наборе данных.

Исследователи также отмечают, что ChatGPT лучше исправляет человеческие ошибки, чем свои собственные, и может генерировать код с меньшими затратами времени выполнения и памяти в 50% случаев по сравнению с человеком. Хотя код, сгенерированный ChatGPT, также содержал приличное количество ошибок, «многие из них были легко устранимы».