Последняя версия большой языковой модели OpenAI, ChatGPT 4.0, успешно сдала экзамен по клинической неврологии. Авторы исследования полагают, что после некоторой доработки ChatGPT может найти практическое применение в клинической неврологии.
Результаты эксперимента, проведенного группой исследователей из университетской больницы Гейдельберга и Немецкого центра исследований рака в Гейдельберге, были опубликованы 7 декабря. В тесте, проведенном 31 мая, участвовали две версии ChatGPT: 3.5 и более поздняя версия 4.0.
Исследователи использовали банк вопросов для экзамена по неврологии Американского совета психиатрии и неврологии с небольшой группой вопросов от Европейского совета по неврологии.
В то время как более старая версия ChatGPT набрала 66,8% баллов, правильно ответив на 1306 из 1956 вопросов, более поздняя модель, ChatGPT 4.0, набрала 85% баллов с 1662 правильными ответами. Средний балл обычных пользователей составил 73,8%. ChatGPT 4.0 превзошел людей в вопросах, связанных с поведением, когнитивными процессами и психологией, и эффективно сдал экзамен по неврологии, поскольку 70% правильных ответов считаются проходным баллом в учебных заведениях.
По мнению группы исследователей, проводивших эксперимент, эти результаты можно рассматривать как возможность использования ChatGPT в клинической неврологии после некоторых модификаций: «Эти результаты свидетельствуют о том, что при условии дальнейших усовершенствованиях большие языковые модели могут иметь существенное применение в клинической неврологии».
Исследователи отмечают, что все еще есть несколько оговорок. Хотя существует четкая перспектива применения ChatGPT в системах документации и поддержки принятия решений, неврологи должны быть осторожны при их использовании языковых моделей на практике, поскольку они все еще несовершенны в отношении когнитивных задач высокого порядка.
▼