Иерусалим, 13 мая 2025 года (TPS-IL) — Команда исследователей из Университета Бен-Гурион в Негеве разработала новую базу данных для проверки способности языковых моделей искусственного интеллекта диагностировать сложные медицинские случаи. Их результаты, представленные на Ассоциации по Продвижению Искусственного Интеллекта в Филадельфии, показывают, что общие модели, такие как GPT-4o, могут оказаться более эффективными, чем модели, специально разработанные для медицины.

Традиционно языковые модели искусственного интеллекта тестировались на более простых медицинских случаях, таких как экзаменационные вопросы или обычные заболевания. Однако эти модели не были оценены на сложных, реальных случаях, с которыми часто сталкиваются врачи. Для заполнения этой пробела исследователи создали базу данных из 3 562 медицинских отчетов из журнала BMC Journal of Medical Case Reports, содержащих подробные описания необычных медицинских случаев и их диагнозов. Случаи были представлены в виде как множественного выбора, так и открытых вопросов, имитируя реальные диагностические сценарии.

Результаты были удивительными. GPT-4o, общая языковая модель, превзошла медицинские модели, такие как Meditron-70B и MedLM-Large, в диагностике этих сложных случаев. GPT-4o достигла точности 87,9% на вопросах с множественным выбором и 76,4% на открытых вопросах, превзойдя специализированные модели.

«Мы были удивлены увидеть, что общие модели, такие как GPT-4o, показали лучшие результаты, чем те, что адаптированы для медицины», — сказал один из исследователей Офир Бен-Шохам. «Мы показали, что большие языковые модели могут использоваться для диагностики сложных медицинских случаев».

Это исследование значимо, потому что оно демонстрирует, что модели искусственного интеллекта, такие как GPT-4o, могут помочь диагностировать сложные медицинские состояния более эффективно. Созданная командой база данных CUPCase может стать ценным инструментом для тестирования новых моделей искусственного интеллекта в будущем. База данных открыта для использования и может быть расширена с добавлением новых случаев по мере разработки новых моделей.

«Цель заключалась в создании системы, которая могла бы оценить, насколько хорошо языковые модели диагностируют реальные, сложные случаи, а не только обычные», — сказал аспирант Уриэль Перец.

Доктор Надав Рапопорт, еще один член исследовательской группы, пояснил, что диагностика сложных случаев может быть длительным и неопределенным процессом, приводящим к задержкам и повышенным затратам для пациентов. База данных CUPCase, предоставляя подробные реальные случаи, может помочь ускорить этот процесс и улучшить уход за пациентами.

Исследование имеет несколько практических применений в здравоохранении, в первую очередь путем улучшения скорости и точности медицинских диагнозов. Модели искусственного интеллекта, такие как GPT-4o, могут помочь врачам диагностировать сложные медицинские случаи быстрее, сокращая диагностические задержки и улучшая результаты для пациентов. База данных CUPCase, содержащая коллекцию реальных случаев, может служить ценным инструментом поддержки клинических решений, помогая врачам принимать более точные решения, особенно в случаях сложных или редких заболеваний.

Кроме того, модель искусственного интеллекта может помочь в обучении медицинских специалистов, предлагая интерактивный ресурс для изучения сложных диагностических процессов.

Инструменты на основе искусственного интеллекта также могут расширить доступ к экспертной диагностической поддержке в местах с ограниченным количеством специалистов. В условиях оказания неотложной помощи модели искусственного интеллекта могут предоставлять помощь в реальном времени при диагностике.