Исследователи из Канады представили нейросетевого агента MedRAX, который должен помочь врачам анализировать рентгенограммы грудной клетки. Преимущество агента в том, что его специально разрабатывали для медицины, поэтому учли возможность интеграции с уже имеющимися инструментами.
Авторы проекта отмечают, что правильная трактовка рентгенограммы помогает врачам выбрать подходящий курс лечения и назначить лекарства. Имеющиеся нейросети хорошо справляются с расшифровкой снимков и обнаружением патологий, но они работают изолированно от имеющегося ПО. Это ограничивает их практическую пользу в клинической практике. Получается, что есть эффективные нейросети, но врачи не могут их встроить в список рабочих инструментов.
Для решения этой проблемы исследователи разработали MedRAX — платформу нейросетевых агентов для анализа рентгенограмм грудной клетки, которую можно интегрировать с уже имеющимися инструментами. MedRAX может разбивать сложные задачи на несколько этапов и рассуждать в процессе принятия решений. При этом пользователь может задавать вопросы по снимку, чтобы нейросеть обратила внимание на конкретные области.
Пример работы MedRAX
MedRAX компетентен в следующих видах вопросов:
Обнаружение результатов и формирование первичного вывода. Например, «Есть ли лёгочный узелок в правой верхней доле».
Классификация результатов по различным признакам. Например, «По внешнему виду образование доброкачественное или злокачественное».
Точное позиционирование результатов относительно строения лёгких. Например, «В каком сегменте бронхолёгочного сегмента находится образование».
Сравнение относительно размера и расположения. Например, «Как изменялся размер плеврального выпота по сравнению с предыдущим исследованием».
Понимание взаимосвязи результатов. Например, «Коррелирует ли лимфаденопатия средостения с образованием в лёгком».
Интерполяция результатов для постановки первичного диагноза. Например, «Какой диагноз может быть, учитывая рентгенограмму».
Описание обнаруженных патологий. Например, «Какие края узелка: гладкие, шиповидные или неправильной формы».
Объяснение медицинского обоснования результатов. Например, «Почему результаты исследования предполагают инфекционную, а не злокачественную этиологию».
Возможности нейросети MedRAX сравнили с LLaVA-Med (версия LLaVA-13B, дообученная для ответов на медицинские вопросы), CheXagent (нейросеть для интерпретации рентгенограмм), GPT-4o и Llama-3.2-90B Vision. Тесты проводили в популярном бенчмарке CheXbench и в ChestAgentBench — бенчмарке, который разработали сами исследователи. По результатам исследования видно, что MedRAX справляется лучше других нейросетей.
Например, GPT-4o часто ставит неправильный диагноз из-за того, что не учитывает контекст всего снимка. Нейросеть замечает один признак болезни и упускает другие детали. Архитектура поэтапного рассуждения помогает MedRAX давать более точные результаты.
Код проекта опубликовали на GitHub, а текст исследования доступен на портале Arxiv. Также разработчики поделились бенчмарком ChestAgentBench.
