Использование LLM для интерпретации ЭМК со стрельбой по воробьям из пушки сравнил директор по развитию платформы прогнозной аналитики Webiomed, эксперт по искусственному интеллекту ЦНИИОИЗ Минздрава России Александр Гусев, выступая в рамках конференции ИТМ ИИ. Он поделился опытом своей компании, на основании которого был сделан такой вывод.

«Наша команда разрабатывает платформу прогнозной аналитики WebioMed. Задача простая — анализ электронных медицинских карт с помощью технологии ИИ для того, чтобы выявлять пациентов высокого риска, пациентов с пропущенными заболеваниями. Оценку риска мы делаем для каждой нозологической группы отдельно, в том числе наркологических», — рассказал Гусев.

В прошлом году компания получила от нескольких субъектов критику, которая сводилась к тому, что текущие на тот момент алгоритмы анализа и выявления пациентов высокого риска находили меньше таких пациентов, чем популяционно ожидалось. Возник вопрос: почему так?

Как оцениваются наркологические риски? Если пациент регулярно попадает в медорганизацию в состоянии алкогольного опьянения, или врач видит признаки, например, злоупотребления алкоголем, этого достаточно. Но извлечение этих признаков из ЭМК является довольно сложной технической задачей, заявил эксперт. Слова «злоупотребление алкоголем» крайне редко пишут в карте. Итог: на Ямале главный врач зашла в свою карту, нажала подсказку в СППВР и получила ответ, что у нее признаки злоупотребления алкоголем, хотя она ведет ЗОЖ.

Команда Webiomed тщательно проанализировала ситуацию, провела исследование и сделала вывод: нужно крайне аккуратно обращаться с LLM.

«Строго говоря, LLM не интерпретирует текст; она его генерирует. То есть эта модель учится не для того, чтобы все время повышать точность анализа. А для того, чтобы как можно лучше вас обманывать. Они будут создавать ответ так, чтобы вы не видели разницу между вашим ответом и ее ответом, а задача в медицине состоит не в этом», — резюмировал Гусев.

По его словам, чтобы модель можно было потом применять в реальной клинической практике, нужно тщательно работать с настройками, настраивать температуру, управлять коридором контекста. И на это требуются часы, экспертные знания, что обходится недешево.

«LLM действительно перевернет нашу отрасль, но в ней много рисков. Так что мы для себя решили, что не надо из пушки стрелять по воробьям, и пока свернули тему, связанную с использованием LLM в интерпретации ЭМК», — подытожил Гусев.