Гран-при в баттле «Рентгенологи против ИИ»

Первый в России баттл между врачами и искусственным интеллектом состоялся в технопарке Сколково в рамках научно-практической конференции МРО «Лучевая диагностика в онкологии» 14 декабря 2019 года.

Участники

За сутки до начала баттла разработчики сервисов для лучевой диагностики, которые подали заявку на участие, получили по 100 исследований по выбранному направлению диагностики: рентгенография, компьютерная томография или маммография. Им необходимо было проанализировать снимки с помощью своих сервисов, а на следующий день отправить результаты организаторам.

В финальном этапе баттла приняли участие четыре сервиса: Третье мнение (Россия), IRYM (Россия), CELSUS (Россия) и HY Medical (Китай). Искусственному интеллекту и врачам предстояло проанализировать пять цифровых снимков. Не только проверить каждый на наличие патологических изменений, но и указать их локализацию.

Баттл

Баттл начался с анализа рентгенограмм лёгких. С врачами соревновался один сервис. В четырёх из пяти случаев результаты, полученные искусственным интеллектом, совпали с мнением врачей. При анализе последнего снимка сервис дал ложноположительный результат – то есть обнаружил патологию, хотя её не было. Распознавание снимка усложняло наличие перелома ребра, но в зону интереса, отмеченную сервисом, травма не попала.

Во втором раунде участники анализировали маммограммы. С врачами-экспертами соревновались два сервиса. Результаты анализа первых двух исследований были разными. У первого сервиса они лишь частично совпали с мнением врачей, а у второго совпали полностью.

Оставшиеся маммограммы оказались непростыми как для искусственного интеллекта, так и для врачей. Оба сервиса дали ложноположительный результат. Они обнаружили злокачественное образование там, где врачи-эксперты видели норму либо доброкачественное изменение. Мнение аудитории врачей об этих снимках тоже было неоднозначным: около половины из них заподозрили на снимках патологию.

Последний раунд был посвящён компьютерной томографии. Здесь мнения искусственного интеллекта и экспертов не совпали только в отношении одного снимка. Впрочем, он вызвал сомнения не только у ИИ, но и у аудитории.

Результаты

Гран-при конкурса получила компания «Медицинские скрининг системы» за разработку сервиса Цельс. По мнению жюри, система показала самый высокий общий результат по всем критериям оценки.

Приз зрительских симпатий получила компания «Третье мнение». В номинации «Помощник врача» победил сервис из Китая «HY Medical». Самым точным сервисом признали «IRYM». 

В качестве вывода отметим, что искусственный интеллект не может заменить врача, но может стать отличным помощником в его ежедневной работе и исключить влияние человеческого фактора при чтении цифровых снимков.