AI е също толкова добър в диагностицирането на заболяването, колкото и хората
Първият систематичен преглед и метаанализ от този вид установява, че изкуственият интелект (ИИ) е също толкова добър в диагностицирането на заболяване въз основа на медицински образ, колкото здравните специалисти. Необходими са обаче по-висококачествени изследвания.
Нова статия изследва съществуващите доказателства в опит да определи дали ИИ може да диагностицира заболявания толкова ефективно, колкото здравните специалисти.
Доколкото знаят авторите - тоест огромен екип от изследователи, ръководени от професор Аластър Денистън от Университетските болници в Бирмингам NHS Foundation Trust в Обединеното кралство - това е първият систематичен преглед, който сравнява резултатите от изкуствения интелект с медицинските специалисти за всички заболявания.
Проф. Денистън и екипът му претърсиха няколко медицински бази данни за всички изследвания, публикувани между 1 януари 2012 г. и 6 юни 2019 г. Екипът публикува резултатите от своя анализ в списанието Lancet Digital Health.
AI наравно със здравните специалисти
Изследователите потърсиха проучвания, които сравняваха диагностичната ефективност на алгоритмите за дълбоко обучение с тази на здравните специалисти, когато бяха поставили диагноза въз основа на медицински изображения.
Те изследваха качеството на докладването в споменатите проучвания, тяхната клинична стойност и дизайна на изследванията.
Освен това, когато трябваше да се оцени диагностичната ефективност на AI в сравнение с тази на здравните специалисти, изследователите разгледаха два резултата: специфичност и чувствителност.
„Чувствителност“ определя вероятността инструментът за диагностика да получи положителен резултат при хора, които имат заболяването. Специфичността се отнася до точността на диагностичния тест, който допълва мярката за чувствителност.
Процесът на подбор даде само 14 проучвания, чието качество беше достатъчно високо, за да се включи в анализа. Проф. Денистън обяснява: „Прегледахме над 20 500 статии, но по-малко от 1% от тях бяха достатъчно стабилни в своя дизайн и докладваха, че независимите рецензенти имат голямо доверие в техните твърдения.“
„Нещо повече, само 25 проучвания валидират външно моделите на ИИ (използвайки медицински изображения от различна популация), а само 14 проучвания сравняват ефективността на ИИ и здравните специалисти, използвайки една и съща тестова проба.“
„В рамките на тази шепа висококачествени проучвания открихме, че дълбокото обучение наистина може да открие заболявания, вариращи от рак до очни заболявания, толкова точно, колкото здравните специалисти. Но е важно да се отбележи, че ИИ не превъзхожда съществено човешката диагноза. "
Проф. Аластър Денистън
По-конкретно, анализът установи, че AI може правилно да диагностицира заболяването в 87% от случаите, докато откриването от здравни специалисти дава 86% степен на точност. Специфичността на алгоритмите за дълбоко обучение е 93%, в сравнение с хората на 91%.
Предубежденията могат да преувеличават представянето на AI
Проф. Денистън и колегите също обръщат внимание на няколко ограничения, които са открили в проучвания, които изследват диагностичните показатели на изкуствения интелект.
Първо, повечето проучвания изследват диагностичната точност на ИИ и здравните специалисти в изолирана обстановка, която не имитира редовна клинична практика - например, лишавайки лекарите от допълнителна клинична информация, която обикновено им е необходима, за да поставят диагноза.
На второ място, казват изследователите, повечето проучвания сравняват само набори от данни, докато висококачествените изследвания в диагностичните показатели ще изискват такива сравнения при хората.
Освен това, всички проучвания са страдали от лошо отчитане, казват авторите, като анализът не отчита информация, която липсва в споменатите набори от данни. „Повечето [проучвания] не съобщават дали липсват някакви данни, каква пропорция това представлява и как се разглеждат липсващите данни в анализа“, пишат авторите.
Допълнителните ограничения включват непоследователна терминология, не е ясно зададен праг за анализ на чувствителността и специфичността и липсата на валидиране извън извадката.
„Съществува присъщо напрежение между желанието да се използва нова, потенциално животоспасяваща диагностика и императива за разработване на висококачествени доказателства по начин, който да е от полза за пациентите и здравните системи в клиничната практика“, коментира първият автор д-р Xiaoxuan Liu от Университет в Бирмингам.
„Ключов урок от нашата работа е, че в AI - както и във всяка друга част от здравеопазването - добрият дизайн на изследването има значение. Без него можете лесно да въведете пристрастие, което изкривява вашите резултати. Тези пристрастия могат да доведат до преувеличени твърдения за добра производителност за инструментите на ИИ, които не се превръщат в реалния свят. "
Д-р Xiaoxuan Liu
„Доказателствата за това как алгоритмите за изкуствен интелект ще променят резултатите за пациентите трябва да идват от сравнения с алтернативни диагностични тестове в рандомизирани контролирани проучвания“, добавя съавторът д-р Ливия Фаес от очната болница Moorfields, Лондон, Великобритания.
„Досега едва ли има такива опити, при които да се действа на диагностични решения, взети от алгоритъм на ИИ, за да се види какво се случва след това с резултатите, които наистина имат значение за пациентите, като навременното лечение, времето за изписване от болница или дори степента на оцеляване.“
