Результаты внешней проверки СНС или к вопросу о бесконечности обучающей выборки для ИИ

    По данным публикации в журнале Цифровой визуализации(Journal of Digital Imaging) за март 2019 - Generalizable Inter-Institutional Classification of Abnormal Chest Radiographs Using Efficient Convolutional Neural Networks / Обобщаемая межинституциональная классификация аномальных рентгенограмм грудной клетки с использованием эффективных сверточных нейронных сетей - внешняя ссылка

    Цель данного исследования заключалась в том, чтобы оценить эффективность сверточных нейронных сетей (СНС) для обнаружения отклонений в рентгенограммах грудной клетки и исследовать обобщаемость моделей для СНС полученных на данных из разных учреждений. В этом исследовании были использованы наборы данных рентгена грудной клетки из Национального института здравоохранения(NIH-CXR) и больницы штата Род-Айленд (RIH-CXR). Оба набора данных были разделены на обучающие, проверочные и тестовые выборки. Архитектуры DenseNet и MobileNetV2 СНС использовались для обучения моделей в каждом наборе данных для классификации рентгенограмм грудной клетки по нормальным или ненормальным категориям; модели, обученные по NIH-CXR, были разработаны, чтобы также предсказать наличие 14 различных патологических результатов. Модели оценивались на тестовых выборках NIH-CXR и RIH-CXR на основе площади под кривой рабочих характеристик приемника (AUROC). Модели DenseNet и MobileNetV2 достигли AUROC 0,900 и 0,893 для нормальной и ненормальной классификации на NIH-CXR и AUROC 0,960 и 0,951 на RIH-CXR. Для 14 патологических результатов в NIH-CXR MobileNetV2 достигал AUROC в пределах 0,03 от DenseNet для каждого результата со средней разницей 0,01. При внешней проверке на независимо собранных данных (например, модели обученные на RIH-CXR проверялись на данных NIH-CXR) модельные AUROC снижались на 3,6–5,2% по сравнению с их местно обученными аналогами. MobileNetV2 показал сравнимую производительность с DenseNet в данном анализе, продемонстрировав эффективность СНС для обнаружения нарушений рентгенограммы грудной клетки. Кроме того, модели можно обобщать на внешние данные, хотя при этом и происходит снижение точности, что следует учитывать при применении моделей к данным из различных учреждений.

    *Что и требовалось доказать. Т.е. нейросеть обученная на изображениях из одной больницы, стала работать хуже с изображениями из другой больницы. И тут мы снова возвращаемся к идеалистическому принципу желательной бесконечности обучающей выборки для нейросети. Т.е. если бы она могла включить все возможные варианты, например, рентгенограмм с патологией. Да, мечтать не вредно. И даже если бы это было возможно, то зачем нужна такая нейросеть? Ее можно будет с легкостью заменить обычным поисковым алгоритмом по имеющимся в базе данных изображениям - Классификатор на основе 3... .

    *Недавно я читал очередной обзор по применению нейросетевых технологий в медицине и там уже пришли к пониманию того, что искусственные нейронные сети - это просто статистический анализ, который хорошо работает на однородной выборке, т.е. в "комнатных" условиях и что малейший "шум" в диагностических изображениях может приводить к существенному снижению точности диагностики. Более того, там даже был поднят вопрос о проблеме "троянского" глубокого обучения, т.е. новой сфере подрывной деятельности, заключающейся в том, чтобы путем изменения обучающей выборки, добавлением туда "мусора", заставить нейронную сеть поглупеть.

    *комментарии редактора