Диагностика офтальмологических и системных заболеваний по изображениям глазного дна с использованием мультимодальной трансформерной модели

Цель работы — оценка возможности диагностики офтальмологических и системных заболеваний по изображениям глазного дна с использованием мультимодальной трансформерной модели, обученной на открытом наборе данных.

Материал и методы. Для обучения и валидации использован открытый набор данных RFMiD, содержащий 3200 изображений глазного дна, размеченных относительно 29 классов заболеваний. В качестве модели использована предварительно обученная мультимодальная трансформерная архитектура, дообученная на этом наборе данных.

Результаты. Модель показала стабильную сходимость и высокую точность при определении 29 классов заболеваний по изображениям глазного дна, достигнув AUC 0.9155 без признаков переобучения.

Заключение. Полученные результаты демонстрируют высокую производительность мультимодальной модели на основе трансформенной архитектуры для задач многоклассовой классификации заболеваний по изображениям глазного дна.

1. Abràmoff M, Garvin M, Sonka M. Retinal imaging and image analysis. IEEE RevBiomed Eng. 2010; 3: 169–208. doi: 10.1109/RBME.2010.2084567

2. Issa P, Troeger E, Finger R, et al. Structure-function correlation of the human central retina. PLoS One. 2010 Sep 22; 5 (9): e12864. doi: 10.1371/journal.pone.0012864

3. Patton N, Aslam T, MacGillivray T, et al. Retinal image analysis: concepts, applications and potential. Prog Retin Eye Res. 2006 Jan; 25 (1): 99–127. doi: 10.1016/j.preteyeres.2005.07.001

4. Li LY, Isaksen AA, Lebiecka-Johansen B, et al. Prediction of cardiovascular markers and diseases using retinal fundus images and deep learning: a systematic scoping review. Eur Heart J Digit Health. 2024 Sep 10; 5 (6): 660–9. doi: 10.1093/ehjdh/ztae068

5. Ting DSW, Cheung CY, Lim G, et al. Development and validation of a deep learning system for diabetic retinopathy and related eye diseases using retinal images from multiethnic populations with diabetes. JAMA. 2017 Dec 12; 318 (22): 2211–23. doi: 10.1001/jama.2017.18152

6. Pachade S, Porwal P, Thulkar D, et al. Retinal fundus multi-disease image dataset (RFMiD). IEEE Dataport. 2020 November, 25. doi:10.21227/s3g7-st65

7. Zhou Y, Chia MA, Wagner SK, et al. A foundation model for generalizable disease detection from retinal images. Nature. 2023; 622: 156–63.