helmholtzeyeinstituteРоссийский офтальмологический журналRussian Ophthalmological Journal2072-00762587-5760Real time Publishers10.21516/2072-0076-2023-16-3-47-53helmholtzeyeinstitute-1297Research ArticleКЛИНИЧЕСКИЕ ИССЛЕДОВАНИЯCLINICAL STUDIESДиагностика патологий сетчатки по снимкам оптической когерентной томографии с использованием инструментов искусственного интеллектаDiagnostics of retinal pathologies by optical coherence tomography images using artificial intelligence toolshttps://orcid.org/0000-0002-8480-0894НероевВ. В.NeroevV. V.

Владимир Владимирович Нероев - д-р мед. наук, профессор, академик РАН, директор, заведующий кафедрой глазных болезней

ул. Садовая-Черногрязская, д. 14/19, Москва, 105062

ул. Делегатская, д. 20, стр. 1, Москва, 127473

Vladimir V. Neroev - Dr. of Med. Sci., professor, academician of the russian academy of science, director, head of chair of eye diseases

14/19, Sadovaya-Chernogryazskaya St., Moscow, 105062

20/1, Delegatskaya St., Moscow, 127473

https://orcid.org/0000-0002-5331-632XБрагинА. А.BraginA. A.

Алексей Александрович Брагин - канд. техн. наук, начальник отдела информационных технологий

ул. Садовая-Черногрязская, д. 14/19, Москва, 105062

Aleksey A. Bragin - Cand. of Tech. Sci., head of the information technology department

14/19, Sadovaya-Chernogryazskaya St., Moscow, 105062

https://orcid.org/0000-0003-4530-553XЗайцеваО. В.ZaytsevaO. V.

Ольга Владимировна Зайцева - канд. мед. наук, заместитель директора по организационно-методической работе, доцент кафедры глазных болезней

ул. Садовая-Черногрязская, д. 14/19, Москва, 105062

ул. Делегатская, д. 20, стр. 1, Москва, 127473

Olga V. Zaytseva - Cand. of Med. Sci., deputy director, associate professor of chair of eye diseases

14/19, Sadovaya-Chernogryazskaya St., Moscow, 105062

20/1, Delegatskaya St., Moscow, 127473

ФГБУ «НМИЦ глазных болезней имени Гельмгольца» Минздрава России; ФДПО ФГБОУ ВО «Московский государственный медико-стоматологический университет им. А.И. Евдокимова» Минздрава РоссииРоссияHelmholtz National Medical Research Center of Eye Diseases; Moscow Evdokimov State Medical Stomatological University of Medicine and DentistryRussian FederationФГБУ «НМИЦ глазных болезней имени Гельмгольца» Минздрава РоссииРоссияHelmholtz National Medical Research Center of Eye DiseasesRussian Federation2023101020231634753Copyright © Нероев В.В., Брагин А.А., Зайцева О.В., 20232023Нероев В.В., Брагин А.А., Зайцева О.В.Neroev V.V., Bragin A.A., Zaytseva O.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://roj.igb.ru/jour/article/view/1297

Важность раннего выявления и мониторинга заболеваний сетчатки обусловливает актуальность исследования, посвященного диагностике патологий сетчатки по снимкам оптической когерентной томографии (ОКТ) с использованием инструментов искусственного интеллекта (ИИ).Цель работы - разработка алгоритмов диагностики патологий сетчатки по ОКТ-снимкам при помощи методов машинного обучения.Материал и методы. В исследовании использован датасет (20 000 глаз), находящийся в открытом доступе в сети Интернет и включающий ОКТ-снимки здоровой сетчатки (5000 глаз) и сетчатки с тремя разными патологиями: хориоидальной неоваскуляризацией, макулярным отеком, множественными друзами (15 000 глаз). Система распознавания патологий сетчатки построена на основе обученной нейронной сети VGG16 (VGG — группа визуальной геометрии коллектива специалистов, занимающихся разработками в области ИИ).Результаты. Разработан и реализован на языке Python алгоритм для диагностики заболеваний сетчатки по ОКТ-снимкам на основе такого инструмента ИИ, как глубокие сверхточные нейронные сети. Чувствительность и специфичность модели нейронной сети в ходе диагностики заболеваний сетчатки составили 97 и 98% соответственно.Заключение. Показаны высокая эффективность и потенциал методов ИИ при построении системы автоматического обнаружения патологии сетчатки в рамках разрабатываемой в НМИЦ ГБ им. Гельмгольца автоматизированной системы принятия врачебных решений. Данный сервис в перспективе может быть использован для повышения эффективности ранней диагностики и мониторинга заболеваний сетчатки в условиях ограниченной доступности первичной офтальмологической помощи на части территорий Российской Федерации, в том числе на доврачебном этапе.

The importance of early detection and monitoring of retinal diseases determines the relevance of the study devoted to the diagnosis of retinal pathologies by OCT images using artificial intelligence (AI) tools.The purpose is to develop algorithms for diagnosing retinal pathologies from OCT images by machine learning methods.Material and methods. The study used a dataset (20,000 eyes), publicly available on the Internet, which contains OCT images of healthy retina (5,000 eyes) and retina affected by three different pathologies (choroid neovascularization, macular edema, multiple drusen, 15,000 eyes). The retinal pathology recognition system is based on a trained neural network VGG16 (developed by a visual geometry group of Oxford University).Results. The main result of the research is the development of an algorithm, implemented on Python, for the diagnosis of retinal diseases from OCT images based on convolutional neural network AI tool. The sensitivity and selectiveness of the neural network model during the diagnosis of retinal diseases were 97 and 98%, respectively.Conclusion. AI methods used in the retinal pathology automatic detection system developed at the Helmholtz National Medical Research Center of Eye Diseases as part of automated medical decision-making system have been shown to have high potential and efficiency. In the future, this service can be used to improve the effectiveness of early diagnosis and monitoring of retinal diseases in conditions of reduced availability of primary ophthalmological care in some of the territories of the Russian Federation, including that provided at the pre-doctoral stage.

патологии сетчаткивозрастная макулярная дегенерациядиабетический макулярный отекискусственный интеллектдиагностикасервисretinal pathologyage-related macular degenerationdiabetic macular edemaartificial intelligencediagnosticsserviceReferencesMonroy GL, Won J, Spillman DR, Dsouza R, Boppart SA. Clinical translation of handheld optical coherence tomography: practical considerations and recent advancements. J Biomed Opt. 2017; 22 (12): 1–30. doi: 10.1117/1.JBO.22.12.121715Monroy GL, Won J, Spillman DR, Dsouza R, Boppart SA. Clinical translation of handheld optical coherence tomography: practical considerations and recent advancements. J Biomed Opt. 2017; 22 (12): 1–30. doi: 10.1117/1.JBO.22.12.121715Das R, Spence G, Hogg RE, Stevenson M, Chakravarthy U. Disorganization of inner retina and outer retinal morphology in diabetic macular edema. JAMA Ophthalmol. 2018; 136 (2): 202–8. doi: 10.1001/jamaophthalmol.2017.6256Das R, Spence G, Hogg RE, Stevenson M, Chakravarthy U. Disorganization of inner retina and outer retinal morphology in diabetic macular edema. JAMA Ophthalmol. 2018; 136 (2): 202–8. doi: 10.1001/jamaophthalmol.2017.6256Schneider EW, Fowler SC. Optical coherence tomography angiography in the management of age-related macular degeneration. Curr Opin Ophthalmol. 2018; 29 (3): 217–25. doi: 10.1097/ICU.0000000000000469Schneider EW, Fowler SC. Optical coherence tomography angiography in the management of age-related macular degeneration. Curr Opin Ophthalmol. 2018; 29 (3): 217–25. doi: 10.1097/ICU.0000000000000469Herranz-Cabarcos A, Vega-L pez Z, Salas-Fandos O, et al. Macular optical coherence tomography for screening of pathology prior to cataract surgery: An approach based on tele-evaluation. Eur J Ophthalmol. 2022; 32 (6): 3433–7. doi: 10.1177/11206721221080818Herranz-Cabarcos A, Vega-L pez Z, Salas-Fandos O, et al. Macular optical coherence tomography for screening of pathology prior to cataract surgery: An approach based on tele-evaluation. Eur J Ophthalmol. 2022; 32 (6): 3433–7. doi: 10.1177/11206721221080818Макулярная дегенерация возрастная. Клинические рекомендации. Доступно на: https://cr.minzdrav.gov.ru/recomend/114_2 (дата обращения 10 февр. 2023).Age-related macular degeneration. Clinical recommendations. Available at: https://cr.minzdrav.gov.ru/recomend/114_2. (Accessed 10. Feb. 2023).Vira J, Marchese A, Singh RB, Agarwal A. Swept-source optical coherence tomography imaging of the retinochoroid and beyond. Expert Rev Med Devices. 2020; 17 (5): 413–26. doi: 10.1080/17434440.2020.1755256Vira J, Marchese A, Singh RB, Agarwal A. Swept-source optical coherence tomography imaging of the retinochoroid and beyond. Expert Rev Med Devices. 2020; 17 (5): 413–26. doi: 10.1080/17434440.2020.1755256Fujimoto J, Swanson E. The development, commercialization, and impact of optical coherence tomography. Invest. Ophthalmol. Vis. Sci. 2016; 57 (9): OCT1–OCT13. doi: 10.1167/iovs.16-19963Fujimoto J, Swanson E. The development, commercialization, and impact of optical coherence tomography. Invest. Ophthalmol. Vis. Sci. 2016; 57 (9): OCT1–OCT13. doi: 10.1167/iovs.16-19963Hu J, Chen Y, Yi Z. Automated segmentation of macular edema in OCT using deep neural networks. Med. Image Anal. 2019; 55: 216–27. doi: 10.1016/j.media.2019.05.002Hu J, Chen Y, Yi Z. Automated segmentation of macular edema in OCT using deep neural networks. Med. Image Anal. 2019; 55: 216–27. doi: 10.1016/j.media.2019.05.002Lu D, Heisler M, Sieun Lee S, et al. Deep-learning based multiclass retinal fluid segmentation and detection in optical coherence tomography images using a fully convolutional neural network. Med Image Anal. 2019; 54: 100–10. doi: 10.1016/j.media.2019.02.011Lu D, Heisler M, Sieun Lee S, et al. Deep-learning based multiclass retinal fluid segmentation and detection in optical coherence tomography images using a fully convolutional neural network. Med Image Anal. 2019; 54: 100–10. doi: 10.1016/j.media.2019.02.011Soomro TA, Afifi A, Zheng L, Soomro S, et al. Deep learning models for retinal blood vessels segmentation: a review. IEEE Access. 2019; 7: 71696–717. doi: 10.1109/ACCESS.2019.2920616Soomro TA, Afifi A, Zheng L, Soomro S, et al. Deep learning models for retinal blood vessels segmentation: a review. IEEE Access. 2019; 7: 71696–717. doi: 10.1109/ACCESS.2019.2920616Feng Z, Yang J, Yao L, et al. Deep retinal image segmentation: a FCN-based architecture with short and long skip connections for retinal image segmentation. ICONIP. Springer; 2017: 713–22. Available at: https://www.researchgate.net/publication/320580185_Deep_Retinal_Image_Segmentation_A_FCNBased_Architecture_with_Short_and_Long_Skip_Connections_for_Retinal_Image_Segmentation (Accessed 03.Nov. 2022).Feng Z, Yang J, Yao L, et al. Deep retinal image segmentation: a FCN-based architecture with short and long skip connections for retinal image segmentation. ICONIP. Springer; 2017: 713–22. Available at: https://www.researchgate.net/publication/320580185_Deep_Retinal_Image_Segmentation_A_FCNBased_Architecture_with_Short_and_Long_Skip_Connections_for_Retinal_Image_Segmentation (Accessed 03.Nov. 2022).Asgar R, Waldstein S, Schlanitz F, et al. U-Net with spatial pyramid pooling for drusen segmentation in optical coherence tomography. OMIA: Springer; 2019: 77–85 Available at: https://arxiv.org/pdf/1912.05404v1.pdf (Accessed 06. Jul. 2022).Asgar R, Waldstein S, Schlanitz F, et al. U-Net with spatial pyramid pooling for drusen segmentation in optical coherence tomography. OMIA: Springer; 2019: 77–85 Available at: https://arxiv.org/pdf/1912.05404v1.pdf (Accessed 06. Jul. 2022).Нероев В.В., Брагин А.А., Зайцева О.В. Разработка прототипа сервиса для диагностики диабетической ретинопатии по снимкам глазного дна с использованием методов искусственного интеллекта. Национальное здравоохранение. 2021; 2 (2): 64–72.Neroev V.V., Bragin A.A., Zaytseva O.V. Development of a prototype service for the diagnosis of diabetic retinopathy based on fundus photos using artificial intelligence methods. National Health Care (Russia). 2021; 2 (2): 64–72 (In Russ.). doi: 10.47093/2713- 069X.2021.2.2.64-72Esfahani EN, Daneshmand PG, Rabbani H, Plonka G. Automatic classification of macular diseases from OCT images using CNN guided with edge convolutional layer. Annu Int. Conf. IEEE Eng. Med. Biol. Soc. 2022; 2022: 3858–61. doi: 10.1109/EMBC48229.2022.9871322Esfahani EN, Daneshmand PG, Rabbani H, Plonka G. Automatic classification of macular diseases from OCT images using CNN guided with edge convolutional layer. Annu Int. Conf. IEEE Eng. Med. Biol. Soc. 2022; 2022: 3858–61. doi: 10.1109/EMBC48229.2022.9871322Kermany DS, Goldbaum M, Cai W, et al. Identifying medical diagnoses and treatable diseases by image-based deep learning. Cell. 2018; 172 (5): 1122–31. doi: https://doi.org/10.1016/j.cell.2018.02.010. Available at: http://www.cell.com/cell/fulltext/S0092-8674(18)30154-5 (Accessed 20.01.2023).Kermany DS, Goldbaum M, Cai W, et al. Identifying medical diagnoses and treatable diseases by image-based deep learning. Cell. 2018; 172 (5): 1122–31. doi: https://doi.org/10.1016/j.cell.2018.02.010. Available at: http://www.cell.com/cell/fulltext/S0092-8674(18)30154-5 (Accessed 20.01.2023).Джулли А., Пал С. Библиотека Keras — инструмент глубокого обучения. Москва: ДМК Пресс; 2017.Julli A., Pal S. Deep learning with Keras. Moscow: DMK Press; 2017 (In Russ.).Nielsen MA. Neural networks and deep learning. Determination Press. 2018. Available at: https://static.latexstudio.net/article/2018/0912/neuralnetworksanddeeplearning.pdf (Accessed (03. Jan.2023).Nielsen MA. Neural networks and deep learning. Determination Press. 2018. Available at: https://static.latexstudio.net/article/2018/0912/neuralnetworksanddeeplearning.pdf (Accessed (03. Jan.2023).

The authors declare that there are no conflicts of interest present.