Кирилл Дмитриевич Аксенов — генеральный директор; научный сотрудник
наб. им. Адмирала Серебрякова, д. 49, Новороссийск, Краснодарский край, 353905
ул. Карла Маркса, д. 20, Новороссийск, Краснодарский край, 353900
Kirill D. Aksenov — CEO; researcher
Admiral Serebryakov Emb., 49, Novorossiysk, Krasnodar Region, 353905
20, Karl Marx St., Novorossiysk, Krasnodar Region, 353900
Любовь Евгеньевна Аксенова — научный сотрудник
наб. им. Адмирала Серебрякова, д. 49, Новороссийск, Краснодарский край, 353905
ул. Карла Маркса, д. 20, Новороссийск, Краснодарский край, 353900
Lyubov E. Aksenova — researcher
Admiral Serebryakov Emb., 49, Novorossiysk, Krasnodar Region, 353905
20, Karl Marx St., Novorossiysk, Krasnodar Region, 353900
Цель работы — оценка возможности диагностики офтальмологических и системных заболеваний по изображениям глазного дна с использованием мультимодальной трансформерной модели, обученной на открытом наборе данных.
Материал и методы. Для обучения и валидации использован открытый набор данных RFMiD, содержащий 3200 изображений глазного дна, размеченных относительно 29 классов заболеваний. В качестве модели использована предварительно обученная мультимодальная трансформерная архитектура, дообученная на этом наборе данных.
Результаты. Модель показала стабильную сходимость и высокую точность при определении 29 классов заболеваний по изображениям глазного дна, достигнув AUC 0.9155 без признаков переобучения.
Заключение. Полученные результаты демонстрируют высокую производительность мультимодальной модели на основе трансформенной архитектуры для задач многоклассовой классификации заболеваний по изображениям глазного дна.
Purpose: to evaluate of the potential for diagnosing ophthalmological and systemic diseases from fundus images using a multimodal transformer model trained on an open dataset.
Material and methods. An open RFMiD dataset containing 3200 fundus images annotated across 29 disease classes was used for training and validation. A pre-trained multimodal transformer architecture was used and fine-tuned on this dataset.
Results. The model demonstrated stable convergence and high accuracy in identifying 29 disease classes from fundus images, achieving a test AUC of 0.9155 without signs of overfitting.
Conclusion. The obtained results show high performance of the multimodal transformer-based model for the task of multiclass disease classification from fundus images.
The authors declare that there are no conflicts of interest present.