Генеративный искусственный интеллект в офтальмологии

Waisberg E. et al. Generative artificial intelligence in ophthalmology //Survey of ophthalmology. – 2025. DOI: 10.1016/j.survophthal.2024.04.009

Авторы статьи: Ethan Waisberg, Joshua Ong, Sharif Amit Kamran, Mouayad Masalkhi, Phani Paladugu, Nasif Zaman, Andrew G. Lee, Alireza Tavakkoli

Оригинал статьи распространяется по лицензии CC BY 4.0

Перевод статьи: ©2025 ООО «Издательство «Открытые системы», распространяется по лицензии CC BY-NC-ND 4.0

Аннотация

Генеративный искусственный интеллект (ИИ) произвел революцию в медицине за последние несколько лет. Генеративно-состязательная сеть (GAN) — это платформа глубокого обучения, которая стала мощным инструментом для анализа изображений в медицине, особенно в офтальмологии. В этой статье рассмотрена современная литература по офтальмологии, касающаяся GAN, и выделены ключевые аспекты в этой области. Будет кратко затронут ChatGPT, еще один вариант реализации генеративного ИИ, и его потенциал применения в офтальмологии. Также рассмотрено потенциальное использование GAN в диагностической визуализации глаз с особым акцентом на 3 основные области: улучшение изображения, выявление заболеваний и генерирование синтетических данных. Проведен поиск в PubMed, Ovid Medline, Google Scholar с момента создания до 30 октября 2022 года для обнаружения вариантов применения GAN в офтальмологии. В настоящий обзор включено в общей сложности 40 статей. Рассмотрены различные варианты применения GAN в офтальмологической визуализации, включая оптическую когерентную томографию, магнитно-резонансную томографию орбит, фотографию глазного дна и ультразвуковые исследования; однако также выделены несколько проблем, которые привели к получению неточных и нетипичных результатов в определенных случаях. Наконец, рассмотрены будущие направления и соображения по генеративному ИИ в офтальмологии.

1. Введение

Применение технологии глубокого обучения в офтальмологии в последние годы развивается экспоненциально. Генеративно-состязательные сети (GAN) — это методы глубокого обучения, которые были впервые предложены в 2014 году и быстро стали самой успешной генеративной моделью, разработанной в последние годы [1]. GAN включают одновременное обучение 2 моделей: генеративной модели, которая использует данные обучения для генерации изображений, и дискриминационной модели, которая оценивает, было ли изображение получено из реальных обучающих данных, а не сгенерировано [1]. Конкуренция между генеративной моделью и дискриминационной моделью приводит к состязательной игре с нулевой суммой для обеих моделей, повышая их эффективность, то тех пор, пока генеративная модель не сможет создавать синтетические изображения, которые почти неотличимы от подлинных. Это состояние равновесия Нэша для оптимального обучения GAN. GAN разрабатывается как минимаксная игра, в которой генератор хочет максимизировать потери дискриминатора, а дискриминатор хочет минимизировать функцию ценности.

Совсем недавно описано применение GAN в офтальмологии для прогнозирования ответа на лечение [2], для повышения статистической мощности клинических исследований [3], для удаления теней на изображениях оптической когерентной томографии (ОКТ) [4], для получения ангиографических изображений на основе фотографий сетчатки глазного дна [5], для прогнозирования внешнего вида после операции [6], для выявления глаукомы [7, 8] и дисфункции мейбомиевых желез [9], а также для синтеза ОКТ-изображений для тренировочных наборов данных [10] (таблица 1). Благодаря большому объему изображений, обычно получаемых в офтальмологии, и большому количеству доступных структурированных данных, GAN стали привлекать повышенный интерес для исследований. Поскольку диагностика офтальмологических заболеваний в значительной степени зависит от результатов визуализирующих исследований, GAN, вероятно, приведут к улучшению выявления офтальмологических заболеваний в ближайшие годы. Мы рассматриваем текущее состояние GAN, применяемых при различной офтальмологической патологии.

Таблица 1. Значимые недавние применения GAN в офтальмологии

ChatGPT — недавно представленный чрезвычайно популярный вариант генеративного искусственного интеллекта (ИИ), который, как ожидается, произведет революцию во многих аспектах медицины [11] и офтальмологии, начиная от помощи в сортировке офтальмологических симптомов [12], медицинского образования [13], ответов на вопросы на сертификационном экзамене по офтальмологии [14] и заканчивая написанием протоколов операции [15]. ChatGPT — это большая языковая модель (LLM), которая может генерировать шокирующе человекоподобный текст на основе запроса. Многие из тех же проблем, с которыми сталкивается использование LLM, также применимы к GAN [16]; однако важно отметить, что LLM, такие как ChatGPT, не являются GAN, а скорее моделью на архитектуре трансформер. ChatGPT, построенный на архитектуре трансформер, представляет собой платформу нейронной сети, известную своей способностью обрабатывать последовательности, в частности, естественный язык. Основная цель модели — делать прогнозы о следующем слове в каждой фразе, основываясь на приобретенном понимании связей между словами в последовательности. В отличие от GAN, которые используют генератор и дискриминатор для работы в тандеме, ChatGPT работает исключительно на единственной модели, что упрощает его работу. ChatGPT может функционировать как интеллектуальный помощник, эффективно анализируя офтальмологические симптомы, предъявляемые пациентами, и предоставляя рекомендации по дальнейшему обследованию. Он может изучать клинические руководства и доступные данные о пациентах, чтобы дать первоначальные рекомендации, тем самым помогая медицинским работникам направлять свое внимание на сложные случаи. Помимо предоставления диагностических возможностей, ChatGPT может предложить рекомендации по лечению на основе утвержденных руководств. Кроме того, ChatGPT может функционировать как ценный инструмент для обучения пациентов, предлагая доступную и точную информацию, касающуюся различных проблем со зрением. Модель умеет пояснять медицинскую терминологию и объяснять тонкости альтернативных методов лечения и профилактических мер. Хотя ChatGPT имеет потенциал, он не лишен своих уникальных проблем. Эти проблемы включают вопросы, связанные с безопасностью и этическими аспектами использования данных пациентов, а также возможность неправильного использования технологий в медицинских учреждениях и многое другое. Решение этих проблем имеет первостепенное значение для того, чтобы гарантировать эффективность и безопасность технологии для клинического применения.

2. Методы

Выполнен поиск в PubMed, Ovid Medline, Google Scholar с момента создания до 30 октября 2022 года с использованием нескольких поисковых терминов либо в качестве отдельных поисковых терминов, либо в сочетании, включая термины «генеративно-состязательные сети», «глубокое обучение», «искусственный интеллект», «синтез офтальмологических изображений», «оптическая когерентная томография», «фотография глазного дна», «орбита», «магнитно-резонансная томография», «ультразвук», «сетчатка», «нейроофтальмология», «сухость глаза», «глаукома», «передний сегмент». Также проведен ручной поиск по ссылкам во включенных публикациях. В поиск и последующий обзор включены релевантные статьи, опубликованные в англоязычных рецензируемых журналах.

Публикации включали в работу, если они были опубликованы на английском языке или имели аннотации на английском языке. Предпринята попытка включить неанглоязычную литературу путем поиска переводов ключевых статей, однако использование аннотаций на английском языке было основным методом для статей без доступных переводов. Авторы признают это ограничение и исключают исследования, которые были опубликованы на языках, отличных от английского, а также аннотации, для которых переводы на английский язык были недоступны или некачественны.

Были установлены критерии включения рецензируемых журнальных статей и публикаций, которые предлагали новое понимание использования искусственного интеллекта в офтальмологии, включая диагностические и терапевтические применения.

3. Результаты

В общей сложности рассмотрено 54 статьи, и 40 статей были включены в этот обзор.

3.1. Основы генеративно-состязательных сетей

GAN играют решающую роль в приложениях на основе ИИ следующего поколения в медицине, особенно в области офтальмологии, благодаря продвинутому машинному обучению, глубокому обучению и нейронным сетям. Глубокое обучение — это еще один скачок в ИИ, расширяющий машинное обучение, используя архитектуры сверточных нейронных сетей для дальнейшего извлечения диагностических признаков из данных. Системы глубокого обучения имеют широкое применение в области анализа медицинских изображений [17]. Этот тип обучения может работать с несколькими слоями наборов данных, не обязательно одним большим набором данных, и преобразует данные нелинейно, чтобы выделить различные взаимосвязи, которые ранее были не такими четкими. Такие достижения в области структурированных данных и наслоения требуют способности ИИ к обучению за пределами ожидания [17]. Ключевые шаги, обеспечиваемые глубоким обучением, заложили основу для генеративно-состязательных сетей, которые могут извлекать сложные закономерности из многоуровневых наборов данных и генерировать синтетические данные, помогающие непрерывно обучать ИИ [18]. Приложения, использующие этот анализ наборов данных следующего уровня, могут произвести революцию в медицинской диагностике, благодаря огромному массиву данных о пациентах, доступных в больницах в настоящее время. GAN — это модель глубокого обучения, состоящая из генератора и дискриминатора (рис. 1). Дискриминатор оценивает синтетические данные, полученные генератором, сравнивая с реальными данными, и они оба улучшаются в ходе состязательного процесса. Благодаря этому конкурентному процессу обучения GAN могут производить все более реалистичные синтетические данные.

Рис. 1. Базовая диаграмма GAN, показывающая, как сгенерированное ОКТ-изображение оценивается дискриминатором. Эта обратная связь в режиме реального времени помогает генератору продолжать синтезировать все более реалистичные изображения. ОКТ-изображения использованы в схеме от Zheng et al. [10] по международной лицензии Creative Commons Attribution 4.0.

Базовый ИИ имеет множество ограничений, начиная от методов выборки, размера выборки и систематических ошибок. Эти ограничения были уменьшены благодаря машинному обучению и глубокому обучению [18]; однако GAN выводят это на новый уровень, особенно в такой нестандартной области с множеством нюансов, как медицина и офтальмология. Преимущество GAN в упреждающей автоматизации и самостоятельном обучении за счет способности генерировать точные, но синтетические данные будет иметь решающее значение для разработки сложных алгоритмов, которые могут помочь в диагностике сложных заболеваний. Чтобы лучше понять значение GAN в офтальмологии, сначала обсудим контекст GAN в области ИИ.

3.2. Генеративно-состязательные сети в офтальмологии

GAN могут применяться в первую очередь для офтальмологической визуализации, включая ОКТ, фотографию глазного дна, флуоресцентную ангиографию, ультразвуковое исследование орбит, МРТ орбит и аутофлуоресценцию глазного дна. Далее подробно рассмотрены различные применения GAN для офтальмологической патологии и контекст, в котором GAN могут улучшить клинические подходы. GAN могут сыграть решающую роль в синтезе и интерпретации изображений, хотя предстоит проделать большую работу, прежде чем они станут основным инструментом в офтальмологии.

4. Оптическая когерентная томография (ОКТ)

ОКТ — это неинвазивная технология визуализирующих исследований глаз, которая обеспечивает получение изображений поперечного сечения биологических тканей in vivo и в режиме реального времени [19]. ОКТ является мощным средством визуализации и может использоваться для диагностики и лечения различных офтальмологических заболеваний, включая возрастную макулярную дегенерацию (ВМД), глаукому, диабетическую ретинопатию, диабетический макулярный отек, отслоение сетчатки, центральную серозную хориоретинопатию и отек диска зрительного нерва [20]. Возможности ОКТ ограничены тем, что полученное изображение основано на световых волнах и на нем могут быть отражения, тени, затухания и границы разделов. Из-за движений глаз могут возникать артефакты, связанные с пациентом. Артефакты, связанные с оператором, включают ухудшение качества (из-за плохой фокусировки) и децентрирование изображений. Наиболее распространенной ошибкой ОКТ являются артефакты, связанные с программным обеспечением, в которых внутренние и внешние границы сетчатки неправильно идентифицируются из-за неэффективности алгоритмов сегментации. Это может привести к ошибкам при оценке толщины сетчатки. Существуют также проблемы со схлопыванием мод распределения и непреднамеренными изменениями, которые вызывают изменение цвета глаз на синтетических изображениях и реже — пространственную деформацию. Более подробно это рассматривается в разделе об ограничениях.

Halupka и соавт. [21] предложили новый подход к использованию GAN для уменьшения шума ОКТ-изображений, который обеспечил значительное улучшение качества изображения при сохранении структурных особенностей слоев сетчатки. Ouyang и соавт. [22] предложили использовать условную GAN для удаления артефактов и зернистости, что улучшило эффективность алгоритмов сегментации ОКТ. Cheong и соавт. [4] разработали GAN для значительной коррекции теней кровеносных сосудов на ОКТ-изображениях головки зрительного нерва. Надлежащая визуализация головки зрительного нерва имеет важное значение для диагностики оптической нейропатии, связанной и несвязанной с глаукомой [23]. Schlegl и соавт. создали GAN для быстрого обнаружения аномалий на ОКТ, которые превосходили по эффективности предыдущие модели. Wang и соавт. [24] предложили GAN для точного обнаружения и сегментации очагов ретинопатии в режиме реального времени. Zheng и соавт. [7] позже разработали полуконтролируемую GAN для обнаружения первичной закрытоугольной глаукомы. Аналогичные полуконтролируемые методы GAN могут быть применены как в исследованиях, так и в клинических условиях для использования немеченых наборов обучающих данных для улучшения моделей глубокого обучения.

Рис. 2. ОКТ-изображения a) вдали от оптического диска и b) вблизи оптического диска до и после использования GAN для удаления теней. Перепечатано без изменений из Haris Cheong, Sripad Krishna Devalla, Tan Hung Pham, et al.; DeshadowGAN: A Deep Learning Approach to Remove Shadows from Optical Coherence Tomography Images. Trans. Vis. Sci. Tech. 2020;9(2):23. doi: https://doi.org/10.1167/tvst.9.2.23. по международной лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0.

5. Синтетические ОКТ-изображения

Сверточная нейронная сеть (СНС) является одной из наиболее широко используемых моделей глубокого обучения и в последнее время применяется для анализа ОКТ-изображений сетчатки [25]; однако аннотация ОКТ-изображений для набора данных должна быть выполнена офтальмологом, что является как трудоемким, так и весьма субъективным процессом. Kugelman и его соавт. [26] предложили решение этой проблемы путем расширения наборов обучающих данных ОКТ-изображений с использованием GAN и успешно создали синтетические изображения, которые улучшили сегментацию хореоретинальных границ на ОКТ. He и его соавт. [25] разработали сглаживающую метки GAN (LSGAN), которая способна создавать синтетические немеченые ОКТ-изображения. Синтетические ОКТ-изображения могут затем использоваться вместе с реальными ОКТ-изображениями для повышения эффективности модели СНС. В исследовании использовались 2 набора данных, а именно Калифорнийского университета в Сан-Диего (University of California San Diego — UCSD) и Медицинского колледжа университета Говарда (Howard University College of Medicine — HUCM), которые состоят из ОКТ-изображений в B-режиме с различным разрешением и размерами. Модель LSGAN обучается с использованием оптимизатора ADAM, и в исследовании изучали влияние различных размеров обучающей выборки. Исследование дополнительно изучает применение LSGAN к другим архитектурам СНС, а именно ResNet50 и DenseNet121, с использованием сходных механизмов обучения. Эффективность модели LSGAN превосходит таковую традиционных методов, таких как HOG-SVM, FC Finetuning и InceptionV3, особенно в сценариях с ограниченными данными. Кроме того, LSGAN продемонстрировала последовательность в сохранении точности прогнозов, даже когда количество обучающих выборок ограничено. Дальнейший анализ показал, что эффективность LSGAN может быть существенно повышена путем ее объединения с СНС другой архитектуры, такими как ResNet50 и DenseNet121.

Также с помощью GAN Zheng и соавт. [10] синтезировали реалистичные ОКТ-изображения, которые могут быть использованы для разработки алгоритмов глубокого обучения при заболеваниях сетчатки. Качество изображения этих синтетически сгенерированных ОКТ-сканов было оценено двумя специалистами по патологии сетчатки, а точность распознавания в сравнении с реальными ОКТ-изображениями составила 59,5 % для первого специалиста и 53,67 % для второго специалиста [10].

6. Фотография глазного дна

Фотография глазного дна является распространенным методом визуализации в офтальмологии, который использует оптические камеры для получения увеличенного изображения ткани сетчатки. Цифровая фотография глазного дна широко считается одним из наиболее важных диагностических инструментов в офтальмологии и широко используется в сочетании с телемедициной. Распространенные офтальмологические заболевания, при которых часто используют фотографию глазного дна в целях диагностики и мониторинга, включают диабетическую ретинопатию, отек диска зрительного нерва, увеальную меланому, макулярную дегенерацию и хориоретинальную дистрофию [27]. Однако у этого метода визуализации имеется несколько ограничений. Плохое центрирование во время неквалифицированного обследования часто может привести к артефактам [28]. Другие ограничения фотографии глазного дна включают вариабельность качества изображения, низкий цветовой контраст и недостаточное разрешение. Некачественные фотографии глазного дна с артефактами могут привести к неправильному диагнозу. Yoo и соавт. [29] представили циклически согласованную GAN (CycleGAN) для автоматического удаления артефактов на фотографиях глазного дна, которая успешно удаляла артефакты, такие как общая мутность, ресницы и неравномерное освещение. CycleGAN — это тип GAN, используемая для преобразования изображений. Ha и соавт. [30] разработали GAN со сверхвысоким разрешением (SR-GAN), которая улучшала структурные детали на фотографических изображениях глазного дна и значительно повышала точность обнаружения патологии диска зрительного нерва. Два специалиста по глаукоме подтвердили, что после использования GAN для повышения разрешения не возникало никаких артефактов изображения. Han и соавт. [31] создали модель обнаружения отклонений на основе GAN для выявления глазных заболеваний на изображениях сетчатки на глазном дне с чувствительностью 82,69 % и специфичностью 82,63 %. Используя 4 обширных набора данных, модель достигла значения AUC (площадь под кривой) 0,896, коэффициента чувствительности 80,69 % и коэффициента специфичности 81,00 %. Алгоритм показал выдающуюся ценность, благодаря способности эффективно анализировать большое количество нормальных изображений, тем самым помогая офтальмологам сосредоточить свое время на выявлении случаев с отклонениями. Некоторые ограничения включали более низкую прецизионность (контролируемые модели обычно демонстрируют большую точность по сравнению с неконтролируемыми моделями), ограниченные диагностические возможности и отсутствие зернистости. Эти достижения не только улучшают качество и диагностическое использование изображений сетчатки, но и упрощают обнаружение различных заболеваний глаз. Методы на основе GAN могут эффективно сегментировать сосуды сетчатки и выполнять такие задачи, как аугментация и шумоподавление данных, которые имеют решающее значение для точной диагностики и лечения заболеваний сетчатки.

Рис. 3. Полученные результаты могут иметь низкое разрешение. GAN может использоваться для значительного улучшения этих изображений, чтобы офтальмолог мог более тщательно исследовать подозрительные области. Перепечатано без изменений из Ha A, Sun S, Kim YK, Lee J, Jeoung JW, Kim HC, et al. (2020) Deep-learning-based enhanced optic-disc photography. PLoS ONE 15(10): e0239913. https://doi.org/10.1371/journal.pone.0239913 по лицензии Creative Commons Attribution License.

7. Флуоресцентная ангиография глазного дна (ФАГ)

ФАГ — это инвазивный метод визуализации, который требует введения красителя для визуализации сосудистой сети сетчатки и сосудистой оболочки. ФАГ является эффективным методом исследования при некоторых патологиях глаза, включая неоваскулярную возрастную макулярную дегенерацию (ВМД), макулярный отек, окклюзию ветви вены сетчатки, эпиретинальную мембрану и диабетическую ретинопатию. Несмотря на то, что ФАГ является информативным методом визуализации, у него есть свои ограничения. Методика является относительно трудоемкой и требует инъекции флуоресцеинового красителя, который может быть противопоказан в некоторых случаях (например, при беременности или аллергии) [32]. Таким образом, способность синтезировать данные этого инвазивного метода на основании неинвазивных подходов может устранить эти ограничения. Wang и его соавт. [33] использовали цикл GAN и СНС для автоматической оценки тяжести диабетической ретинопатии на сверхширокопольных изображениях ФАГ. В этом исследовании использовались сверхширокопольные изображения ФАГ от 119 здоровых лиц и 280 пациентов с сахарным диабетом для обучения и тестирования модели искусственного интеллекта для дифференциальной диагностики непролиферативной и пролиферативной диабетической ретинопатии. Классификатор модели СНС и цикл GAN достигли точной оценки диабетической ретинопатии на основе утечки и ишемического индекса с использованием сверхширокопольных изображений ФАГ. В целом, эти модели были способны не только устранить ограничения традиционных методов визуализации, предоставляя неинвазивные альтернативы с высоким разрешением, но и сделать процесс диагностики более эффективным и доступным.

8. Синтетическая флуоресцентная ангиография

Tavakkoli и соавт. [5] были первыми, кто использовал глубокое обучение в офтальмологии для преобразования между двумя различными методами визуализации путем создания синтетических изображений ФАГ из фотографий сетчатки глазного дна. GAN генерировала синтетические изображения ФАГ, которые были анатомически точными, имели сходную достоверность с фактической ФАГ, и эксперты не могли отличить полученные изображения от реальных ангиограмм, что подчеркивает потенциальную клиническую значимость предлагаемой модели глубокого обучения в качестве потенциальной замены методов флуоресцентной ангиографии (ФА). Для решения проблемы генерирования поддельных деталей, которая часто встречается в общих платформах GAN, в исследовании используется парная настройка условной GAN с иерархической архитектурой. Подчеркнуты некоторые ограничения, в том числе использование одного набора данных парных изображений глазного дна и ФА, невозможность выполнения долгосрочных исследований из-за ограничений набора данных и отсутствие информации о фазе на используемых в исследовании изображениях флуоресцентной ангиографии. Исследование служит доказательством концепции, направленной на демонстрацию потенциальной значимости метода глубокого обучения; однако перед клинической реализацией необходимы дополнительные валидационные исследования.

В данную архитектуру были внесены дополнительные улучшения, и Kamran и соавт. предложили 3 различные архитектуры, а именно, Fundus2Angio34, Attention2AngioGAN35 и VTGAN36, для улучшения общей структуры сосудов на изображениях ФАГ.

Fundus2Angio — это новая архитектура, специально разработанная для создания ангиограмм из изображений сетчатки глазного дна. Модель Fundus2Angio использует многомасштабный дискриминатор PatchGAN для обработки отклонений масштаба, наблюдаемых на изображениях ФА. Данный метод использует 4 различных дискриминатора, которые обучены различать истинные и синтезированные ангиографические изображения с различным разрешением. Существует два отдельных типа дискриминаторов, которые используются для эффективного сбора как точных, так и приближенных данных. Модель использует функцию потерь генеративно-состязательной сети наименьших квадратов (LSGAN), которая отдает приоритет уменьшению квадратичных различий между реальной и сгенерированной выборками. Данная архитектура обеспечивает возможность эффективного сохранения биологических маркеров, таких как сосудистый рисунок, благодаря чему она подходит для мониторинга прогрессирования заболеваний или обнаружения новых проблем у одного и того же человека с течением времени. Кроме того, Fundus2Angio демонстрирует высокую степень устойчивости при воздействии различных форм искажений, что подчеркивает ее способность к адаптации и хорошую согласованность. Некоторые упомянутые ограничения включали набор данных для обучения с ограничениями как по размеру, так и по разнообразию. Кроме того, наличие многомасштабных дискриминаторов и генераторов может привести к потенциальной вычислительной сложности. Степень, в которой этот метод может быть использован для более широкого спектра практических клинических ситуаций, еще предстоит оценить.

Внедрение Attention2Angio ознаменовало значимую интеграцию множества сложных методов и сложностей нейронных сетей. Архитектура включает в себя два уникальных генератора, а именно Gcoarse и Gfine, каждый с определенными ролями. Модель Gcoarse предназначена для генерации ангиограмм с более низким разрешением, делая акцент на более крупные детали, тогда как модель Gfine отвечает за генерацию ангиограмм с более высоким разрешением, которые содержат более мелкие детали. Архитектура включает в себя блоки кодирования как в генераторах, так и в дискриминаторах для осуществления процесса понижающей дискретизации. С другой стороны, повышение дискретизации ограничивается блоками декодера внутри генераторов. Архитектура GAN включает в себя индивидуальные остаточные блоки как в генераторах, так и в дискриминаторах, которые служат для улучшения возможности сети извлекать детали. Блок внимания играет решающую роль в архитектуре, поскольку он объединяет характеристики как нижнего, так и верхнего уровней нейронной сети. Это двойное действие способствует защите и эффективному применению пространственной информации на многих уровнях сети. Архитектурный подход включает в себя технологию PatchGAN, которая включает в себя реализацию четырех дискриминаторов, работающих в двух разных разрешениях. Использование многомасштабной стратегии обеспечивает более совершенный набор обучающих сигналов для генераторов, тем самым повышая эффективность процесса состязательного обучения. В исследовании в качестве состязательной функции потерь используется кусочно-линейная функция потерь для обучения как генератора, так и дискриминатора. Сеть дополнительно использует потери реконструкции, восприятия и сопоставления признаков, чтобы гарантировать, что синтезированные ангиограммы демонстрируют не только реализм, но и высокий уровень качества.

Модель VTGAN использует трансформаторный энкодер для извлечения признаков и использует пару генератор-дискриминатор для облегчения преобразования изображений [36]. Модель обучается с использованием процессов внимания и различных функций потери, включая состязательную и перцептивную потерю. Она не только хорошо сохраняет характеристики сосудов, но и устойчива к различным преобразованиям изображения, таким как размытие, добавление шума и резкости. Она превосходит как Fundus2Angio, так и Attention2Angio как в качественных, так и в количественных оценках. Оценки, проведенные квалифицированными офтальмологами, показывают, что 94 % специалистов классифицируют поддельные ангиограммы как подлинные. Модель классификации заболеваний имеет уровень точности 85,7 % при оценке с использованием данных в пределах распределения. Использование метрик FID и KID позволяет оценить качество сгенерированных ангиограмм. Среди проанализированных моделей VTGAN демонстрирует самые низкие баллы, что свидетельствует о ее превосходной способности генерировать ангиограммы, которые очень похожи на подлинные. В целом, эти исследования показали, что DL и GAN могут повысить диагностическую точность и улучшить подходы к лечению пациентов, предоставляя подробную информацию о патологии сетчатки, не требуя инвазивных методов визуализации. Способность этих моделей обрабатывать вариабельность качества изображения и создавать изображения, неотличимые экспертами от реальных ангиограмм, еще раз подчеркивает их потенциал для революционных изменений в лечении заболеваний сетчатки.

9. Синтетические фотографии сетчатки глазного дна

Costa и соавт. [37] предложили использовать состязательный автокодировщик (AAE) для синтеза сети сосудов сетчатки и условную GAN для получения фотографий сетчатки глазного дна. Zheng и соавт. [38] использовали условную GAN для обеспечения аугментации данных для глубокой СНС, чтобы помочь в обнаружении экссудатов на фотографиях глазного дна. Использование этой GAN значительно улучшило устойчивость сети и свойства обобщения. Burlina и соавт. [39] оценили использование ProGAN для получения изображений глазного дна высокого разрешения при ВМД. Синтезированные изображения были неотличимы от реальных изображений глазного дна при ВМД при оценке двумя специалистами по патологии сетчатки. Эффективность работы машин, обученных только на этих синтетических изображениях, была аналогична таковой машин, обученных на реальных изображениях, показывая, что изображения, синтезированные с помощью GAN, являются перспективными для обучения машин. Yoo и соавт. [6] разработали циклически согласованную GAN для получения синтетических фотографий сетчатки глазного дна из сверхширокопольных изображений. GAN успешно преобразовывала изображения, сохраняя структурные особенности зрительного нерва и сетчатки и не генерируя никаких поддельных признаков. Coyner и его соавт. [40] использовали pix2pix GAN для получения фотографий сетчатки глазного дна при ретинопатии недоношенных на основе карт сосудов сетчатки. Эти изображения могли быть распознаны экспертами как сгенерированные, но имели такую же диагностическую ценность, как и реальные фотографии глазного дна сетчатки. Luo и соавт. [41] попытались усилить контраст изображений сетчатки пациентов с катарактой, разработав две нейронные сети: одну непарную GAN для синтеза изображений, подобных катаракте, и вторую нейронную сеть, обученную с использованием этих синтезированных изображений для устранения мутности с изображений катаракты. CataractDehazeNet успешно улучшала намеренно ухудшенные изображения сетчатки у пациентов с катарактой, не генерируя какие-либо артефакты, которые обычно возникают при применении аналогичных методов усиления [41]. Изображения сетчатки, полученные после операции по удалению катаракты, подтвердили, что улучшенные GAN изображения имели высокое структурное сходство и детализированность по сравнению с изображениями, полученными после операции. Путем генерации высококачественных анатомически точных изображений для широкого спектра заболеваний — от синтеза сосудистой сети до моделирования патологий, таких как ВМД и помутнения, вызванного катарактой, — эти модели предлагают неинвазивное решение для улучшения раннего выявления и мониторинга заболевания, а также обучения медицинских работников. Успех этих методов, о которых свидетельствует неспособность экспертов различить реальные и синтетические изображения, и их применение для повышения диагностической ценности офтальмологических изображений без внесения артефактов, еще больше подчеркивает их потенциал для улучшения клинических рабочих процессов и результатов лечения пациентов.

10. Синтетические автофлуоресцентные изображения глазного дна

Wu и соавт. [42] создали условную GAN (называемую условной по остаточному вниманию генеративно-состязательной сетью или RA-CGAN) для автоматической сегментации географической атрофии с использованием синтезированных изображений автофлуоресценции глазного дна из ОКТ-изображений анфас. Эти синтетические флуоресцентные изображения глазного дна и OCT-изображения анфас затем используются в специализированной сверточной глубокой сети для более точной генеративно-состязательной сегментации. В этом методе RA-CGAN обучают эффективно переносить детали с ОКТ-изображений анфас на синтетические флуоресцентные изображения глазного дна, сохраняя при этом признаки поражений с высоким качеством. Комбинирование этих признаков происходит в начальных слоях глубокой сверточной архитектуры, улучшающей обнаружение географической атрофии с помощью пространственного алгоритма нечетких c-средних. Этот процесс позволяет получить улучшить результаты, эффективно решая такие проблемы, как шум и вариабельная интенсивность, которые часто встречаются на изображениях, полученных традиционными методами. Точная оценка географической атрофии имеет важное значение для диагностики неэкссудативной ВМД. Результаты показывают, что предложенная методика значительно превзошла предыдущие модели сегментации географической атрофии на ОКТ-изображениях анфас.

11. Автоматическая сегментация изображения

Точная классификация сосудистой сети сетчатки является ключевой для лечения хронических заболеваний, таких как артериальная гипертензия и диабетическая ретинопатия, а также для оценки сосудистых заболеваний сетчатки, угрожающих зрению, таких как окклюзия артерии сетчатки и окклюзия вены сетчатки. Son и соавт. [43] разработали GAN для обеспечения автоматической сегментации сосудистой сети сетчатки на изображениях глазного дна, которые обнаруживали тонкие сосуды лучше, чем предыдущий золотой стандарт (U-Net); однако улучшения в сегментации диска зрительного нерва не были статистически значимыми. Yang и соавт. [44] позже предложили GAN с ограниченной топологической структурой (topGAN) для идентификации и дифференциации артерий и вен на изображениях глазного дна, которая превосходила как U-net, так и GAN, разработанные Son и соавт. [43], достигая точности до 94,3 %. Kamran и соавт. предложили новую архитектуру сегментации от грубой до тонкой, RV-GAN [45], которая является самой современной архитектурой для этой задачи на трех наборах данных сегментации сетчатки: DRIVE, STARE и CHASE-DB1. Yildiz и соавт. [46] первыми использовали GAN для обеспечения автоматической сегментации нервов роговицы на изображениях конфокальной микроскопии in vivo, и этот алгоритм был значительно более точным по сравнению с U-net. Достижения Son и соавт., Yang и соавт. и Kamran и соавт. в анализе изображений сетчатки, а также работа Yildiz и его коллег по сегментации роговичных нервов проливают свет на потенциал GAN для повышения точности медицинской визуализации за пределами существующих традиционных методов. Этот прогресс особенно важен для раннего выявления и лечения таких заболеваний, как диабетическая ретинопатия и артериальная гипертензия, ведущих причин нарушения зрения и слепоты во всем мире.

Рис. 4. Автоматическая сегментация изображений конфокальной микроскопии in vivo с использованием GAN показала значительно лучшие результаты в условиях большого количества шума, чем U-Net. Перепечатано без изменений из Erdost Yıldız, Abdullah Taha Arslan, Ayşe Yıldız Taş, et al.; Generative Adversarial Network Based Automatic Segmentation of Corneal Subbasal Nerves on In Vivo Confocal Microscopy Images. Trans. Vis. Sci. Tech. 2021;10(6):33. doi: https://doi.org/10.1167/tvst.10.6.33. по международной лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0.

12. Инфракрасная мейбография

Синдром сухого глаза чаще всего обусловлен дисфункцией мейбомиевых желез. Инфракрасная (ИК) мейбография — это неинвазивный метод визуализации мейбомиевых желез in vivo. В настоящее время не существует методов количественной оценки дефектов изображений, полученных методом инфракрасной мейбографии, таких как границы между железами и внутри них, выворот век и отражение света. Khan и соавт. [9] разработали условную GAN для точного обнаружения, сегментации и анализа изображений, полученных методом инфракрасной мейбографии. Эта GAN значительно сократила время и человеческие усилия, необходимые для анализа дисфункции мейбомиевых желез.

13. Магнитно-резонансная томография (МРТ)

МРТ широко используется в нейроофтальмологии для оценки структуры и функции головного мозга. Tor-Diez и соавт. [47] представили GAN, способную к гомогенизации МРТ, которая также может обеспечить карту сегментации представляющей интерес области. В частности, этот метод использовался для количественной оценки переднего отдела зрительного пути у пациентов детского возраста с глиомами зрительного пути. Точная количественная оценка переднего отдела зрительного пути имеет решающее значение для диагностики и лечения глиом зрительного пути, однако она затруднена из-за ограниченных данных визуализации и разнообразия протоколов МРТ, используемых в разных учреждениях. Этот метод на основе GAN значительно превзошел предыдущий метод золотого стандарта (U-Net) в отношении сегментации переднего отдела зрительного пути с использованием наборов данных МРТ.

14. Синтетическая МРТ

МРТ имеет ряд ограничений, основными из которых являются стоимость и доступность. МРТ-сканеры представляют собой дорогостоящие медицинские устройства большого размера и могут быть не везде доступны. Jin и соавт. [48] были первой группой, предложившей GAN для синтеза МР-изображений на основе изображений, полученных методом компьютерной томографии (КТ), с использованием парных и непарных данных. Эта GAN преобразовывала двухмерные (@D) изображения КТ-срезов головного мозга в 2D-срезы МРТ головного мозга [48]. Сравнения (как количественные, так и качественные) с непарными и независимыми парными методами обучения продемонстрировали превосходство этого подхода на основе GAN.

15. Синтетическая КТ

Lei и соавт. [49] разработали и валидировали согласованные по плотным циклам GAN, которые могут эффективно генерировать высококачественные КТ-изображения на основе МР-изображений в течение нескольких минут. Кроме того, МРТ-сканирование не сопровождается воздействием ионизирующего излучения. Этот метод получения синтетического КТ-изображения потенциально может быть использован в будущем для планирования нейроофтальмологического лечения в режиме реального времени только с помощью МРТ. Это также уменьшит ошибки одновременной регистрации КТ/МРТ и сведет к минимуму ненужное воздействие ионизирующего излучения.

16. Прогнозирование внешнего вида после операции

Yoo и соавт. [6] разработали условную GAN, которая преобразует предоперационные изображения в послеоперационные изображения после декомпрессии орбиты по поводу эндокринной офтальмопатии. Искусственно сгенерированные послеоперационные изображения могут помочь пациентам принять решение о проведении операции, демонстрируя, как GAN могут использоваться в качестве инструмента поддержки принятия решений при косметических процедурах. В исследовании отмечается, что условные GAN могут генерировать статистически репрезентативные изображения даже с ограниченным набором данных. В отличие от других методов, требующих ручного вмешательства, модель GAN автоматизирует весь процесс, что делает ее использование методом, полностью основанным на данных.

Рис. 5. Синтетические изображения, сгенерированные циклической генеративно-состязательной сетью с использованием предоперационных изображений, были очень похожи на послеоперационные результаты. Перепечатано без изменений из Yoo TK, Choi JY, Kim HK. A generative adversarial network approach to predicting postoperative appearance after orbital decompression surgery for thyroid eye disease. Comput Biol Med. 2020 Mar;118:103628. doi: 10.1016/j.compbiomed.2020.103628. по неадаптированной лицензии Creative Commons Attribution-NonCommercial 3.0.

17. Прогнозирование внешнего вида после лечения

Liu и соавт. [2] использовали GAN для получения индивидуализированных ОКТ-изображений после лечения для прогнозирования ответа на лечение анти-VEGF у пациентов с неоваскулярной возрастной макулярной дегенерацией (нВМД). В настоящее время краткосрочный ответ на терапию анти-VEGF трудно прогнозировать, поскольку терапевтический ответ варьируется в широких пределах. Это исследование показало потенциал GAN для получения точных и высококачественных ОКТ-изображений после лечения. Lee и соавт. [50] позже разработали улучшенную GAN для синтеза ОКТ-изображений после лечения для пациентов с нВМД с использованием исходных ОКТ-изображений, ангиографии с индоцианином зеленым и флуоресцентной ангиографии. Добавление изображений ФАГ и ангиографии с индоцианином зеленым повысило специфичность, точность и отрицательную прогностическую ценность полученных изображений.

18. Обсуждение

Методы офтальмологической визуализации продолжают быстро развиваться наряду с методами лечения.

Хотя GAN еще не получили широкого распространения в офтальмологии, их использование по-прежнему многообещающее. Потенциальное будущее использование генеративных технологий, таких как GAN, включает в себя: ускорение разработки лекарственных препаратов и новых хирургических процедур, определение прогноза заболевания, хирургическое моделирование, исключение дополнительных обследований, исключение ручной сегментации, создание синтетических данных для повышения эффективности существующих систем глубокого обучения. Ожидается, что по мере появления больших наборов данных изображений эффективность GAN будет повышаться. GAN также могут использоваться для разработки наборов данных для редких офтальмологических заболеваний, по которым в настоящее время имеются очень ограниченные данные. На рис. 6 представлен обзор трех распространенных типов архитектур GAN в задачах медицинской визуализации. Большинство работ по GAN в офтальмологии основаны на одном из этих трех типов архитектур. В то время как в архитектуре, целях обучения или схемах оптимизации могут наблюдаться незначительные различия, конечная цель может быть достигнута с помощью любого из этих трех типов GAN. Архитектура на рис. 6 (A) может использоваться для задач генерации синтетических изображений в условиях наличия ограниченных данных. С другой стороны, на рис. 6 (B) приведен тип GAN, который необходим для определенного типа стиля преобразования, такого как генерация ФАГ, генерация изображений ОКТ-ангиографии (ОКТА) на основе ОКТ-изображений и цветная фотография глазного дна для генерации автофлуоресценции глазного дна. ОКТА-изображения позволяют визуализировать поверхностные и глубокие слои сетчатки [51]. На последней части рисунка, рис. 6 (C), представлено преобразование изображения GAN от домена к домену. Это важно для генерации изображений конкретного поставщика для ОКТ или адаптации домена путем изучения преобразования изображений, полученных одним методом, таким как ОКТ, в изображения, получаемые другим методом, МРТ.

Рис. 6. Различные типы архитектуры GAN и их ориентация для конкретных задач. (A) Наиболее распространенный тип архитектуры GAN, который использует шум в качестве входных данных для создания синтетических изображений. (B) Условная GAN передачи стиля для преобразования в целевой домен с использованием условной информации (т. е. реального изображения), например: сегментация сосудов сетчатки. И, наконец, (C) GAN для преобразования изображения в изображение с целью генерации между разными доменами или модальностями данных.

19. Текущие ограничения

Мы признаем ограничения GAN. Может наблюдаться схлопывание мод распределения, когда проблемы с данными выборки от в остальном здорового пациента определяются как отклонение, что приводит к патологическим результатам ОКТ при циклическом переносе изображений [52]. Кроме того, наблюдались случаи пространственных деформаций при использовании небольшого набора обучающих данных. Без коррекции алгоритма пространственного выравнивания и достаточно большого набора данных в некоторых случаях возникали проблемы с распознаванием эндокринной офтальмопатии [52]. Кроме того, в некоторых приложениях при использовании нескольких областей данных возникали непреднамеренные ошибки размера, цвета и синтеза сосудов [52]. Это требует, чтобы глубокое обучение сначала анализировало многослойные и многоуровневые наборы данных перед подачей набора данных в генератор для приложений синтеза изображений на основе GAN. Кроме того, имеются ограниченные данные по обучению GAN в офтальмологии. Дополнительное обучение на офтальмологических данных и потенциально передача обучения могут помочь преодолеть это ограничение [53, 54]. Сдвиг домена является еще одной проблемой для GAN и глубокого обучения, которая представляет собой различия во внешнем виде между различными наборами данных из-за различий в освещении, настройках камеры и углах экранирования. Сдвиг домена может значительно снизить эффективность GAN.

Перед использованием GAN в клинической практике необходимы дальнейшие исследования, поскольку GAN могут генерировать поддельные признаки. Также остается неизвестным, как именно GAN генерируют изображения, это называется вопросом «черного ящика» — то, как модели искусственного интеллекта могут делать прогнозы [55]. Изображение, полученное GAN, остается неоднозначным, поскольку не предоставляется никаких диагностических объяснений [56]. Также необходимы другие исследования о том, как остановить потенциальное недобросовестное использование синтетически сгенерированных офтальмологических изображений, поскольку они могут создавать поддельных участников исследования и фальсифицировать результаты.

20. Заключение

В данной публикации представлен обзор принципа GAN, рассмотрены ключевые разработки GAN в офтальмологии. Объем данного всестороннего обзора охватывал структурные аспекты GAN, их использование в контексте задач медицинской визуализации, конкретные примеры их использования в офтальмологии, а также этические, технологические и клинические препятствия, связанные с их внедрением. Как было подчеркнуто, достижения в области разрешения изображения могут повысить точность обнаружения заболеваний, особенно на ранних стадиях. Более того, способность GAN генерировать аутентичные изображения является мощным инструментом не только с точки зрения оптимизации обучения и исследований, но и в преодолении препятствий, создаваемых ограниченной доступностью данных, особенно для редких офтальмологических заболеваний.

GAN обеспечивают множество преимуществ в офтальмологии, но они также влекут за собой проблемы, требующие решения. Схлопывание мод распределения, пространственные деформации и ошибки синтеза подчеркивают важность совершенствования методов и наборов данных этих систем. Неоднозначность GAN и тенденция к созданию вводящих в заблуждение изображений создают проблемы в сфере, где надежность чрезвычайно важна. Этические аспекты применения GAN, особенно их потенциал для злоупотреблений при создании мошеннических синтетических офтальмологических изображений, требуют активной позиции в установлении правил и ограничений.

Таким образом, GAN обладают значительным потенциалом в области визуализации глаз, что знаменует наступающую эпоху, когда генерация и анализ точных изображений с высоким разрешением в режиме реального времени могут совершить революцию в оказании медицинской помощи. Однако на пути к этому будущему потребуется решить множество технологических, этических и терапевтических проблем. Последующие исследования должны уделить приоритетное внимание совершенствованию алгоритмов GAN, углубиться в новые приложения в области офтальмологии и установить всеобъемлющие правила, которые гарантируют этичное и эффективное использование таких алгоритмов. Поскольку эти ограничения постепенно преодолеваются, авторы полагают, что использование GAN произведет революцию в офтальмологической визуализации.

Список литературы

1. Goodfellow IJ, Pouget-Abadie J, Mirza M, et al. Published online June 10, 2014. Accessed September 24, Gener Advers Netw ArXiv14062661 Cs Stat. 2021. http://arxiv.org/abs/1406.2661.
2. Liu Y, Yang J, Zhou Y, et al. Prediction of OCT images of short-term response to anti-VEGF treatment for neovascular age-related macular degeneration using generative adversarial network. Br J Ophthalmol. 2020;104(12):1735–1740. https://doi.org/10.1136/bjophthalmol-2019-315338.
3. Lazaridis G, Lorenzi M, Ourselin S, Garway-Heath D. Improving statistical power of glaucoma clinical trials using an ensemble of cyclical generative adversarial networks. Med Image Anal. 2021;68, 101906. https://doi.org/10.1016/j.media.2020.101906.
4. Cheong H, Devalla SK, Pham TH, et al. DeshadowGAN: a deep learning approach to remove shadows from optical coherence tomography images. Transl Vis Sci Technol. 2020;9(2):23. https://doi.org/10.1167/tvst.9.2.23.
5. Tavakkoli A, Kamran SA, Hossain KF, Zuckerbrod SL. A novel deep learning conditional generative adversarial network for producing angiography images from retinal fundus photographs. Sci Rep. 2020;10(1), 21580. https://doi.org/10.1038/s41598-020-78696-2.
6. Yoo TK, Choi JY, Kim HK. A generative adversarial network approach to predicting postoperative appearance after orbital decompression surgery for thyroid eye disease. Comput Biol Med. 2020;118, 103628. https://doi.org/10.1016/j.compbiomed.2020.103628.
7. Zheng C, Koh V, Bian F, et al. Semi-supervised generative adversarial networks for closed-angle detection on anterior segment optical coherence tomography images: an empirical study with a small training dataset, 1073-1073 Ann Transl Med. 2021;9 (13). https://doi.org/10.21037/atm-20-7436.
8. Saeed AQ, Sheikh Abdullah SNH, Che-Hamzah J, Abdul Ghani AT. Accuracy of using generative adversarial networks for glaucoma detection: systematic review and bibliometric analysis. J Med Internet Res. 2021;23(9), e27414. https://doi.org/10.2196/27414.
9. Khan ZK, Umar AI, Shirazi SH, Rasheed A, Qadir A, Gul S. Image based analysis of meibomian gland dysfunction using conditional generative adversarial neural network. BMJ Open Ophthalmol. 2021;6(1), e000436. https://doi.org/10.1136/bmjophth-2020-000436.
10. Zheng C, Xie X, Zhou K, et al. Assessment of generative adversarial networks model for synthetic optical coherence tomography images of retinal disorders. Transl Vis SciTechnol. 2020;9(2):29. https://doi.org/10.1167/tvst.9.2.29.
11. Waisberg E, Ong J, Masalkhi M, et al. GPT-4: a new era of artificial intelligence in medicine. Ir J Med Sci 1971 - Publ Online April 19. 2023. https://doi.org/10.1007/s11845-023-03377-8.
12. Waisberg E, Ong J, Zaman N, et al. GPT-4 for triaging ophthalmic symptoms. Published online May 25, Eye. 2023. https://doi.org/10.1038/s41433-023-02595-9.
13. Waisberg E, Ong J, Masalkhi M, et al. ChatGPT and medical education: a new frontier for emerging physicians. Published online August 23, Can Med Educ J. 2023.https://doi.org/10.36834/cmej.77644.
14. Mihalache A, Popovic MM, Muni RH. Performance of an artificial intelligence chatbot in ophthalmic knowledge assessment. JAMA Ophthalmol. 2023;141(6):589. https://doi.org/10.1001/jamaophthalmol.2023.1144.
15. Waisberg E, Ong J, Masalkhi M, et al. GPT-4 and ophthalmology operative notes. Published online June 2, Ann Biomed Eng. 2023. https://doi.org/10.1007/s10439-023-03263-5.
16. Alser M, Waisberg E. Concerns with the usage of ChatGPT in academia and medicine: a viewpoint (Published online) Am J Med Open. February 2023, 100036. https://doi.org/10.1016/j.ajmo.2023.100036 (Published online).
17. Deo RC. Machine learning in medicine. Circulation. 2015;132(20):1920–1930. https://doi.org/10.1161/CIRCULATIONAHA.115.001593.
18. Bizopoulos P, Koutsouris D. Deep learning in cardiology. IEEE Rev Biomed Eng. 2019; 12:168–193. https://doi.org/10.1109/RBME.2018.2885714.
19. Al-Mujaini A, Wali UK, Azeem S. Optical coherence tomography: clinical applications in medical practice. Oman Med J. 2013;28(2):86–91. https://doi.org/10.5001/omj.2013.24.
20. Zysk AM, Nguyen FT, Oldenburg AL, Marks DL, Boppart SA. Optical coherence tomography: a review of clinical development from bench to bedside. J Biomed Opt. 2007;12(5), 051403. https://doi.org/10.1117/1.2793736.
21. Halupka KJ, Antony BJ, Lee MH, et al. Retinal optical coherence tomography image enhancement via deep learning. Biomed Opt Express. 2018;9(12):6205. https://doi.org/10.1364/BOE.9.006205.
22. Ouyang J, Mathai TS, Lathrop K, Galeotti J. Accurate tissue interface segmentation via adversarial pre-segmentation of anterior segment OCT images. Biomed Opt Express. 2019;10(10):5291. https://doi.org/10.1364/BOE.10.005291.
23. Waisberg E, Micieli JA. Neuro-ophthalmological optic nerve cupping: an overview. Eye Brain. 2021;Volume 13:255–268. https://doi.org/10.2147/EB.S272343.
24. Wang J, Li W, Chen Y, et al. Weakly supervised anomaly segmentation in retinal OCT images using an adversarial learning approach. Biomed Opt Express. 2021;12(8): 4713–4729. https://doi.org/10.1364/BOE.426803.
25. He X, Fang L, Rabbani H, Chen X, Liu Z. Retinal optical coherence tomography image classification with label smoothing generative adversarial network. Neurocomputing. 2020;405:37–47. https://doi.org/10.1016/j.neucom.2020.04.044.
26. Kugelman J, Alonso-Caneiro D, Read SA, Vincent SJ, Chen FK, Collins MJ. Data augmentation for patch-based OCT chorio-retinal segmentation using generative adversarial networks. Neural Comput Appl. 2021;33(13):7393–7408. https://doi.org/10.1007/s00521-021-05826-w.
27. Bernardes R, Serranho P, Lobo C. Digital ocular fundus imaging: a review. Ophthalmologica. 2011;226(4):161–181. https://doi.org/10.1159/000329597.
28. Fleming AD, Philip S, Goatman KA, Olson JA, Sharp PF. Automated assessment of diabetic retinal image quality based on clarity and field definition. InvestOpthalmology Vis Sci. 2006;47(3):1120. https://doi.org/10.1167/iovs.05-1155.
29. Yoo TK, Choi JY, Kim HK. CycleGAN-based deep learning technique for artifact reduction in fundus photography. Graefes Arch Clin Exp Ophthalmol. 2020;258(8):1631–1637. https://doi.org/10.1007/s00417-020-04709-5.
30. Ha A, Sun S, Kim YK, et al. Deep-learning-based enhanced optic-disc photography. In: Harris A, ed. PLOS ONE. 15. 2020, e0239913. https://doi.org/10.1371/journal.pone.0239913.
31. Han Y, Li W, Liu M, et al. Application of an anomaly detection model to screen for ocular diseases using color retinal fundus images: design and evaluation study. J Med Internet Res. 2021;23(7), e27822. https://doi.org/10.2196/27822.
32. Fineschi V, Monasterolo G, Rosi R, Turillazzi E. Fatal anaphylactic shock during a fluorescein angiography. Forensic Sci Int. 1999;100(1-2):137–142. https://doi.org/10.1016/S0379-0738(98)00205-9.
33. Wang X, Ji Z, Ma X, et al. Automated grading of diabetic retinopathy with ultra-widefield fluorescein angiography and deep learningHu Y, ed. J Diabetes Res. 2021; 2021:1–9. https://doi.org/10.1155/2021/2611250.
34. Kamran S.A. , Fariha Hossain K. , Tavakkoli A. , Zuckerbrod S. , Baker S.A. , Sanders K.M. et al. Architecture for Generating Fluorescein Angiography Images from Retinal Fundus Photography. In: Bebis G, Yin Z, Kim E, et al., eds. Advances in Visual Computing. Vol 12510. Lecture Notes in Computer Science. Springer International Publishing; 2020:125–138. doi:10.1007/978–3-030–64559-5_10.
35. Kamran SA, Hossain KF, Tavakkoli A, Zuckerbrod SL. Attention2AngioGAN: synthesizing fluorescein angiography from retinal fundus images using generative adversarial networks. 25th International Conference on Pattern Recognition (ICPR). IEEE,; 2021:9122–9129. https://doi.org/10.1109/ICPR48806.2021.9412428.
36. Kamran S.A., Hossain K.F., Tavakkoli A., Zuckerbrod S.L., Baker S.A. VTGAN: Semi-supervised Retinal Image Synthesis and Disease Prediction using Vision Transformers. In: 2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW). IEEE; 2021:3228–3238. doi:10.1109/ICCVW54120.2021.00362.
37. Costa P, Galdran A, Meyer MI, et al. End-to-end adversarial retinal image synthesis. IEEE Trans Med Imaging. 2018;37(3):781–791. https://doi.org/10.1109/TMI.2017.2759102.
38. Zheng R, Liu L, Zhang S, et al. Detection of exudates in fundus photographs with imbalanced learning using conditional generative adversarial network. Biomed Opt Express. 2018;9(10):4863. https://doi.org/10.1364/BOE.9.004863.
39. Burlina PM, Joshi N, Pacheco KD, Liu TYA, Bressler NM. Assessment of deep generative models for high-resolution synthetic retinal image generation of age-related macular degeneration. JAMA Ophthalmol. 2019;137(3):258. https://doi.org/10.1001/jamaophthalmol.2018.6156.
40. Coyner A., Chen J., Campbell J.P., et al. Diagnosability of Synthetic Retinal Fundus Images for Plus Disease Detection in Retinopathy of Prematurity.:9.
41. Luo Y, Chen K, Liu L, et al. Dehaze of cataractous retinal images using an unpaired generative adversarial network. IEEE J Biomed Health Inf. 2020;24(12):3374–3383. https://doi.org/10.1109/JBHI.2020.2999077.
42. Wu X, Liu L, Zhao L, et al. Application of artificial intelligence in anterior segment ophthalmic diseases: diversity and standardization, 714-714 Ann Transl Med. 2020;8 (11). https://doi.org/10.21037/atm-20-976.
43. Son J, Park SJ, Jung KH. Towards accurate segmentation of retinal vessels and the optic disc in fundoscopic images with generative adversarial networks. J Digit Imaging. 2019;32(3):499–512. https://doi.org/10.1007/s10278-018-0126-3.
44. Yang J, Dong X, Hu Y, et al. Fully automatic arteriovenous segmentation in retinal images via topology-aware generative adversarial networks. Inter Sci Comput Life Sci. 2020;12(3):323–334. https://doi.org/10.1007/s12539-020-00385-5.
45. Kamran S.A., Hossain K.F., Tavakkoli A., Zuckerbrod S.L., Sanders K.M., Baker S.A. RV-GAN: Segmenting Retinal Vascular Structure in Fundus Photographs Using a Novel Multi-scale Generative Adversarial Network. In: de Bruijne M, Cattin PC, Cotin S, et al., eds. Medical Image Computing and Computer Assisted Intervention – MICCAI 2021. Vol 12908. Lecture Notes in Computer Science. Springer International Publishing; 2021:34–44. doi:10.1007/978–3-030–87237-3_4.
46. Yildiz E, Arslan AT, Yildiz Tas A, et al. Generative adversarial network based automatic segmentation of corneal subbasal nerves on in vivo confocal microscopy images. Transl Vis Sci Technol. 2021;10(6):33. https://doi.org/10.1167/tvst.10.6.33.
47. Tor-Diez C, Porras AR, Packer RJ, Avery RA, Linguraru MG. Unsupervised MRI homogenization: application to pediatric anterior visual pathway segmentation. In:Liu M, Yan P, Lian C, Cao X, eds. Lecture Notes in Computer Science. Machine Learning in Medical Imaging; Vol 12436.
48. Jin CB, Kim H, Liu M, et al. Deep CT to MR synthesis using paired and unpaired data. Sensors. 2019;19(10):2361. https://doi.org/10.3390/s19102361.
49. Lei Y, Harms J, Wang T, et al. MRI-only based synthetic CT generation using dense cycle consistent generative adversarial networks. Med Phys. 2019;46(8):3565–3581. https://doi.org/10.1002/mp.13617.
50. Lee H, Kim S, Kim MA, Chung H, Kim HC. Post-treatment prediction of optical coherence tomography using a conditional generative adversarial network in age-related macular degeneration. Retina. 2021;41(3):572–580. https://doi.org/10.1097/IAE.0000000000002898.
51. Waisberg E, Georgiou M, Michaelides M, Rajendram R. Unilateral congenital non-syndromic retinal vessel dilation and tortuosity. Am J Ophthalmol Case Rep. 2021;23, 101160. https://doi.org/10.1016/j.ajoc.2021.101160.
52. You A, Kim JK, Ryu IH, Yoo TK. Application of generative adversarial networks (GAN) for ophthalmology image domains: a survey. Eye Vis Lond Engl. 2022;9(1):6.https://doi.org/10.1186/s40662-022-00277-3.
53. Waisberg E, Ong J, Kamran SA, et al. Transfer learning as an AI-based solution to address limited datasets in space medicine. Life Sci Space Res. 2023;36:36–38. https://doi.org/10.1016/j.lssr.2022.12.002.
54. Ong J, Waisberg E, Masalkhi M, et al. Artificial intelligence frameworks to detect and investigate the pathophysiology of spaceflight associated neuro-ocular syndrome (SANS). Brain Sci. 2023;13(8):1148. https://doi.org/10.3390/brainsci13081148.
55. Waisberg E, Ong J, Paladugu P, et al. Challenges of artificial intelligence in space medicine. Space Sci Technol. 2022;2022:1–7. https://doi.org/10.34133/2022/9852872.
56. Paladugu PS, Ong J, Nelson N, et al. Generative adversarial networks in medicine: important considerations for this emerging innovation in artificial intelligence. Published online July 24, Ann Biomed Eng. 2023. https://doi.org/10.1007/s10439-023-03304-z.