Автоматическое обнаружение наводнений по спутниковым изображениям с использованием глубокого обучения

Этот проект выполнялся под руководством нашего ценного консультанта Ассиста. Профессор Али Джан Караджа в рамках выпускного проекта программы бакалавриата по компьютерной инженерии Технического университета Йылдыз. В команде я (Омер Буграхан Чалышкан) и мой друг по проекту Угур Алтындал работали вместе и прилагали усилия на каждом этапе проекта. Я, Угур Алтындал и наш советник Али Джан Караджа имеем равные права на проект. Наш консультант предоставил все виды рекомендаций и помощи в отношении метода, курса и процесса на этапе идеи и реализации этого проекта и помог нам успешно завершить проект.

Введение

Выявление районов, пострадавших от стихийных бедствий, и причиняемого ими ущерба имеет большое значение, особенно во время стихийных бедствий. Поэтому технологии автоматического дистанционного зондирования являются критически важной и полезной областью для жизни человека.

В нашем проекте, о котором я расскажу в этой статье, он нацелен на автоматическое определение зоны воздействия паводка. В рамках проекта были изучены изображения до и после стихийного бедствия, полученные со спутника Sentinel-1, и к этим изображениям были применены различные процессы для уточнения зоны бедствия.

Набор данных был создан из множества различных изображений, сделанных со всего мира в разное время.

Для обнаружения затопления на изображениях были проведены три различных обучения модели глубокого обучения, которые являются распространенными методами, используемыми при сегментации изображений. Приблизительно 87% успеха было достигнуто для UNET и LinkNet и 79% для SegNet.

Представляем изображения SAR, Sentinel-1 и приложение SNAP

Synthetic Aperture Radar SAR (Synthetic Aperture Radar) — это радиолокационная система для получения изображения земли с высоким разрешением и обнаружения движущихся целей, которая может использоваться на пилотируемых и беспилотных воздушных платформах.

Его можно использовать в любых погодных условиях днем и ночью, и, таким образом, он может выполнять визуализацию и обнаружение движущихся целей даже в дождливую и облачную погоду.

Основное назначение спутника Sentinel-1 — наблюдение за сушей и океаном.
Спутник Sentinel-1 — это спутник, который работает днем и ночью на 2-полюсной орбите с использованием радиолокационных изображений и обеспечивает получение изображений независимо от погодные условия.

Вы можете получить бесплатные РСА-изображения с сайта Copernicus (https://scihub.copernicus.eu/dhus/#/home) в любой точке мира и в любом диапазоне дат. Вы также можете настроить результаты поиска с помощью различных фильтров, таких как Sentinel-1 и Sentinel-2, полярность, режим датчика и т. д.

SNAP (Sentinel Application Platform) (https://step.esa.int/main/download/snap-download/) — инструмент для анализа и редактирования изображений ДЗЗ, разработанный Европейским космическим агентством. Чтобы улучшить изображение и повысить эффективность обнаружения в модели глубокого обучения, к изображениям были применены 4 процесса, которые я объясню.

Применить файл орбиты: векторы состояния орбиты в продуктах SAR часто неверны. Орбиты спутников определяются в ближайшее время и становятся доступными через несколько недель после выпуска продукта. С помощью этого процесса текущие векторы состояния орбиты данных обновляются, и предоставляется информация о местоположении скорости.

Удаление теплового шума: удаление теплового шума уменьшает шумовые эффекты во всем Sentinel-1, особенно за счет нормализации сигнала обратного рассеяния и уменьшения неоднородностей.

Калибровка. В изображениях SAR могут возникать радиометрические искажения, связанные со скоростью и временем. Во время получения изображений в изображения включаются другие несистемные ошибки, такие как радиометрические ошибки из-за местной атмосферы, ошибки из-за топографии. С помощью этого процесса он направлен на то, чтобы избавиться от этих эффектов.

Фильтр спеклов. Изображения SAR содержат спеклы, называемые шумом. Причиной этих пятен являются волны, отраженные от основных рассеивателей. Спекл-фильтрация направлена на улучшение качества изображения за счет уменьшения эффекта этих спеклов.

Когда в приложении SNAP выполняются различные процессы редактирования образца SAR-изображения Sentinel-1, которое вы можете получить на сайте Copernicus, вы получите изображение, подобное приведенному ниже, до и после катастрофы.

Подготовка набора данных

Спутниковые снимки, полученные через ESA Copernicus, загружаются для обработки в программу SNAP. До и после катастрофы данные применяются к операциям «Применить файл орбиты», «Удаление теплового шума», «Калибровка», «Диапазонная доплеровская коррекция местности» соответственно. В результате полученные сигма-полосы объединяются, а водная и наземная части отделяются друг от друга. С помощью RGB-раскраски данные подготавливаются к маркировке, а человеческий фактор в процессе маркировки уменьшается.

После обнаружения участков затопления эти участки вручную маркируются с помощью приложения LabelMe и выводятся в формате json.

С приложением преобразования, написанным на Python, файл изображения, показанный ниже, получается из формата json.

Изображения, полученные после завершения этих процессов, называются масками. Изображения маски, изображения до и после стихийного бедствия фрагментированы и сохранены в виде файлов размером 512x512 пикселей, чтобы их можно было использовать для моделей глубокого обучения.

Предварительная обработка набора данных для модели глубокого обучения

После этого шага 3-канальные изображения формы, представляющие одно и то же место до и после стихийного бедствия, с размером 512x512 пикселей были помещены друг на друга, и было получено одно 6-канальное изображение формы. Визуальное представление этого шага можно увидеть ниже.

Таким образом, набор данных, состоящий из изображений, делится на 3 части: обучение, проверка и тестирование. Степень разделения этих фрагментов была определена как 80%, 10% и 10% соответственно. Набор данных был случайным образом перемешан перед разделением.

Сегментация изображения

В отличие от распознавания объектов, сегментация изображения представляет собой процесс классификации каждого пикселя изображения. В этом методе классифицируемые объекты не представляются в рамке, как при распознавании объектов, распознавание выполняется путем указания границ самого объекта.

Существует два типа методов сегментации: семантическая сегментация и сегментация экземпляров. При семантической сегментации одни и те же объекты на изображении классифицируются путем присвоения одной и той же метки. Например, если бы вместо экземпляра на изображении выше использовалась семантика, цвет собак был бы таким же. При сегментации экземпляров каждому экземпляру определенного объекта присваивается уникальный тег, как показано на изображении выше.

В проекте использовались 3 разных метода семантической сегментации, а именно UNET, LinkNet и SegNet.

Юнет

Показанная выше архитектура UNET была представлена в 2015 году для сегментации биомедицинских изображений. Обычно для операций сегментации следует использовать очень большие наборы данных и мощное оборудование, но с подходом UNET эти требования были снижены.

Модель UNET в основном состоит из путей сжатия и расширения. На шаге, который определяется как путь сжатия и образует левую сторону репрезентативного изображения, размер изображения уменьшается, но количество каналов увеличивается. Это связано с тем, что на этом этапе выполняются операции свертки и максимального объединения. В той части, которая определяется как путь сжатия и образует правую сторону репрезентативного изображения, количество каналов уменьшается, но размер изображения увеличивается из-за операций повышения дискретизации и свертки.

Линкнет

В сетевой структуре Linknet изображение фрагментируется на этапах кодирования и декодера, а перед входом на окончательный уровень свертки изображение реконструируется. Поскольку эта сетевая структура предназначена для минимизации количества параметров, она позволяет выполнять сегментацию в реальном времени, а также работать очень быстро.

LinkNet — аналогичный подход к сегментации изображений, основанный на модели UNET. В модели UNET конкатенация выполняется на этапе декодера, а в LinkNet изображения добавляются напрямую.

Сегнет

В кодировщике выполняются операции свертки и максимального объединения. На этом этапе выполняется максимальное объединение 2 × 2 и сохраняются индексы максимального объединения.

Апсемплинг и свертки выполняются на этапе декодера. Во время повышающей дискретизации максимальные индексы объединения в соответствующем слое кодера вызываются для повышения дискретизации. На последнем этапе определенный классификатор используется для прогнозирования класса каждого пикселя.

В SegNet все карты признаков передаются от кодировщика к декодеру, а в UNET используются индексы объединения. Эта разница увеличивает размер модели и увеличивает требования к памяти.

Дизайн набора данных

Для создания набора данных были исследованы наводнения в Турции и за рубежом. В результате исследования планируется создать набор данных изображений стихийных бедствий, сделанных в 5 разных регионах.

Были применены различные процессы очистки при редактировании изображений, указанные ранее. Затем изображения были разделены на 512x512 пикселей и преобразованы в подходящие размеры для моделей глубокого обучения. Всего на этом этапе было получено 1545 изображений.

Системная работа

Все этапы разработки, необходимые для реализации проекта, изначально были написаны нами на Python. В частности, в процессе обучения моделей использовались и внедрялись в среду Google Colab несколько библиотек, таких как Keras, Tensorflow, Pandas, Numpy и OpenCV.

В программе 2 изображения, данные до и после катастрофы, будут обработаны на нужных моделях, а если есть, то будет обеспечено отображение пользователю регионов с катастрофами.

С помощью кнопки «Выбор изображения» выбираются фотографии до и после наводнения, выбирается тип модели, результат которой необходимо увидеть, а затем вручную созданное изображение маски региона и изображение маски, полученное в результате. модели отображаются пользователю при нажатии кнопки «Получить результат».

Пример 2 использования показан выше. Как видно на изображении справа, области затопления, возможно, не были помечены из-за человеческой ошибки во время маркировки, но наша модель пометила область как затопленную, как видно на изображении после стихийного бедствия, благодаря высокому уровню обучения. ставка.

Показатели производительности и экспериментальные результаты

Термин обработанные изображения, который будет упоминаться на этом этапе, относится к изображениям, к которым были применены различные процессы коррекции и фильтрации в приложении SNAP, описанном на предыдущих этапах. Необработанные изображения также означают, соответственно, необработанные данные.

Эксперимент 1: сравнение обработанных изображений в разных моделях Эксперимент 2: сравнение необработанных изображений в разных моделях Эксперимент 3: сравнение обработанных изображений, Модель, не используемая в обучении на разных моделях

Модели присваивают значения каждому пикселю изображения во время оценки. Пиксели, значение предсказания которых ниже порогового значения, не помечаются. Использование порогового значения направлено на предотвращение противоречивых результатов.

В следующих таблицах показаны проценты успешных обработанных изображений в соответствии с определенным пороговым значением. Были опробованы многие значения, и целью было найти наилучший показатель успеха для каждой модели.

Семантическая значимость этих метрик отличается друг от друга. Например, точность сама по себе не считается логическим критерием успеха сегментации изображения, средний IoU можно рассматривать как более важный фактор успеха сегментации изображения. В этом направлении даже модель SegNet, которую можно назвать менее удачной, имеет очень высокое значение точности.

Эксперимент 1: обработанные изображения

Глядя на метрические результаты пороговых значений, приведенные в таблицах, видно, что наиболее успешный результат для UNET и LinkNet — 0,3, для SegNet — 0,4.

Эксперимент 2: необработанные изображения

Причина более низких показателей успеха в этом эксперименте заключается в том, что модель использовала необработанные изображения во время обучения. Как видно из выходных данных, обработанные изображения позволяют модели делать более успешный прогноз. Это показывает, насколько успешны и необходимы наши процессы фильтрации.

Глядя на результаты метрик пороговых значений, приведенные в таблицах, видно, что наиболее успешный результат для UNET и LinkNet — 0,5, для SegNet — 0,7.

Сравнение обработанных изображений в разных моделях

Сравнение необработанных изображений в разных моделях

Сравнение обработанных изображений, которые модель не использовала при обучении на разных моделях

На этом этапе тестировались районы бедствия, которые не использовались при обучении моделей. Эти области были обработаны, помечены и получены замаскированные изображения для тестирования в 3-м эксперименте.

Полученные результаты

В проекте она направлена на автоматическое обнаружение наводнений по спутниковым снимкам. В среде SNAP полученные изображения были разделены как до, так и после катастрофы, подготовлены обработкой и, наконец, сделаны пригодными для обучения модели, сделав их размером 512x512.

Затем были исследованы различные алгоритмы сегментации изображений и проведены 3 разных тренинга, а именно UNET, LinkNet и SegNet. Глядя на результаты, было видно, что модели, особенно UNET и LinkNet, дали очень успешные результаты.

На экспериментальной фазе прежде всего проверялись пороговые значения в предсказаниях модели и для каждой модели выбирались значения с наибольшим успехом. Затем успешность обучения проверялась путем тестирования необработанных изображений в среде SNAP и изображений, не участвовавших в обучении модели. При тестировании успешности модели использовались различные метрики. Эти метрики основаны на соотношении значений, предсказанных моделями, и значений «истина-ложь» в фактических значениях.

На заключительном этапе был подготовлен графический интерфейс. Изображение региона до и после катастрофы было запрошено у пользователя в качестве входных данных. Затем пользователю предлагается выбрать желаемую модель и получить изображение маски, в котором катастрофические изображения помечены как выходные.

Наша следующая цель на этапе разработки нашего проекта — автоматизировать процесс ручной маркировки, чтобы свести к минимуму человеческие ошибки.

Я хотел бы поблагодарить своего товарища по команде Угура Алтындала и нашегоценного советника Али Джана Караджа за их вклад и усилия в завершении проекта.