Битва битов: качество тематических ИИ-продуктов на данных 8 бит и 12 бит

Как разрядность спутниковых снимков влияет на машинное обучение: результаты нового исследования

Темы

• Эксперимент
• Материалы и методы
• Оценка точности
• Результаты и выводы

В рамках работы собственной лаборатории нейросетей специалисты АО "Терра Тех" провели исследование с целью определения влияния разрядности информации в изображениях на эффективность конвейерного производства тематической продукции с использованием технологий машинного обучения.

Была проведена сравнительная оценка данных с высокой и низкой разрядностью, с применением как классических метрик качества, так и визуального экспертного анализа.

Результаты однозначно подтвердили преимущество высокой разрядности. Вместе с тем были выявлены и перспективные области применения данных с низкой разрядностью — в частности, в задачах, где приоритет отдается скорости обработки и снижению вычислительных затрат.

В задачах распознавания изображений с использованием машинного обучения одним из ключевых аспектов является состав входной информации. Тип используемых данных влияет на создаваемые методы автоматизации и затраченные ресурсы предприятия. Подходы к выбору исходных данных актуальны не только для сферы космической съемки, схожие методы применяются в ряде отраслей, в том числе в сфере медицины [2,3]. Проведенные ранее исследования в области ДЗЗ [1] фокусируются на исследовании качества сегментации облачности – важной задачи для оценки качества изображений. В этом материале рассмотрен более широкий набор классов сегментации и сделаны подходы к оценке качества итоговых тематических продуктов.

Использование искусственных нейронных сетей в задачах тематической обработки ДЗЗ актуально при регулярной работе с большими объемами данных, особенно в информационно-аналитических системах различного уровня. Такие данные применяются для принятия управленческих решений, что требует высокого качества и достоверности анализа. При этом во многих случаях используются открытые и доступные спутниковые изображения, что снижает затраты, но сопровождается потерей детализации из-за сжатия. В данном материале проводится сравнение использования космической съемки с высокой и низкой разрядностью информации при применении методов автоматической классификации с использованием искусственных нейронных сетей.

Материалы и методы

При проведения данного исследования использовались спутниковые изображения, полученные с российских государственных космических аппаратов Канопус-В. В качестве исходных данных с высокой разрядностью информации использованы космические изображения, полученные из Федерального фонда данных ДЗЗ. В эксперименте использованы мультиспектральные данные с пространственным разрешением около 12 метров. Стандартная поставка представляет собой 4-канальные изображения, обработанные по технологии АПОИ (автоматическая потоковая обработка информации), данные Канопус-В имеют полную разрядность 12 бит. Выбор мультиспектральных данных со средним разрешением обусловлен как техническими, так и организационными факторами. Такие данные имеют меньший объем, что позволило провести эксперимент в сжатые сроки и без высоких сопряженных нагрузок на инфраструктуру. С технической точки зрения, известно, что мультиспектральные данные Канопус-В до процедуры паншарпенинг имеют более репрезентативный динамический диапазон, что повышает качество работы нейросетевых моделей и других методов автоматизированной обработки данных. Для проведения эксперимента полученные из ФФД ДЗЗ исходные данные с разрядностью 12 бит были преобразованы в RGB изображения 8 бит с использованием стандартных подходов нормирования, масштабирования и гамма-преобразования библиотеки GDAL. Исходные данные 12 бит так же нормированы.

Описание примененных архитектур и наборов данных

Создание обучающей разметки для разработки нейросетевого решения выполняется по следующим четырем шагам:

• Сбор обучающих изображений, содержащих природные и антропогенные ландшафты различных природных зон, имеющие различные варианты отображения на снимке. Перед включением в обучающую выборку все снимки были предварительно обработаны. Собранные данные разделены на обучающую, валидационную и тестовую выборки, в соотношении 8:1:1.
• Выбор формата разметки, традиционно представляющий собой растровую маску сегментации в формате tif, совместимом с выбранным фреймворком для обучения нейронных сетей.
• Изготовление набора эталонов признаков и обучающих полигонов.
• Подготовка эталонов содержания, т.е. части снимка, полностью дешифрированные в принятой системе условных обозначений и представляющие вид конечного результата дешифрирования

В качестве набора данных использовался один из собственных датасетов космических снимков АО «Терра Тех», сформированный для территории России. Использованная в данном эксперименте обучающая выборка содержит 11438 изображений размером 512х512 пикселей, а тестовая выборка - 684 изображения. Разметка данных для данного датасета была выполнена автоматизировано с использованием экспертного дешифрирования тематическим подразделением компании. В рамках исследования выполняется сегментация изображений по 9 классам земного покрова и дефектам изображений.

Классы сегментируемых типов поверхности

Используемая в данном случае разметка является глобальной для территории России и предназначена для формирования единообразных карт типов поверхности в масштабе страны без учета особенностей отдельных природно-климатических зон.

Для данного эксперимента использована архитектура U ResNet34. В качестве базовой архитектуры для решения задачи используется U-Net, выбор которой обусловлен необходимостью сегментации объектов небольших размеров (от единиц пикселей) и необходимостью точной детализации контура сегментации. В качестве кодировщика используется типичная архитектура сверточной нейронной сети ResNet-34. После входного слоя находится сверточный слой с размером ядра 1x1 для формирования линейной комбинации входного изображения в трехмерном пространстве, что позволяет эффективно использовать предобученные на Imagenet веса и осуществлять трансферное обучение. Далее находится сверточный слой с размером ядра 7×7 и шагом 2, который необходим, чтобы уменьшить дискретизацию входного изображения в два раза. Далее расположен слой пакетной нормализации (BN), слой активации с помощью прямоугольной функции (ReLU) и слой максимального объединения с шагом 2. За слоем максимального объединения находятся повторяющиеся остаточные блоки ResNet-34. На каждом этапе понижающей дискретизации количество карт признаков удваивается.

Каждый слой в декодировщике состоит из операции повышения вдвое разрешения карт признаков, за которой последуют свертка 2×2, которая уменьшает количество карт вдвое, добавление признаков с промежуточных слоев кодировщика, две свертки с ядром 3×3, за которыми следует функция активации ReLU. На последнем слое декодировщика используется свертка 1×1 с функцией активации softmax для сопоставления каждого 64-компонентного вектора свойств с желаемым количеством классов. Всего сеть содержит 51 свёрточный слой. Применение функции потерь в сочетании с методами оптимизации обеспечивает стабильное и эффективное обучение. В качестве метода оптимизации применяется адаптивный алгоритм оптимизации Adam (adaptive moment estimation), который является модификацией метода Adagard и сочетает в себе идею накопления движения и идею более слабого обновления весов для типичных признаков. Выходным результатом обработки снимка нейросетевой моделью является трехканальное растровое изображение, полученное методом скользящего окна, где размер окна равен входному размеру нейронной сети (512х512 пикселей), а шаг равен 256, таким образом, получается наложение наполовину. Это необходимо для устранения краевого эффекта, возникающего на пограничных пикселях из-за особенностей операции двумерной свертки.

Итоговое решение по принадлежности пикселя к какому-либо классу принимается по максимуму значения выхода сети (операция argmax). Например, из значений [0,1; 0,7; 0,2] выбор будет сделан в пользу 0,7.

В рамках эксперимента было разработано две модели:

• Модель 1 была обучена на данных с разрядностью 8-бит
• Модель 2 была обучена на данных с разрядностью 12-бит

Обучающая выборка, технология обучения и архитектура нейронной сети были одинаковые. При обучении использовались следующие программные библиотеки: TensorFlow, Keras, Segmentation_models, Scikit-image и Scikit-learn, Pandas, OpenCV-Python. Выбор этих инструментов и библиотек обусловлен их широкой функциональностью, стабильностью и хорошей поддержкой сообщества, что важно для разработки надежных и эффективных нейросетевых моделей в области анализа спутниковых данных.

Оценки точности

Оценка точности работы нейросетевых моделей выполнена двумя различными способами. Первый метод использует метрики F1, Precision, Recall, TP_IoU, Dice, Accuracy, Overall Accuracy. Их значения показывают точность отнесения алгоритмом элементов изображения к корректному классу. Сравнение этих значений позволяет оценить непосредственно качество работы алгоритма на разных данных. Дополнительно проведено экспертное визуальное сопоставление результатов. Для группы из 10 независимых изображений произведена полуавтоматическая разметка, которая используется для экспертной визуальной оценки корректности сегментации отдельно для двух видов данных.

Схема расположения участков экспертной верификации

Для экспертной верификации были выбраны 10 репрезентативных изображений, расположенных в различных природно-климатических зонах и отражающих различные сочетания классов земного покрова.

Примеры космических снимков для экспертной верификации

Идентификатор снимка KV5_09478_07241_00_KANOPUS_20200909_082411_082345.SCN1_8 (п-ов Тамань)

Идентификатор снимка KVI_03645_01925_00_KANOPUS_20180311_071041_071108.SCN1_8 (Башкортостан)

Экспертная визуальная оценка изображений

№1 Енисей (осень)

Экспертная верификация: наиболее существенная разница наблюдается по классу 9 (вода). На 12-бит изображениях существенно выше качество идентификации водных объектов с неоднородным цветом, тогда как на 8-бит отдельные фрагменты были вовсе отнесены к другим классам. Заметим, что на 8-бит изображениях участки воды с замутнениями отнесены к классам травяной растительности, пашни и даже лесной растительности. Такая существенная разница безусловно связана с наличием отдельного ближнего ик-канала. Также существенная разница наблюдается в интерпретации лесотундровой растительности, которая не является самостоятельным классом в глобальной модели. На снимках 12-бит такая растительность скорее корректно отнесена к травяной растительности, тогда как на 8-битных изображениях – к древесной, что является существенной ошибкой.

№2 Карелия (лето)

Экспертная верификация: для глубокой и однородной воды 8 и 12-битные изображения показывают практически равнозначный результат. Здесь стоит обратить внимание на качество сегментации облачности и дымки, которая на изображениях с большим динамическим диапазоном выявляется существенно более точно. Данный факт является достаточно существенным, поскольку известно, что облачность и дымка могут существенно снижать применимость данных для решения тематических задач. Для снижения влияния облачности и дымки в Терра Тех разработаны отдельные алгоритмы, качество работы которых напрямую связано с эффективностью детектирования области дефектов.

№3 Камчатка (лето)

Экспертная верификация: обе модели совершили достаточно много ошибок как с водными объектами, так и с небольшими ледниками и скоплениями снега. Эти неточности могут быть частично обусловлены отсутствием достаточного количества подобных данных в обучении. Для доминирующих типов поверхности можно констатировать, что данные 12-бит позволили получить более точные и корректные контуры.

№4 Ингушетия (лето)

Экспертная верификация: при экспертном изучении результатов очевидны существенные различия в качестве сегментации. На изображении 8-бит ошибочный класс «вода» присвоен обширным участкам лесной растительности. К водным объектам отнесены самые темные пиксели со значениями яркости близкими к 0, а некоторые – пропущены. Другие существенные ошибки допущены при распознавании обрабатываемых полей. Данные 8-бит располагают алгоритм к сегментированию участков полей как травяной растительности, а участков распашки – как открытого грунта. Данный факт является наиболее существенным, поскольку снижает эффективность решения таких прикладных задач как выявление карьеров на с/х землях или инвентаризация с/х земель. Так же интересно обратить внимание на качество сегментации поверхности в области тени от облаков. Участок, закрытый облачностью, представляет собой сложный предгорный ландшафт, на разных участках которого луговая растительность сменяется редколесьем, а затем густым лесом, однако сама граница скрыта облачностью. В подобных условиях даже для опытного эксперта существуют сложности корректного визуального разделения типов поверхности. Аналогично, обе модели спутали классы. Однако, на данных 12-бит более точно отделена непосредственно облачность и зоны тени, а различимые участки поверхности отнесены к разным классам – древесной и травяной растительности, хотя и не везде точно. Тогда как на данных 8-бит алгоритм отнес обширные области к тени от облаков, что сказывается на общей оценке качества и пригодности сцены.

№5 Башкортостан (зима)

Экспертная верификация: полученные карты типов поверхности практически идентичны. Ожидаемо, 8-бит изображения дают результат ниже по качеству на темных участках густой растительности (пропуски в слое сегментации) и незначительном отнесении заснеженного редколесья к луговой растительности. При этом, можно отметить, что модель и данные 8-бит лучше справились с отделением лесополос, дорог, водных проток и ручьев. Высокий контраст и резкие контуры способствуют более явному отделению их от заснеженного фона.

№6 Ладожские шхеры (лето)

Экспертная верификация: в процессе обработки 8-бит изображение получило завышенные показатели яркости (засветка), что частично может быть связано с характером облачности на сцене. На сложном ландшафте с каменистыми отмелями и изрезанной береговой линией обе модели допускают ошибки сегментации. Однако, аналогично уже рассмотренным примерам, на изображениях 8-бит допущено больше неточностей. Тени от облаков отнесены к воде, древесная растительность к травяной или открытым грунтам – вдоль побережий. При этом, модель для 12-бит изображений хуже разделяет прибрежную линию, однако меньше путает растительность, что соответствует полученным ранее результатам.

№7 Васюганские болота (лето)

Экспертная верификация: первоначально кажется, что модель для данных 8-бит более чувствительна к участкам с переходными типами поверхности и более чувствительна к текстуре в целом. Однако, при более детальном рассмотрении становится заметно, что эти участки с редколесьем чаще отнесены к лесу, а не травяной растительности. Таким образом, 12-бит данные дают более ожидаемый и надежный результат. Любопытным является отнесение сплошной вырубки к разным классам. На данных 12-бит это класс урбанизированной территории, тогда как на данных 8-бит участок отнесен к открытому грунту и травяной растительности. Это подсвечивает любопытный аспект, поскольку территория сплошной рубки действительно визуально схожа с подготовкой площадок под строительство.

№8 Самарская Лука (лето)

Экспертная верификация: данный пример является, пожалуй, наиболее показательным из всех рассмотренных. Данные 8-бит не только традиционно допустили пропуски на водных объектах, но и совершенно не справились с идентификацией обрабатываемых полей, приравняв участки пашни к травяной растительности или открытым грунтам. В то же время, модель для данных 12-бит предпочитает травяную растительность классу открытых грунтов. Даже участки песчаных отмелей и островных обрывов моделью к открытым грунтам не отнесены. При этом, однако, стоит отметить, что данные 12-бит, как более чувствительные к растительности, допускают более детальную сегментацию участков застройки, перемежающейся с растительностью, иногда допуская ошибки в отнесении объектов к корректному классу. Такая особенность может иметь прикладное применение для обоих типов моделей.

№9 п-ов Тамань (лето)

Экспертная верификация: на данном кейсе обратим внимание на качество сегментации резервуаров, рисовых полей, древесной растительности и воды. В данном случае изображения 8 бит не только пропустили часть водной поверхности, но и посчитали часть воды как лес, траву и даже открытый грунт на тех участках, где имеет место существенный вынос взвешенных частиц. В частности, замутненное русло полностью утрачено на данных 8-бит. Любопытным является так же факт выявления такой моделью участков яркой растительности на воде как облачности, которая так же имеет максимальную яркость. Обратим теперь внимание на такие сложные объекты как полу-осушенные и заболоченные садки рыбного комбината. Модель на 8-бит данных определяет отдельные участки как заросшие лесом, а другие- как травянистые. Модель 12 бит хотя и не полностью корректно разделяет воду, не допускает появления лесной растительности и ошибается лишь в пользу класса травы на сильно заросших участках садков. В то же время, модель на 12-бит данных менее чувствительна к открытым грунтам, что подтверждается предыдущим примером. Данный факт скорее объясняется набором обучающей выборки, где к открытым грунтам в основном отнесены объекты добычи ОПИ. Именно подобные им объекты модель 12-бит распознает корректно, тогда как модель 8-бит менее избирательна, однако относит отдельные участки открытого грунта к антропогенным объектам. Строго говоря, они не являются застройкой, однако и полностью неверной такую интерпретацию назвать сложно.

№10 Архангельская область (осень)

Экспертная верификация: отработка модели на данных 8-бит хотя и ложно определила участки антропогенного воздействия, тем не менее выделила в отдельный класс снег и песок, хотя и с низкой точностью контуров. Тогда как модель 12-бит данные классы вовсе пропустила, посчитав, видимо, их недостаточно выраженными. Однако, при этом, контуры преобладающих классов при отработке моделью 12-бит наиболее корректны. Можно отметить, что обе модели не смогли различить лесные дороги.

Результаты и выводы

Сравнение ключевых метрик для данных 12-бит и 8-бит

Полученные значения ключевых метрик на первый взгляд показывают, что в целом классы определяются с сопоставимой точностью. Коэффициент корреляции в значениях метрик для двух видов данных по TP_OU составляет 0,88, а для accuracy 0,97. Однако, для некоторых классов индивидуально разница в точности существенная. Получено, что точность определения класса 4 (леса) наиболее сопоставима по двум видам данных, тогда как класс 71 (снег) имеет существенно более надежные показатели на данных с большим динамическим диапазоном. При этом, по всему комплексу показателей, можно сделать вывод, что на 12-битных данных разброс значений метрик по всем классами значительно меньше, чем по данным с разрядностью 8-бит. Это косвенно свидетельствует, что использование изображений с большим динамическим диапазоном позволит получать более единообразные, более ожидаемые результаты, что крайне важно при организации массового производства продукции.

Представленный график показателей метрики Precision наглядно демонстрируют расхождения в уверенности моделей для отдельных классов.

Полученные результаты исследования совпадают с тезисами, выдвинутыми в статье Liao, L et al. Коллектив исследователей так же сделал вывод, что хотя данные 8-бит вполне пригодны для получения приемлемых результатов, данные с высокой разрядностью обеспечивают более ожидаемый и надежный результат.

Отметим, что в статье Liao, L et al так же применяется модель сегментации на основе архитектуры U-Net. В материале статьи указывается, что значения метрики Accuracy для детектирования облачности в самом сложном случае составляют 71-73%. А в среднем – около 91%. Алгоритм Терра Тех в среднем для класса облачности показывает Accuracy более 98%. Данная деталь подтверждает не только преимущество выбранных в компании подходов, но и высокую важность правильной подготовки обучающих наборов данных. В том же материале Liao, L et al указывается, что разница в точности сегментации облачности по двум видам данных с разной разрядностью составляет 0,9%. Метрики алгоритма Терра Тех показывают разницу в 0,4%.

Принимая во внимание результаты произведенной выше экспертной верификации можно констатировать, что непосредственно метрики не могут быть единственным и достаточным показателем качества моделей при построении промышленных систем. Ярким примером этому является класс 71 (снег). Так, метрики на данных 8-бит практически не отличаются от метрик 12-бит, однако на визуально видно, что результаты существенно различаются.

Исходя из полученных результатов оценки метрик и экспертной верификации можно сделать несколько практических выводов:

• Для картирования типов поверхности данные 12-бит более пригодны и наиболее верно отражают физические границы преобладающих классов поверхности, однако более склонные к генерализации. Для промышленного производства продукции данные 12-бит обеспечивают ключевой показатель – надежный и ожидаемый результат без существенных грубых ошибок.
• Для задач выделения лесополос и объектов инфраструктуры зимние данные 8-бит показывают достаточную пригодность.
• Обе модели плохо справляются с отделением мелких водотоков, что является скорее проблемой выбранного разрешения снимков.
• Представляется, что данные 8-бит более приемлемы для установления общих границ застроенной территории, тогда как данные 12-бит более пригодны к разделению участков застройки на кварталы.
• Для быстрой и грубой оценки качества сцены можно рассматривать 8-бит изображения с целью ускорения обработки информации.

Список литературы: