Разработка новых методов и технологий, обеспечивающих работу с распределенными сверхбольшими архивами данных, в том числе позволяющих создавать системы распределенной обработки и анализа данных, а также позволяющих проводить анализ временных серий  спутниковых наблюдений различного пространственного разрешения для решения комплекса задач исследований и мониторинга поверхности и недр Земли, ее гидросферы, атмосферы и биосферы (пункт 4.1.3 плана работ на 2016 г.)

Создание унифицированной системы ведения архивов спутниковых данных, предназначенной для построения современных систем дистанционного мониторинга.

Одним из основных требований к современным системам ведения архивов спутниковых данных является поддержка работы с широким спектром различных данных, получаемых разными космическими аппаратами с помощью большого числа приборов наблюдения Земли, имеющих различные характеристики, разрешение и схемы функционирования. И хотя системы доступа к данным конкретных спутниковых систем по-прежнему востребованы, пользователям гораздо удобнее получать доступ к интересующим их данным разных спутников в рамках единого ресурса. Это приводит к необходимости построения унифицированных систем ведения архивов спутниковых данных, которые бы позволяли максимально однотипно работать с достаточно разнородной информацией.  С возрастанием числа действующих спутниковых систем и объемов получаемых с них данных еще большую актуальность приобретает задача организации сверхбольших архивов спутниковых данных. Развитие в последние десятилетия информационных технологий и сетевой инфраструктуры позволило на новом уровне организовать доступ к распределенным архивам спутниковых данных. В результате для пользователя уже не имеет большого значения, где именно физически располагаются те или иные спутниковые данные.

За последние годы радикально поменялись и требования по обеспечению доступа к информации. Если раньше потребители спутниковых данных зачастую довольствовались получением исходных данных, на основе которых они могли сами получать требуемые им информационные продукты, то в настоящее время их все больше интересуют возможности работы с готовыми информационными продуктами. При этом информационные продукты могут представлять собой как изображения, соответствующие исходным каналам спутниковых приборов, так и любые тематические продукты, получаемые на основе их обработки, включая различные цветосинтезированные изображения, вычисляемые по ним индексы и маски, а также композитные изображения, полученные на основе объединения данных по заданному множеству спутниковых сеансов.

Так как спутниковые данные зачастую имеют очень большой объем, то хранение всех возможных информационных продуктов, которые могут быть получены на основе одних и тех же исходных данных, становится нецелесообразным. Это приводит к необходимости организации доступа пользователей к информационным продуктам, получаемым непосредственно по запросу пользователя. Традиционным способом предоставления доступа к таким продуктам является заказ на обработку выбранных исходных данных. Однако с развитием информационных технологий и аппаратного обеспечения все более актуальным становится предоставление доступа пользователям к «виртуальным» продуктам, т.е. продуктам, которые динамически формируются на основе исходных данных в режиме реального времени. В этом варианте пользователи могут получить доступ к интересующим их информационным продуктам таким же образом, как если бы они уже находились в архиве.

Наиболее интересным направлением развития современных систем доступа к спутниковым данным является поддержка сложных инструментов для работы со спутниковыми данными и их анализа, которые ранее были доступны только в настольных приложениях.

Наряду с развитием универсальных систем доступа к спутниковым данным особую актуальность в наше время приобретают специализированные системы, предназначенные для решения задач в той или иной научной или прикладной области. Это связано с тем, что для решения разных задач зачастую требуются отличающиеся наборы данных и инструменты для работы с ними. При этом, естественно, нет никакой необходимости для каждой из таких систем разворачивать отдельные архивы. Гораздо более продуктивным является использование данных из одних и тех же архивов в большом числе различных специализированных систем доступа к спутниковым данным. Естественно, что для реализации такого подхода системы ведения архивов спутниковых данных должны поддерживать необходимый для этого набор сервисов для работы с данными.

Развитие в последние годы информационных систем доступа к спутниковым данным в направлении предоставления пользователям все более сложных инструментов для работы с ними, потребовало значительной доработки и усложнения используемых нами систем ведения архивов. Прежде всего, это касается реализации механизма доступа к «виртуальным» продуктам и поддержки работы инструментов для анализа данных и обработки их в режиме «реального времени». При этом многие новые возможности по организации доступа к данным оказались востребованы для различных типов спутниковых данных, а отдельная их поддержка для каждой из специализированных систем ведения архивов оказалась достаточно трудоемкой. Поэтому возникла необходимость унификации решения задач по архивации различных типов спутниковых данных и предоставления к ним доступа и разработки новой унифицированной системы ведения архивов спутниковых данных. Для того чтобы это стало возможным, была проведена разработка такой системы ведения архивов, которая позволила бы эффективно работать с различными типами спутниковых данных.  Кроме этого потребовалась унификация механизмов ведения справочной информации о спутниках, приборах, станциях приема и реализованных информационных продуктах. Вместо использования разрозненных конфигурационных файлов, информация в которых часто была неполной и даже дублировалась, было решено реализовать единую базу данных, содержащую всю необходимую справочную информацию по всем имеющимся у нас типам спутниковых данных, включая информацию о «виртуальных» продуктах и правилах их построения. Такие работы были выполнены   в ИКИ РАН в 2016 году

Для внедрения новой унифицированной системы ведения архивов было разработано специальное программное обеспечение, предназначенное для миграции метаданных из существовавших ранее архивов спутниковых данных в архивы, построенные по новой схеме, без необходимости дублирования самих файлов спутниковых данных. Для обеспечения возможности отладки такие инструменты должны также позволять одновременное ведение существовавших архивов и новых архивов.

Созданная унифицированная система ведения архивов спутниковых данных удовлетворяет следующим основным требованиям:

• Использование унифицированной структуры БД для хранения спутниковых данных позволяет без существенного проигрыша в производительности обеспечить работу с имеющимися разнородными архивами спутниковых данных.
• Использование единой справочной БД, содержащей всю необходимую информацию о станциях приема, спутниках, приборах, продуктах, включая «виртуальные» продукты и правила их построения.
• Предоставление доступа к спутниковым данным различных типов осуществляется на основе унифицированного программного обеспечения.
• Обеспечена поддержка единого для всех типов спутниковых данных механизма предоставления доступа к «виртуальным» продуктам, позволяющего гибко задавать правила получения новых информационных продуктов на основе имеющихся в архиве данных.
• Обеспечена поддержка сервисов предоставления расширенных метаданных, необходимых для работы инструментов анализа данных и проведения обработки данных в режиме «реального времени».
• Проведена максимальная унификация программного обеспечения, предназначенного для архивации спутниковых данных и ведения распределенных архивов, при сохранении совместимости с существующими форматами поступления данных в архивы.

Реализация  унифицированной системы ведения архивов спутниковых данных (UNISAT) базируется на использовании технологий и программного обеспечения, которые были разработаны в ИКИ РАН в течение последних 15 лет.

Общая архитектура системы ведения архивов UNISAT приведена на рисунке 1.2. В левой части схемы изображены программные компоненты, отвечающие за архивацию спутниковых данных и обмен данными с другими информационными центрами. В средней части схемы приведена справочная БД unisat_catalog, БД unisat, содержащая метаданные имеющихся в архиве данных, и связанное с ней файловое хранилище, в котором непосредственно находятся файлы спутниковых данных. В правой части схемы изображены основные сервисы, предназначенные для обеспечения доступа к данным в архиве. На схеме пунктирными стрелками показаны запросы на получение данных или метаданных, сплошными стрелками – метаданные, а полыми стрелками – данные. Внешние компоненты, непосредственно не входящие в состав системы ведения архивов, показаны пунктирными фигурами.

Рисунок 1.2. -  Общая архитектура системы ведения архивов UNISAT
 
В настоящее время новая унифицированная система ведения архивов спутниковых данных внедрена и успешно используется в ряде специализированных систем дистанционного мониторинга Земли, предназначенных для решения различных научных и прикладных задач. Наиболее значимыми из них являются: информационная система дистанционного мониторинга Федерального агентства лесного хозяйства ИСДМ-Рослесхоз (http://www.pushkino.aviales.ru), различные информационные системы семейства ВЕГА (http://szv-vega.ru/systems.shtml), информационная система «Дистанционный мониторинг активности вулканов Камчатки и Курил» VolSatView (http://volcanoes.smislab.ru/), объединенный каталог данных региональных центров ФГБУ «НИЦ «Планета»  и спутниковый сервис Sее The Sеа (STS, http://ocean.smislab.ru/). На базе использования новой системы ведения архивов спутниковых данных в настоящее время функционирует также «Центр коллективного пользования» ИКИ РАН, предназначенный для обеспечения доступа специалистов, ведущих различные научные и исследовательские проекты, к архивам спутниковых данных и информации, получаемой на их основе, а также к инструментам для их обработки и анализа.