4.1.2. Разработка научно-методических основ и технологий ведения долговременных архивов данных дистанционных наблюдений состояния окружающей среды, природных и антропогенных объектов.

 В рамках данного направления в 2011 году в ИКИ РАН проводились работы по развитию систем архивации и сбора данных в базовых центрах приема и обработки данных Росгидромета и Роскосмоса. В рамках этих работ развивались методы и  технологии ведения долговременных архивов данных, которые были необходимы для создания объединенной системы доступа к данным в  Европейском, Сибирском и Дальневосточном центрах приема, обработки и архивации данных НИЦ «Планета» (Росгидромет) и объединенной системе доступа к спутниковым данным и результатам их обработки в Научном центре оперативного мониторинга Земли (НЦ ОМЗ, Роскосмос). Следует отметить, что при разработке технологий работы с данными в НЦ ОМЗ особое внимание уделялось вопросам возможности интеграции информации, имеющейся в архивах центра, в различные специализированные информационные системы.

Система доступа к данным Европейского, Сибирского и Дальневосточного центров приема Росгидромета.

ГУ «НИЦ «Планета» является одной из крупнейших в России организаций, обеспечивающий сбор, архивацию, обработку и распространение информации спутникового мониторинга. "НИЦ "Планета" - ведущая организация Росгидромета по эксплуатации и развитию национальных космических систем наблюдения Земли гидрометеорологического, океанографического и природно-ресурсного назначения. В состав НИЦ «Планета» в настоящее время входят следующие региональные центры:
 

• Европейский Центр (гг. Москва, Обнинск и Долгопрудный),
• Сибирский Центр (г. Новосибирск)
• Дальневосточный Центр (г. Хабаровск).

Данные центры обеспечивают приём и обработку данных с зарубежных космических аппаратов серий NOAA, EOS (Terra, Aqua), METEOSAT, METOP, FY, GOES, MTSAT и других, а также отечественных аппаратов «Метеор-М №1» и «Электро-Л». Ежесуточно в этих центрах принимается больше 75 гигабайт данных и производится более 100 видов тематической продукции, обеспечивая регулярное покрытие спутниковыми данными всей территории России.

Одной из основных задач НИЦ «Планета» является организация оперативного представления информации, полученной на основе обработки данных спутниковых наблюдений пользователя. При этом стоит задача организации получения информации пользователями различных служб и ведомств (в первую очередь Росгидромета), работающими на всей территории страны. При этом стоит задача обеспечения однотипного, удобного доступа к информации, получаемой во всех базовых центрах приема. В идеале пользователь должен иметь возможность не только получать статические продукты, производимые в центрах, но и иметь возможность работать с инструментарием, обеспечивающим возможность детального анализа получаемых информационных продуктов.

Для данной задачи «НИЦ «Планета» и ИКИ РАН начали создание специализированной системы, которая должна обеспечить возможность работы различных пользователей с каталогами данных различных центров, а также различными информационными продуктами, получаемыми в результате обработки спутниковых данных в Европейском, Сибирском и Дальневосточном центрах приёма Росгидромета. Основной задачей данной системы является обеспечение пользователей необходимой оперативной и исторической информацией по всей территории России для решения задач мониторинга состояния окружающей среды, проведение метеорологического и гидрометеорологического мониторинга. Система должна, в частности, позволять пользователю:
 

• производить поиск и выбор разнородной информации, полученной на основе данных наблюдений различных спутниковых систем;
• получать различные виды информации (в том числе и полного пространственного разрешения);
• получать как исходные спутниковые данные, так и их фрагменты, а также результаты их обработки;
• обеспечивать возможность подбора информации по любому региону наблюдения, в котором заинтересован пользователь. В случае необходимости пользователь должен иметь возможность автоматически получать необходимую ему информацию по заданному региону;
• формировать необходимые для анализа ряды данных наблюдений за  произвольный период;
• иметь возможность получения доступа к оперативной информации;
• иметь возможность доступа к специализированным интерфейсам, обеспечивающих представление различных данных  в картографических проекциях и проведение совместного анализа различных типов данных;
• получать информацию из оперативно обновляющихся архивов данных различных центров;
• иметь возможность получения и анализа данных, предоставляемых различными центрами в одном интерфейсе
• иметь возможность удаленного доступа к ресурсам системы;
• иметь возможность, при необходимости, использования только стандартного ПО (интернет броузеры) для поиска, выбора и анализа различных информационных ресурсов, предоставляемых системой.

Система создается  на основе разработанной в ИКИ РАН технологии создания информационных систем доступа к спутниковым данным. Данная технология обеспечивает автоматическое прохождение всего жизненного цикла данных от их приёма до предоставления пользователю тематической продукции. На основе этой технологии, в частности, были созданы комплексы архивации и обработки данных, поступающих с различных отечественных и зарубежных КА в центры приема НИЦ «Планета».

Данные, получаемые в центрах, проходят предобработку, включающую в себя радиометрическую и географическую коррекцию, а также построение изображений для быстрого просмотра (т.н. «квиклуков»), заносятся в каталог исходных данных, после чего отправляются на тематическую обработку, в том числе многоступенчатую. Результаты тематической обработки, как правило, представляют собой изображения в стандартных графических форматах, переведённые в широтно-долготную проекцию, которые усваиваются в архив. Для обеспечения возможности быстрой работы с архивами данных в ИКИ РАН была разработана специальная технология, которая в настоящее время используется при построении архивов в центрах приема НИЦ «Планета». В процессе подготовки к архивации для обеспечения в дальнейшем возможности быстрого выбора данных из архивов, изображения разбиваются на непересекающиеся гранулы фиксированного размера в исходном масштабе, затем для них строятся гранулы производных уменьшенных масштабов, после чего все полученные гранулы и информация о них усваиваются в каталоги и архивы данных.

После архивации каждого тематического продукта (или  набора продуктов) в каждом центре начинается обмен метаданными об усвоенных продуктах с остальными центрами.  Это позволяет иметь  в каждом центре информацию о полном содержимом всех архивов всех центров и обновлять её в режиме, близком к реальному времени (см. рис. 4.1.2.1 ). Таким образом, при обращении пользователя  к любому из серверов каталога, ему, в первую очередь, будут предоставляться данные, имеющиеся на этом сервере, а в случае необходимости требуемые данные будут браться с серверов других центров. Для пользователя этот процесс абсолютно прозрачен.

Рис. 4.1.2.1 Организация обмена и доступа к данным.

Для доступа к данным в рамках системы реализован специализированный картографический веб-интерфейс.  Интерфейс создан на основе разработанной в ИКИ РАН технологии GEOSMIS. Интерфейс обеспечивает возможность просмотра данных, покрывающих требуемую  территорию произвольной площади за требуемый промежуток времени. Требуемая территория может быть как произвольно выбранной, так и заранее определённой в соответствии с административным делением вплоть до областей. Для просмотра доступны как статичные сеансовые продукты, так и динамически генерируемые суточные композитные изображения. Как для сеансовых, так и для композитных продуктов реализована фильтрация данных по центрам приёма, космическим аппаратам и типам тематической продукции. Помимо данных, интерфейс предоставляет возможность показа одновременно со слоями данных статичных картографических слоёв, включающих в себя границы стран, субъектов, округов и административных районов, карты городов, дорог, рек и водоёмов, а также карты растительного покрова и покрытых лесом земель, использующиеся в качестве подложки. Интерфейс позволяет работать с различными тематическими продуктами, список которых постоянно расширяется.  Общий вид интерфейса представлен на рис. 4.1.2.2.

Рис. 4.1.2.2 Интерфейс доступа.

В настоящее время ведется опытная эксплуатация системы и активно проводятся работы по расширению ее функциональности.

Организации эффективного взаимодействия  центров приема и обработки спутниковых данных и систем дистанционного мониторинга.

Быстрое развитие технологий, связанных с использованием спутниковых данных, для решения научных и прикладных задач позволило в последние годы начать создание и активное внедрение различных систем дистанционного мониторинга. Активно такие системы создаются и в нашей стране. Следует особо отметить, что постоянно действующие системы дистанционного мониторинга становятся наиболее значимыми по объему получаемой информации потребителями спутниковых данных. В недавнем прошлом считалось, что каждая специализированная система мониторинга должна строиться на собственных центрах приема и обработки спутниковых данных. Однако практика развития технологий работы со спутниковыми данными показала, что данный путь далеко не самый эффективный и очень затратный. Поэтому в последние годы все больше функционирующих систем дистанционного мониторинга ориентируются на использование информации крупных центров приема, способных обеспечить работу со спутниковыми системами. Поэтому особо остро встал вопрос организации эффективного взаимодействия крупных многофункциональных центров и сетей приема данных и систем дистанционного мониторинга.

Создание систем, которые стали использовать спутниковые данные не эпизодически, а постоянно (фактически каждый день), привело к существенному изменению требований к организации взаимодействия с центрами приема, архивации и представления спутниковых данных. Во многих случаях массовым потребителям спутниковой информации интересно получение не только спутниковых данных различного уровня обработки, для того, чтобы потом самостоятельно вести их анализ, а включение в свои системы специализированных продуктов обработки спутниковых данных в виде отдельных информационных «слоев». При этом во многих случаях  наиболее привлекательной становится схема, по которой пользователь получает такие информационные продукты по мере надобности, не организуя у себя специального хранения данных и не занимаясь проблемами их актуализации. В идеале центр должен обеспечить автоматизированное предоставление данных за выбранный пользователем срок и по заданной территории в виде стандартного картографического слоя, который могла бы автоматически усвоить система потребителя.
Следует отметить, что сегодня существует богатый набор технологических возможностей, которые позволяют строить такие системы предоставления данных. Это в свою очередь приводит к тому, что становится возможным создание новых схем распространения данных. По этому пути сейчас идет целый ряд компаний, в том числе такие работы были начаты и в Научном центре оперативного мониторинга земли ОАО «Российские космические системы» (НЦ ОМЗ) совместно с Институтом космических исследований РАН (ИКИ РАН).

Наиболее традиционные способы взаимодействия центров и систем мониторинга -  это организация передачи  практически всего потока необходимой исходной спутниковой информации, получаемой в центре, или организация в центре специализированной обработки и передача в системы мониторинга уже продуктов обработки данных. Эти пути имеют очевидный недостаток, связанный с необходимостью организации оперативной передачи значительного объема информации, что приводит как к необходимости организации мощных каналов связи между центром и системой, так и к существенным задержкам в обработке данных. Конечно, в случае, если в системы мониторинга передаются уже готовые продукты, объемы данных и возникающие задержки можно несколько сократить. Однако система должна изначально подписаться фактически на полный объем получаемых в центре данных  необходимого типа. В случае, если данные распространяются бесплатно или по очень низкой цене, безусловно, использовать такие пути возможно. Однако когда речь идет о данных, имеющих значительную стоимость, практически для любой системы необходимо осуществлять оптимизацию объемов получаемой информации. В этом случае, требуется либо организовать схему массового оперативного заказа данных, либо создать технологию онлайн взаимодействия интерфейсов систем дистанционного мониторинга с архивами центров приема, о которой писалось выше. Оба этих подхода в настоящее время реализованы в НЦ ОМЗ. Здесь мы однако остановимся на кратком описании возможностей именно второй схемы, поскольку развитию технологий, необходимых для ее реализации, были посвящены работы проводимые в ИКИ РАН в 2011 году (в том числе и в рамках темы «Мониторинг»).

Схема интеграции продуктов в специализированные системы мониторинга на уровне интерфейсов. Как уже говорилось выше, во многих случаях для оптимизации и снижения объемов получаемой информации системам дистанционного мониторинга  не всегда выгодно организовывать поступление и обработку в своих центрах всех объемов принимаемой спутниковой информации. Во многих случаях предпочтительнее осуществлять выборку информации по мере ее необходимости и просто обеспечивать возможность пользователям системы получение и работу с информацией, предоставляемой центрами приема наряду с информацией, поступающей из архивов самой системы мониторинга. Данный путь имеет следующие основные преимущества:
 

• в системе мониторинга нет необходимости вести дополнительные архивы данных;
• в большинстве случаев за счет сокращения объемов передаваемых исходных данных сокращается время обработки, необходимое для получения специализированных информационных продуктов;
• сокращаются требования по пропускной способности каналов, связывающих центры приема с центрами системы мониторинга;
• сокращаются объемы получаемой информации за счет того, что пользователи получают только необходимые им фрагменты.

Все это, в конечно итоге, ведет к оптимизации затрат на создание и эксплуатацию систем дистанционного мониторинга и позволяет существенно расширить возможности получения и использования информации, полученной на основе данных дистанционного зондирования. Особенно важно это для систем, которые ориентированы на мониторинг различных нестационарных объектов и процессов. Именно такими системами являются в частности, системы дистанционного мониторинга природных пожаров.

Поэтому для отработки описанной схемы предоставления данных была выбрана именно ИСДМ-Рослесхоз. Предложенная схема была разработана и реализована в НЦ ОМЗ на основе технологий потоковой обработки данных, созданной в центре,  и технологий сбора, обработки и распространения спутниковой информации, разработанных в ИКИ РАН. Схема отрабатывалась на примере работы с данными прибора КМСС, установленного на спутнике МЕТЕОР М №1. Для обеспечения работы технологии были
 

• разработаны специальные процедуры обработки данных прибора КМСС, получаемых в НЦ ОМЗ для формирования базовых информационных продуктов и сохранение их в виде, позволяющем эффективный выбор наборов данных для проведения их онлайн анализа;
• реализован специализированный архив информационных продуктов КМСС;
• создана система автоматической подготовки информационных слоев по запросам, поступающим из интерфейсов ИСДМ-Рослесхоз;
• в объединенном картографическом интерфейсе ИСДМ-Рослесхоз [11] создана система управления информационными слоями, поступающими из НЦ ОМЗ.

Технология обеспечила возможность оперативного получения в интерфейсах ИСДМ-Рослесхоз данных  из архивов НЦ ОМЗ. Это, в частности, позволило проводить анализ этих данных совместно с другой информацией, получаемой в ИСДМ-Рослесхоз. Пример отображения информации КМСС в интерфейсах ИСДМ-Рослесхоз приведен на рис. 4.1.2.3. Следует особо отметить, что реализация данной технологии позволила обеспечить доступ пользователей ИСДМ-Рослесхоз к оперативно пополняющимся архивам данных НЦ ОМЗ.

Рис. 4.1.2.3 Пример отображения информации КМСС в интерфейсах ИСДМ-Рослесхоз. Пожары в Иркутской области 1.10.2011

Реализованные схемы позволили расширить варианты взаимодействия НЦ ОМЗ с различными пользователями спутниковой информации, в первую очередь со специализированными системами мониторинга, которые в настоящее время становятся основными потребителями спутниковых данных. Реализованные в настоящее время в НЦ ОМЗ схемы предоставления пользователям различных информационных продуктов позволяют наладить взаимодействие с различными системами мониторинга, поскольку используют максимально стандартизированные варианты обмена и представления данных. Кроме того, поскольку реализованные в НЦ ОМЗ схемы представления данных были созданы на основе технологий работы со спутниковыми данными, разработанными в ИКИ РАН и использующимися в различных центрах приема и системах дистанционного мониторинга, это в дальнейшем может служить основой для быстрой и удобной интеграции ресурсов центра с ресурсами других систем. В частности, со следующими:

• Объединенная система доступа к данным Европейского, Сибирского и Дальневосточного центров Росгидромета
• Система дистанционного мониторинга земель агропромышленного комплекса
• Система мониторинга Федерального агентства по рыболовству;
• Спутниковый сервис дистанционного мониторинга состояния растительности «Вега» (Российская академия наук)

Использование одной технологической платформы позволяет организовывать высокоэффективное взаимодействие различных систем, в том числе создавать комплексные информационные продукты на основе данных различных систем. Это в свою очередь облегчает взаимодействие систем при решении различных комплексных  совместных задач в частности, задачи создания различных региональных систем дистанционного мониторинга.