Разработка архитектуры и опытного образца системы сбора обработки и хранения данных для системы дистанционного мониторинга земель агропромышленного комплекса (СДМЗ АПК)

СДМЗ АПК создается для обеспечения информационной поддержки работы министерства сельского хозяйства РФ. Планируется, что система будет предоставлять информацию о состоянии сельскохозяйственных земель и культур региональным министерствам и ведомствам, а также районам и муниципальным органам управления и производителям сельскохозяйственной продукции. Система должна обеспечивать работу с достаточно разнородной информацией (в том числе с данными дистанционных наблюдений, данными наземных наблюдений, метеорологическими данными). Данные должны поступать в систему из различных источников, проходить в ней полный цикл обработки до получения различных информационных продуктов, необходимых для решения задач контроля и управления сельскохозяйственным производством. Полученные информационные продукты должны оперативно предоставляться различным группам пользователей.

Следует учитывать, что одной из основных задач системы является получение объективной информации, максимально независящей от субъективных мнений специалистов, обеспечивающих обработку и анализ данных. Поэтому система должна в основном быть ориентирована на использование полностью автоматизированных технологий анализа данных. Кроме того, должна иметься возможность достаточно простого расширения системы как для обеспечения работы с новыми типами данных, так и для включения в нее дополнительных процедур обработки и методов представления и анализа данных.

Чтобы решить поставленные задачи, необходимо было реализовать специальную систему работы с данными. В качестве базовой для ее создания была использована технология построения автоматизированных систем сбора, обработки, архивации и представления данных дистанционного зондированная, созданная в ИКИ РАН, в том числе в рамках темы «Мониторинг». На основе данной технологии была реализована система сбора, обработки, архивации и представления данных, архитектура которой представленная на рис. 16.1.1. Основной особенностью данной архитектуры является  то, что блоки  представления данных  пользователям максимально отделены от блоков сбора и обработки данных. Это обеспечивает построение различных информационных продуктов, необходимых для работы пользователей, на основе информации, находящейся в архивах системы, не связывая процессы построения данных продуктов с процессами сбора и обработки данных.

 

Рис. 16.1.1 Архитектура построения системы сбора, обработки, архивации и представления данных СДМЗ АПК

Комплекс сбора и обработки данных обеспечивает автоматическое получение данных из различных источников, их предварительную обработку и подготовку для занесения в архивы и базы данных СДМЗ АПК. Комплекс также обеспечивает  тематическую обработку данных для получения базовых информационных продуктов, таких, например, как карты вегетационных индексов, маски используемых полей, наборы различных индексов, осредненных по территории различных административных единиц, и территориям, занятым различными типами растительности. В комплексе имеются блоки, ориентированные на проведение обработки по мере поступления в систему новых данных; они обеспечивают оперативное получение продуктов, предназначенных, например, для оценки текущего состояния посевов. В комплексе также реализованы блоки, обеспечивающие обработку накопленных в архивах данных за достаточно продолжительный период времени; они, в частности, обеспечивают возможность оценки долговременной динамики сельскохозяйственных земель, например, проведение оценок, связанных с контролем использования земель.

Комплекс ведения архивов данных обеспечивает хранение различной информации, поступившей в СДМЗ АПК, прошедшей первичную и тематическую обработку. Комплекс обеспечивает автоматическое погружение данных в архивы и базы данных, автоматическую выборку наборов данных и предоставление их для обработки, а также автоматическое оперативное обслуживание запросов, поступающих от комплекса представления данных.
Следует отметить, что различные блоки системы сбора, обработки, архивации и представления данных СДМЗ АПК являются распределенными. Входящие в нее комплексы и блоки работают на различных информационных узлах СДМЗ АПК. В настоящее время информационные узлы СДМЗ АПК расположены в Москве (ГВЦ МСХ РФ, ИКИ РАН, ГУ НИЦ «Планета»), Новосибирске (ЗапСибРЦПОД), Хабаровске (ДВРЦПОД). Поэтому для обеспечения постоянной непрерывной работы элементов системы создан специальный комплекс удаленного контроля работоспособности и управления системы. Комплекс обеспечивает удаленный контроль состояния различных блоков  сбора, обработки и представления данных, а также контроль состояния архивов и баз данных. Одной из существенных функций комплекса является также контроль использования ресурсов СДМЗ АПК и поддержка системы санкционированного доступа к ресурсам СДМЗ АПК различных групп пользователей.

В настоящее время система ориентирована на работу со спутниковыми данными низкого, среднего и высокого пространственного разрешения. В системе организовано оперативное получение и обработка данных приборов AVHRR (спутники серии NOAA), MODIS (спутники Terra и Aqua) и SPOT VGT (спутники серии SPOT). Эти данные поступают в систему по территории всех сельскохозяйственных регионов России. Данные поступают в систему из центров приема ГУ НИЦ «Планета», ЗапСибРЦПОД, ДВРЦПОД (AVHRR, MODIS), архивов USGS (MODIS – продукт MOD09)  и архивов центра VITO (SPOT VGT – десятидневные безоблачные композиты).

В системе накоплены многолетние архивы данных приборов MODIS (2001г.-по настоящее время) и SPOT VGT (2000г. – по настоящее время). Это позволяет проводить не только анализ данных одномоментных наблюдений, но и анализ долговременных рядов данных. В частности, это позволяет проводить оперативное сравнение динамики растительности, наблюдаемой в текущем году и состояния растительности, наблюдавшиеся в различные годы. Такое сравнение, в частности, позволяет выявить годы- аналоги для построения оценок урожайности, провести сравнительный анализ состояния растительности по отношению к наблюдающейся многолетней норме, в том числе для выявления случаев гибели посевов.

Сегодня пользователи СДМЗ АПК  имеют возможность работать не только с исходными спутниковыми данными низкого и среднего пространственного разрешения, но и с результатами их обработки. В частности пользователи могут получать:

 

• оперативные карты вегетационных индексов;
   
• оперативные карты изображений облачности;
   
• осредненные значения вегетационных индексов по различным типам регионов и различным типам растительности;
   
• безоблачные композитные карты NDVI;
   
• информацию о сельскохозяйственных полях; 
   
• маски используемых сельскохозяйственных земель;
   
• маски земель, занятых озимыми культурами;
   
• маски земель, находящихся под паром;
   
• различные отчетные формы и бюллетени;
   
• и другие продукты.

В системе также организована работа с данными высокого пространственного разрешения, в основном получаемыми приборами LANDSAT ETM (спутники LANDSAT) и HRV, HRVIR (спутники SPOT). В частности, в системе накоплен архив безоблачных данных HRV, HRVIR за 2008 год, насчитывающий более 10 000  сцен. В системе также организована возможность оперативного получения этих данных из центров приема в Самара-Информспутник, ЗапСибРЦПОД, ДВРЦПОД. Данные высокого разрешения сегодня используются в системе в основном для определения границ полей и коррекции информации, получаемой на основе оперативных данных среднего пространственного разрешения.

В 2009 году основные блоки и элементы системы сбора и обработки данных, созданные в  ИКИ РАН, были введены в опытную эксплуатацию. Работы в данном направлении выполнялись, в том числе при поддержке программ Министерства сельского хозяйства Российской Федерации (МСХ РФ).