Построение высокоэффективных систем доступа к архивам спутниковых данных на основе использования суперкомпьютерных технологий.

В 2010 году были продолжены работы по  построение высокоэффективных динамических систем доступа к архивам спутниковых данных. Системы доступа к спутниковым данным, в которых изображение формируется на основе имеющихся в архивах данных динамически, по запросу пользователя, в настоящее время приобретают все более широкое распространение. В первую очередь, такие системы позволяют предоставлять пользователю доступ к спутниковым изображениям в необходимом масштабе и в требуемой географической проекции. Кроме этого, эти системы позволяют реализовать динамическое формирование новых продуктов на базе существующих в архивах данных.
Для успешного развития описанных выше систем требуются как существенные вычислительные мощности, так и высокие скорости доступа к данным в архивах. Одним из перспективных путей решения этой проблемы, безусловно, является использование современных суперкомпьютерных технологий, позволяющих производить параллельную распределенную обработку заданий. Начиная с 2007 года, в ИКИ РАН совместно ИПС РАН ведутся работы по созданию технологии построения высокоэффективных систем доступа к архивам спутниковых данных на основе использования суперкомпьютерного кластера СКИФ-ГРИД. В 2009 году был создан действующий макет системы, задачей которого была отработка динамических интерфейсов, которые могли бы «налету» по запросу пользователя производить обработку изображений и представлять пользователю уже результат такой обработки. В 2010 году была продолжена отработка различных решений.
В качестве тестовой задачи по обработке изображений для реализации в рамках макета системы доступа к архивам спутниковых данных была выбрана операция перепроецирования заданной пользователем географической области в коническую и азимутальную проекции.
Задача построения макета системы была разделена на следующие части:
1.    Отображение карт в динамическом интерфейсе, работа с метаданными, формирование запроса к кластеру;
2.    Разработка исполняемых модулей для выполнения репроекции и склейки на кластере СКИФ;
3.    Размещение полного архива композитных изображений прибора MODIS на распределенной файловой системе, обработка запросов и выполнение репроекции;
4.     Построение макета обработки запросов и выполнения репроекции, позволяющего использовать несколько вычислительных узлов, без использования специализированных кластерных решений на базе мощностей ИКИ РАН, унифицированного по схеме взаимодействия с  макетом в ИПС РАН.
Принципиальная схема созданного макета приведена на рис. 16.1.3.

 

Рис. 16.1.3. Принципиальная схема взаимодействия различных элементов системы при построении динамического изображения

Используя картографический WEB-интерфейс, пользователь посылает запрос на перепроецирование интересующей его области спутникового изображения. По запросу пользователя на основе метаданных, содержащихся в специальной базе данных, на сервере формируется XML-файл с параметрами проекции и информацией о гранулах, необходимых для получения итогового изображения. Сформированный файл передается сервису, расположенному на кластере.
    При получении запроса узел-диспетчер кластера запускает обработку указанных гранул на нескольких узлах кластера. После того, как все исходные гранулы обработаны, на узле-диспетчере производится  их «склеивание» с целью получения результирующего изображения. Полученное результирующее изображение возвращается в интерфейс.
    Обработка гранул на узлах и их последующая склейка на макете кластера СКИФ осуществляется специальной программой, разработанной в ИКИ РАН.
Предложенная схема показала свою работоспособность. В настоящее время она проходит тестирование с целью оптимизации ее отдельных элементов и поиска сбалансированных решений, которые должны позволить эффективно распределить нагрузку между различными узлами системы. 
В ближайшей перспективе планируется увеличить число задействованных узлов кластера, что позволит получить более точные данные об эффективности применяемой архитектуры.  Важным направлением развития описываемого подхода, на наш взгляд, является оптимизация системы хранения базовых спутниковых продуктов в архиве.