Разработка эффективных высокопроизводительных решений для создания систем динамической обработки спутниковых данных и результатов их анализа

Для построения архивов спутниковых данных, ориентированных на доступ к динамически формируемым «на лету» изображениям, в ИКИ РАН была разработана специальная технология.  В соответствии с этой технологией в ИКИ РАН реализованы архивы спутниковых данных, в которых изображения хранятся в виде гранул небольшого размера, формирующих «пирамиду» разрешений. Такой подход позволяет эффективно решать задачу доступа к динамически формируемым информационным продуктам по заданным пользователем географической области и проекции.

Следует отметить, что получение результирующих продуктов «на лету» требует довольно большой производительности сервера, особенно если изображение необходимо перевести в другую проекцию и предварительно обработать. В случаях, когда производимая обработка является затратной, мощности одного сервера может быть недостаточно, поэтому результирующее изображение будет получено с большой временной задержкой, что, естественно, затрудняет работу пользователя. Еще одним «узким местом» системы, реализованной в рамках одного сервера, является ограниченное дисковое пространство и скорость работы дисковой подсистемы.
Естественным путем для устранения вышеперечисленных недостатков является масштабирование системы для работы на группе компьютеров. Важно отметить, что разработанная в ИКИ РАН технология построения архивов, обеспечивающих динамическое получение информационных продуктов, хорошо подходит для распараллеливания. Естественным путем распараллеливания обработки, необходимой для получения результирующего изображения, является обработка каждой из задействованных для его получения гранул на отдельном компьютере. После этого изображения, полученные на основе отдельных гранул, должны быть «склеены» на отдельном, незадействованном в обработке гранул компьютере. При этом, на наш взгляд, наиболее оптимальным вариантом с точки зрения скорости доступа к файлам в архиве является обработка гранул изображения именно на тех компьютерах, на дисковых подсистемах которых они расположены. Использование дисковых подсистем всех задействованных в работе компьютеров также позволяет уйти от ограничения размера дискового пространства, используемого под архив спутниковых данных.

Естественно, что при использовании группы компьютеров для динамического формирования результирующего изображения необходимо обеспечить эффективное взаимодействие между задействованными в этом процессе компьютерами. Такое взаимодействие может быть реализовано, в частности, на основе использования современных кластерных технологий. В рамках настоящего проекта была поставлена задача адаптации технологии построения спутниковых архивов, разработанной в ИКИ РАН, к использованию возможностей кластерной системы «СКИФ-ГРИД», установленной в ИПС РАН.

В рамках работ 2009 года был создан действующий макет интерфейсов доступа к данным системы дистанционного мониторинга земель агропромышленного комплекса (СДМЗ АПК), который позволил провести тестирование предлагаемых решений и подтвердить их работоспособность. Принципиальная схема действующего макета приведена на рисунке 1.

 

 Рис. 1. Принципиальная схема действующего макета.

 

Данные работы были выполнены в рамках проекта: «Разработка и использование программно-аппаратных средств Грид-технологий  перспективных высокопроизводительных (суперкомпьютерных) вычислительных систем семейства «СКИФ» (головной исполнитель ИПС РАН)