Технологии построения систем дистанционного мониторинга (СДМ)

СДМ - это информационные системы, обеспечивающие постоянный мониторинг определенных процессов, явлений и/или территорий на основе использования средств и методов дистанционного зондирования. 

Данная технология подробно описана в работе Лупян Е.А., Балашов И.В., Бурцев М.А., Ефремов В.Ю., Кашницкий А.В., Кобец Д.А., Крашенинникова Ю.С., Мазуров А.А., Назиров Р.Р., Прошин А.А., Сычугов И.Г., Толпин В.А., Уваров И.А., Флитман Е.В. Создание технологий построения информационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т.12. № 5. С.53-75.
 

Развитие в последние десятилетия возможностей информационных технологий, компьютерных, коммуникационных и спутниковых систем позволило начать создание и достаточно широкое внедрение различных систем дистанционного мониторинга  (СДМ) различных явлений, объектов и ресурсов. При этом в последние годы  происходил быстрый, практически взрывной, рост возможностей спутниковых систем наблюдения Земли, в том числе, объемов и частоты поступающей от них информации (Budget, 2012; Ratapriyan, 2011), который  потребовал создания новых подходов и методов организации работы с данными дистанционного зондирования (ДЗЗ) (см. например, (Лупян, Саворский, Шокин и др., 1012)) и развития  технологий построения СДМ.

Работы по созданию таких технологий в России активно ведутся в отделе "Технологий дистанционного мониторинга" Института космических исследований Российской академии наук (ИКИ РАН), начиная с середины девяностых годов прошлого века.  Основные возможности созданных  ИКИ РАН технологий представлялись нами в различных публикациях. Обзор их основных элементов представлен, в частности, в работах (Лупян, Мазуров и др., 2004; Лупян, Мазуров и др., 2011).  Следует отметить, что с использованием данных технологий сегодня создано и развивается более десятка крупных СДМ (Барталев, Ершов и др., 2010; Лупян, Савин и др., 2011; Ефремов и др., 2012; Лупян, Матвеев, 2012; Лупян, Милехин и др., 2014; Марченков и др., 2012). Именно практическое использование разработанных в ИКИ РАН технологий и опыт эксплуатации и развития различных СДМ, созданных на их основе, позволил нам проанализировать тенденции развития таких систем, разработать и реализовать новые подходы и инструменты, необходимые для их создания и эксплуатации.

Основные изменения в сфере работы с данными ДЗЗ, влияющие на создание и эксплуатацию СДМ, произошедшие в последние годы.

Для того, чтобы оценить основные направления развития СДМ в последние годы, следует сначала остановиться на кратком обсуждении основных изменений, которые, на наш взгляд, произошли в области, связанной с использованием данных спутникового дистанционного зондирования при решении различных научных и прикладных задач. На наш взгляд, наиболее важными изменениями, которые существенно влияют на технологии создания и использования СДМ,  являются следующие:

• Как уже отмечалось, произошли резкие изменения в возможностях спутниковых систем дистанционного зондирования Земли (ДЗЗ).  В первую очередь, за счет увеличения числа космических аппаратов ДЗЗ выросла частота и объемы информации, которые могут поступать в СДМ. Это привело к тому, что стало возможно организовывать мониторинг процессов, протекающих достаточно быстро. Например, вместо простой фиксации факта наличия тех или иных процессов, стало возможно их обнаружение на ранних стадиях развития.
   
• Также возросло число спутниковых систем ДЗЗ, обладающих "измерительными" свойствами, т.е. обеспечивающих получение не только качественной, но и хорошо калиброванной количественной информации о различных объектах, процессах и явлениях. Это позволило не только использовать данные ДЗЗ для качественной оценки ситуации, но и получать на их основе количественные оценки и строить прогнозы развития различных процессов и явлений, необходимых, в частности, для оперативной реакции на них.
   
• Повысился уровень доступности информации. Данные многих спутниковых систем стали свободно распространяться. Это позволило начать массово использовать их в различных СДМ без существенных финансовых затрат. Поэтому естественно, что во многих случаях стало более рентабельно создавать СДМ, чем развивать наземные и авиационные системы наблюдения.
   
• Рост объемов спутниковой  информации и развитие требований и стоимости систем их приема и первичной  обработки привели к усилению наблюдающейся с начала этого столетия тенденции перехода от использования локальных систем приема  к услугам по получению информации из крупных специализированных центров. Видимо, следует признать, что в ближайшие годы специализированные профессиональные СДМ практически полностью перейдут на такие схемы обеспечения данными и будут организовывать и поддерживать центры приема в своих интересах только в тех случаях, когда конкретная СДМ будет обладать своими собственными спутниковыми средствами.
   
• Доступность информации ДЗЗ и рост ее  объемов привел к необходимости существенно улучшить технологии  работы с данными ДЗЗ в ряде различных аспектов, в том числе в плане повышения уровня автоматизации  процессов получения и обработки данных, оптимизации ведения собственных архивов данных и использования возможностей внешних систем, обеспечивающих ведение сверхбольших архивов спутниковых данных и предоставляющих различные вычислительные ресурсы для работы с ними.
   
• Необходимость оптимизации систем обработки данных в различных СДМ привела к тому, что в конкретной системе стало невыгодно создавать и поддерживать весь цикл обработки данных. В первую очередь это коснулось  проведения стандартной первичной обработки и формирования базовых информационных продуктов (Лупян, Саворский, 2012; Asrar, Greenstone, 1995; Interoperable, 2005), для производства которых уже сейчас требуются значительные вычислительные ресурсы. Это, в свою очередь, привело к тому, что многие СДМ стали  в основном ориентироваться на получение достаточно стандартизованных,  стабильных, хорошо откалиброванных и привязанных базовых продуктов.
   
• Появились новые технологические возможности, позволяющие организовать принципиально новые схемы работы с данными, в том числе эффективно  работать с распределенными сверхбольшими архивами и различными вычислительными ресурсами.
   
• Существенное расширение задач, решаемых системами мониторинга, и числа задействованных в их работе специалистов потребовало создания новых доступных инструментов работы со спутниковыми данными и различными информационными продуктами, получаемыми на их основе, позволяющими использовать, в том числе, и возможности различных распределенных вычислительных ресурсов.

Таким образом, мы видим, что в сфере работы с данными ДЗЗ и связанными с ними технологиями в последние годы произошли достаточно серьезные изменения. Поэтому для того, чтобы в сложившейся ситуации обеспечить максимальную эффективность  работы СДМ, стало необходимо усовершенствовать схемы работы с данными и разработать новые методы и инструменты для их реализации.

Обобщенная схема организации работы с данными в современных системах дистанционного мониторинга

В настоящее время  общая схема организации процессов обработки данных ДЗЗ (жизненный цикл) является достаточно устоявшейся. Этот цикл обсуждался в различных работах, в частности, он подробно рассмотрен в работе (Лупян, Мазуров и др., 2004).  В соответствие со своим жизненным циклом спутниковая информация проходит сложившиеся основные блоки процедур обработки и анализа данных  (прием,  архивацию, первичную и тематическую обработку и т.д.), состав которых практически не меняется в последние годы. В то же  время, если на первых этапах развития СДМ при построении конкретной системы в ней приходилось реализовывать все этапы обработки данных ДЗЗ и полностью создавать для этого специальную инфраструктуру, то появившиеся в настоящее время возможности позволяют этого избежать. Кроме того, как уже отмечалось, появились возможности задействовать в интересах конкретной системы различные "внешние" информационные и вычислительные ресурсы.   В этом случае может быть предложена обобщенная базовая схема построения СДМ, представленная на рис 1.

Основной особенностью данной схемы является то, что  в  интересах СДМ создаются и поддерживаются только те блоки, которые обеспечивают работу с данными ДЗЗ для решения специальных задач, характерных для конкретной системы.  В этом случае в СДМ нет необходимости дублировать информационные и технические возможности центров сбора, обработки, архивации и распространения спутниковой информации. Имеющиеся сегодня технологии позволяют эффективно задействовать ресурсы таких центров для решения задач построения различных блоков и подсистем конкретной СДМ.  Все это позволяет упростить процессы создания и поддержки СДМ и сделать их менее ресурсоемкими. При таком подходе в интересах конкретной СДМ создаются следующие основные блоки и подсистемы:

• подсистема обработки данных;
• подсистема ведения архивов данных;
• подсистема представления и анализа данных;
• блок управления и контроля работоспособности.

Конечно, в каждой СДМ могут присутствовать и другие специальные блоки, например, блоки авторизации, учета пользователей и контроля используемости различных ресурсов. Однако, во многих случаях они строятся на достаточно общих решениях, используемых в различных информационных системах. Поэтому ниже мы остановимся на рассмотрении основных задач и особенностей только перечисленных выше базовых элементов СДМ и их взаимодействия с внешними для системы техническими и информационными ресурсами.

Особенности различных блоков, на основе которых реализуются современные СДМ

Традиционно обработку данных ДЗЗ разделяют на две группы задач - первичную и тематическую обработку. Как уже отмечалось, в частности, в (Лупян, Мазуров и др., 2004; Лупян, Саворский , 2012) в последние годы понятие первичной обработки достаточно сильно расширилось.  В настоящее время, в связи с быстрым ростом числа задач, решаемых с использованием данных ДЗЗ, и необходимости построения максимально автоматизированных алгоритмов и процедур тематической обработки, к информации, получаемой в результате первичной обработки данных, предъявляются все более жесткие требования. Сегодня результатом первичной обработки данных должны быть базовые информационные продукты (Лупян, Саворский, 2012), которые, в частности, должны обладать: высококачественной временной и географической привязкой,  хорошей и стабильной радиометрической калибровкой, коррекцией на условия освещенности и состояние атмосферы и т.д.

Также должны иметься возможности получения ортотрансформированных данных, безоблачных временных композитов и стабильных рядов временных наблюдений. При этом следует отметить, что один и тот же тип базового информационного продукта бывает востребован при решении различных тематических задач. Поэтому все больше поставщиков спутниковых данных и крупных центров приема и обработки информации в последние годы начинают предоставлять сервисы по получению спутниковой информации в виде базовых продуктов. Во многих центрах уже реализованы возможности потокового получения таких продуктов. Таким образом,  в современных СДМ уже нет необходимости реализовывать блоки первичной обработки данных, за исключением случаев, когда для работы системы необходимы какие-то специальные базовые продукты. Вместо этого можно сосредоточиться на создании систем обработки данных в своих интересах, ориентированных на получение тематических информационных продуктов для решения конкретных прикладных задач.

Безусловно, следует обратить внимание и на следующую появившуюся в последние годы возможность. При реализации системы обработки данных в конкретной СДМ для организации отдельных ее блоков может быть задействовано оборудование, предоставляемое центрами приема и обработки информации. Это позволяет во многих случаях избежать необходимости передачи значительных объемов информации из центров  в СДМ. Так, например, блоки СДМ, реализованные на вычислительных мощностях центров, проводя обработку данных непосредственно в центре, позволяют организовать передачу в СДМ только информационных продуктов, которые используются для решаемых ею задач. Кроме того, владельцам СДМ в этом случае нет необходимости создавать и поддерживать собственные мощные вычислительные комплексы.

С точки зрения технических особенностей, связанных с организацией работы блоков тематической обработки спутниковых данных в различных информационных системах, следует отметить, что при реализации СДМ продолжает углубляться тенденция использования максимально автоматизированных процедур обработки данных. Это связано с двумя факторами. С одной стороны, постоянно возрастает поток доступной в системах информации и работу с ним уже практически невозможно организовать «вручную». С другой стороны, большинство создающихся СДМ начинают активно использоваться для принятия различных управленческих и административных решений, для которых требуется достаточно объективная и формализованная информация, получение которой при интерактивном анализе во многих случаях невозможно.

Отметим также, что в результате достаточно быстрого развития различного программного обеспечения, в том числе и общедоступного, при реализации различных процессов обработки приходится использовать разнородные процедуры обработки данных, порой даже работающие в различных операционных средах. Поэтому, как уже отмечалось в работе (Лупян, Мазуров и др., 2004), приходится организовывать гибкое взаимодействие этих процедур и обеспечивать комплексный контроль их работы.  При этом основной задачей становится не организация работы отдельной процедуры, а организация достаточно сложных процессов обработки, включающих в себя формирование необходимых наборов данных, выбор и управление свободными вычислительными ресурсами  для проведения обработки, управление последовательностью запуска процедур, реализующих различные этапы обработки и организацию автоматического размещения результатов в архивах системы для обеспечения возможности дальнейшей работы с ними. Следует также учитывать, что открывшиеся возможности использования распределенных вычислительных ресурсов для проведения обработки данных ДЗЗ в интересах СДМ требует разработки новых подходов для их эффективного использования.

Одним из ключевых элементов любой СДМ является подсистема архивации данных.  Фактически, эта система является связующим звеном всех блоков СДМ.  Особенности построения системы архивации данных ДЗЗ и информационных продуктов, получаемых на их основе, многократно рассматривались в различных работах. Поэтому здесь мы остановимся только на особенностях построения  систем архивации данных СДМ, которые появились в последние годы и существенно повлияли на направление развития технологий их построения.  Безусловно, основным фактором, определяющим выбор подходов и методов построения архивов СДМ, является быстрый рост объемов спутниковой информации. Это приводит к тому, что в конечном итоге при построении СДМ приходится отказываться от традиционного пути использования данных ДЗЗ - получения (сбор) всевозможных данных из различных источников и помещения их в собственные архивы СДМ. Такой путь приводит к тому,  что либо СДМ приходится существенно ограничивать в составе используемых данных, либо создавать и поддерживать собственные огромные и дорогостоящие мощности хранения. И тот, и другой путь имеет очевидные недостатки. На наш взгляд, наиболее разумным выбором является использование распределенных систем хранения данных, возможность работы с которыми сегодня предоставляют многие поставщики информации и центры приема, обработки и архивации данных ДЗЗ. В этом случае СДМ подписывается не на возможность получения всего необходимого потока данных, а на возможность online получения информации из архивов поставщиков в любой момент времени, когда это необходимо СДМ и ее пользователям. При таком подходе СДМ может сосредоточиться на ведении только своих собственных специальных архивов данных, получаемых в результате специальной тематической обработки, создаваемой в своих интересах. Отметим, что такой подход во многом обеспечивается не только возможностью использования ресурсов хранения, предоставляемых поставщиками данных ДЗЗ, но и вычислительными ресурсами, которые могут быть предоставлены СДМ для проведения обработки.

Еще одним существенным фактором, влияющим на выбор подходов построения архивов данных СДМ, является то, что сегодня активно развиваются новые технологии анализа данных ДЗЗ и результатов их обработки. В частности, появляются  возможности создания достаточно сложных  инструментов обработки и анализа данных ДЗЗ (см., например (Кашницкий и др., 2015; Кобец, Балашов и др., 2015), а также активно внедряются методы, позволяющие "на ходу" формировать и представлять пользователям различные информационные продукты (см., например (Балашов и др., 2008; Лупян, Балашов и др., 2012)). Все это требует такой организации архивов данных ДЗЗ, которая могла бы обеспечить возможность быстрого доступа к данным как из пользовательских интерфейсов, так и для процедур обработки данных. Следует также отметить, что во многих случаях СДМ становятся не только потребителями различной информации, но и поставщиками ее в другие СДМ, поэтому создающиеся архивы данных должны обеспечивать возможность работы с хранящейся в них информацией как для своих (пользователей конкретной СДМ), так и для внешних пользователей.

Традиционным фактором, определяющим архитектуру построения систем архивации данных ДЗЗ и результатов их обработки, является достаточно большая разнородность систем наблюдения и поступающих от них данных.  Из-за того, что современным СДМ приходится обычно работать с большими, разнородными наборами информации, все острее стоят вопросы унификации систем хранения. Для эффективной работы с данными системы архивации сегодня должны обеспечивать хранение и работу не только с самими данными и устоявшимся сопровождающим  набором метаданных (калибровки, качество, где и когда получены и т.д.), но и с информацией о том, какие продукты (в том числе и "виртуальные" (Под "виртуальными" продуктами мы понимаем продукты обработки данных, которые не хранятся в системе, а формируются "на ходу" при наличии запроса пользователя)) могут быть получены на основе этих данных, в том числе с описанием схем (алгоритмов) получения таких продуктов. Данная информация должна храниться в формализованном виде для того, чтобы ее можно было  использовать в автоматизированных процедурах обработки данных.

Безусловно, одним из наиболее важных элементов любой СДМ является подсистема представления и анализа информации.  В настоящее время можно выделить несколько основных факторов, наиболее сильно влияющих на технологии создания и развития этих подсистем.

Первым фактором, безусловно, остается то, что большинство активно развивающихся сегодня СДМ должны обеспечивать возможность работы с предоставляемой ими информацией и инструментами для ее анализа распределенным пользователям. Это приводит к тому, что одним из основных инструментов для обеспечения работы с данными становятся web-интерфейсы.  С одной стороны, это накладывает некоторые ограничения на функциональность таких интерфейсов, а с другой стороны, дает неоспоримое преимущество перед традиционно используемыми настольными приложениями. Такие преимущества связаны в первую очередь с простотой их актуализации и отсутствии необходимости закупать и поддерживать значительное количество лицензий, обычно необходимых для создания и работы настольных приложений (например, ГИС).

Вторым фактором, который во многом позволяет снять недостатки, связанные с использованием в СДМ web-интерфейсов как базового решения, является то, что в последние годы активно ведутся работы по созданию подходов, позволяющих разрабатывать достаточно сложные инструменты распределенного анализа данных с  использованием различных интернет-технологий (см. например (Кашницкий и др., 2015; Acker. Leptoukh, 2007; Moore, Hansen, 2011)). Видимо, следует ожидать, что в ближайшие годы  большинство СДМ практически полностью перейдет на использование web-интерфейсов для обеспечения представления пользователям доступа к различной информации и проведения ее анализа.

Третьим, безусловно, существенным фактором, является то, что в последние годы  достаточно быстро совершенствуются технические возможности, позволяющие  обеспечить online-доступ к данным внешних информационных систем, в том числе и к ресурсам поставщиков данных ДЗЗ. Это позволяет работать в интерфейсах конкретных СДМ с информацией, получаемой из разных источников на момент запроса.  Следует также отметить, что вследствие развития подобных технологий сами СДМ имеют сегодня достаточно большие возможности предоставления формируемой ими специализированной информации различным внешним пользователями.  Таким образом, СДМ сами могут оказывать услуги по предоставлению различных информационных сервисов. Можно ожидать, что направление предоставления специализированной информации, полученной на основе данных ДЗЗ, будет достаточно быстро развиваться в ближайшие годы. Это, в частности, позволит при построении СДМ расширить область  использования готовых информационных продуктов, полученных на основе ее глубокой обработки, наряду с использованием базовой спутниковой информации.

В связи с тем, что, в последние годы действительно достаточно сильно эволюционировали подходы к созданию и развитию СДМ, новые задачи и функции возникли и у технологий, направленных на построение блоков управления и контроля работоспособности СДМ.  Фактически, инфраструктура большинства СДМ стала распределенной, увеличилось число используемых источников информации и архивов данных, а также процедур обработки и представления данных.  Все это, безусловно, требует повышения уровня автоматизации процессов контроля работоспособности, а также создания технологий автоматизированного выявления и диагностирования сбойных ситуаций.

Базовые элементы технологии построения информационных систем дистанционного мониторинга, созданные в ИКИ РАН

В ИКИ РАН более пятнадцати лет ведутся работы по созданию технологий, позволяющих унифицированным образом создавать различные СДМ.  Для решения таких задач были созданы следующие базовые технологии:

• технология, обеспечивающая автоматизированный прием и/или получение  спутниковых данных из специализированных центров;
• технология автоматизированного ведения  архивов спутниковых данных;
• технология автоматизированной обработки спутниковых данных;
• технология представления спутниковых данных и результатов их обработки пользователям;
• технология контроля и управления различными элементами систем дистанционного мониторинга.

Эти технологии, особенности их реализации и опыт использования достаточно подробно описаны в работе (Лупян, Мазуров и др., 2004).  Естественно, что изменения, произошедшие в последние годы в области создания и развития современных СДМ, потребовали существенного развития данных технологий и подходов к их использованию. Следует отметить, что происходящие изменения потребовали пересмотра не только элементов обсуждаемых технологий, но, в ряде случаев, и их состава. Происходящие изменения сегодня требуют в первую очередь быстрого развития следующих технологий:

• технология автоматизированного получения (сбора) спутниковых данных;
• технология автоматизированного ведения  сверхбольших распределенных архивов спутниковых данных и результатов их обработки;
• технология автоматизированной распределенной обработки спутниковых данных;
• технология построения интерфейсов для представления и анализа спутниковых данных и результатов их обработки;
• технология контроля и управления элементами СДМ и используемыми распределенными ресурсами.

Конечно, большинство этих технологий развиваются на основе уже имеющихся подходов и решений, которые достаточно подробно описаны в работе (Лупян, Мазуров и др., 2004). Поэтому в настоящей работе мы в основном остановимся на описании их наиболее важных новых особенностей, появившихся  в последние годы.

Технология автоматизированного получения (сбора) спутниковых данных

Как уже отмечалось,  сегодня достаточно сильно изменились подходы к организации использования спутниковых данных. В том числе, уже далеко не всегда необходимо организовывать физическое получение и размещение в архивах СДМ всей информации, предоставляемой различными поставщиками. Во многих случаях специализированные  СДМ и их пользователи могут в режиме реального времени получить информацию в момент, когда она необходима, и в тех объемах, в которых она необходима, непосредственно из архивов поставщиков.

В то же время, в отдельных ситуациях, например, при проведении какой-то специализированной потоковой обработки в интересах конкретной СДМ необходима организация автоматизированного потокового получения информации от различных внешних поставщиков (центров) и размещения ее в архивах СДМ. Пока не существует жестких стандартов организации потокового предоставления спутниковой информации и результатов ее обработки различными поставщиками, поэтому разные центры и поставщики информации могут использовать несколько отличающиеся подходы, обеспечивающие автоматизированное предоставление различных информационных продуктов. В то же время, основные этапы в процессе предоставления и получения такой информации достаточно однотипны (получение информации о наличии данных, формирование заказа на информацию и/или выбор необходимой СДМ информации, контроль передачи информации, проверка корректности полученной информации и т.д.). Это позволяет реализовать достаточно унифицированную технологию получения информации, которая может использоваться СДМ при работе с различными центрами предоставления данных. Такая технология была создана и в последние годы развивается в ИКИ РАН. Подробное ее описание представлено в работе (Балашов и др., 2013).

Технология автоматизированного ведения  сверхбольших распределенных архивов спутниковых данных и результатов их обработки

Технология автоматизированного ведения  сверхбольших распределенных архивов спутниковых данных и результатов их обработки должна позволять организовывать и вести различные архивы данных, использующихся в СДМ. Следует учитывать, что современные системы мониторинга должны, как правило, работать с очень большими объемами информации.  Поэтому для построения и обеспечения работы СДМ должны создаваться и использоваться технологии, обеспечивающие возможность работы со сверхбольшими распределенными архивами спутниковой информации и результатами ее обработки. При этом, как уже отмечалось, такие технологии должны обеспечивать возможность работы как с собственными архивами СДМ, так и с внешними  системами хранения.

Технологии, ориентированные на построение и автоматизированное ведение сверхбольших распределенных архивов спутниковой информации, достаточно давно разрабатываются в ИКИ РАН. Различные  особенности и элементы данных технологий описаны, например, в работах (Лупян, Балашов и др., 2012; Ефремов, Лупян, Мазуров, Прошин и др., 2004; Балашов и др., 2008; Балашов и др., 2009; Ефремов и др., 2007). Развитие этих технологий в последние годы было в основном направлено на  разработку унифицированных схем ведения архивов спутниковых данных, которые позволяли бы максимально однотипно работать с разнородной информацией и учитывали бы основные тенденции развития подходов организации работы со спутниковыми данными. В первую очередь, разработка была направлена на то, что в современных СДМ должна быть обеспечена возможность распределенной работы с информацией, а также работа не только с исходными спутниковыми данными, но и с различными информационными продуктами, получаемыми на их основе. При этом  должны быть реализованы механизмы работы с "виртуальными" продуктами,  динамически формируемыми на момент их запроса пользователями на основе хранящихся в архивах базовых информационных продуктов. Для обеспечения подобных возможностей в системе ведения архивов создаются эффективные механизмы быстрого выбора различных фрагментов данных и наборов необходимых каналов, а также механизмы, позволяющие обеспечить возможность проведения онлайн-обработки данных перед представлением их пользователю.  Также большое внимание уделяется организации унифицированного хранения различной описательной информации, необходимой для организации обработки и анализа спутниковых данных и результатов их обработки (от описаний различных характеристик используемой информации до описаний правил и схем формирования "виртуальных" продуктов).

Технология автоматизированной распределенной обработки спутниковых данных

Работы по созданию элементов такой технологии были начаты в ИКИ РАН еще в начале девяностых годов. Тогда основным направлением работы было создание базового программного комплекса, который бы позволял работать в автоматическом режиме (Захаров и др., 1994; Букчин и др., 1993; Захаров и др., 1993). В начале двухтысячных годов на базе этого пакета был создан комплекс нового поколения  (Егоров и др., 2004).  Он стал основой для разработки блоков автоматизированной потоковой обработки спутниковых данных в различных СДМ, создаваемых и поддерживаемых ИКИ РАН в последние годы. Естественно, что этот комплекс постоянно развивается и совершенствуется.

В то же время, как уже отмечалось выше, при создании подсистем обработки данных в СДМ все острее стоит задача построения комплексных процедур потоковой обработки данных, объединяющих в себе разные этапы работы с информацией. Помимо этого, также требуется организовывать управление работой таких процедур и оптимизировать эффективность использования ими имеющихся вычислительных ресурсов. Поэтому возникает необходимость в создании технологии, которая могла бы позволять реализовывать подсистемы обработки данных, способных поддерживать работу широкого круга процедур обработки, к которым предъявляются разные требования по оперативности выполнения, и для работы которых могут требоваться различные вычислительные мощности. При этом подсистемы обработки должны быть рассчитаны как на проведение потоковой оперативной обработки постоянно поступающей информации, так и на обработку данных, находящихся в сверхбольших распределенных архивах.    

В последние годы в ИКИ РАН была разработана специальная технология, обеспечивающая решение перечисленных выше задач. Она основана на том, что позволяет организовать в процедурах обработки  несколько максимально независимых уровней (блоков), обеспечивающих реализацию различных этапов  обработки. Блоки связаны между собой только через систему управления, настройки и контроля. Рассматриваемая схема подразделяется на следующие основные уровни:

• уровень подготовки комплектов входных данных под различные тематические задачи для обработки;
• уровень управления выдачей очереди заданий для обработки;
• уровень обработки данных;
• уровень управления параметрами всего комплекса и контроля ошибок.

На первом уровне блоки формирования комплектов файлов для обработки являются уникальными для каждой тематической обработки. Они отслеживают полноту и комплектность необходимых данных и формируют очередь готовых заданий.  На втором уровне сформированные задания передаются в систему обработки с фиксацией начала и окончания их выполнения. В такой схеме легко отслеживается максимально допустимое одновременное количество выполнений одного типа заданий. Это позволяет предотвратить загрузку всех мощностей обработки на выполнение одного типа заданий в ущерб выполнению других.  На третьем уровне, уровне обработки, на всех обрабатывающих компьютерах устанавливается унифицированный комплект программ, что позволяет легко расширять парк обрабатывающих компьютеров. При этом свободные обработчики  (вычислительные мощности) проверяют наличие заданий, берут данные и сценарий обработки с диспетчера заданий, выполняют его в соответствии со сценарием и выдают результаты на сервера архивации, после чего приступают к получению следующего задания. На всех уровнях процедуры, выполняющие различные этапы, выдают сообщения о ходе процессов системе контроля и управления.  Таким образом,  получается логически разграниченная на уровни схема с удобным и достаточно понятным управлением потоками обработки. В её рамках легко и единообразно добавляются новые процедуры, наращиваются мощности для обработки и обновляется программное обеспечение.  Особо следует отметить, что при такой архитектуре построения подсистемы обработки могут использовать в работе как локальные, так и распределенные вычислительные ресурсы. Для этого, в частности, в ИКИ РАН были разработаны специальные подходы, обеспечивающие возможность гибкого управления потоковой обработкой данных (см., например, (Кобец, Матвеев и др., 2015)).

Технология построения интерфейсов для представления и анализа спутниковых данных и результатов их обработки

Интерфейсы, обеспечивающие работу с данными и результатами их обработки, являются одним из самых важных элементов современных СДМ. Как уже отмечалось, практически во всех СДМ в силу специфики их работы стоит необходимость обеспечить возможность распределенного получения информации и проведения ее анализа. Для этого требуется создание различных web-интерфейсов, обеспечивающих не только быстрый поиск и выбор, но и возможность анализа данных. Работы по созданию технологии, ориентированной на разработку таких многофункциональных интерфейсов, обеспечивающих возможность получения и анализа спутниковой информации, велась в ИКИ РАН с начала этого века (Андреев и др., 2004; Барталев и др., 2005).  В 2010-2011 года отдельные программные элементы и подходы были объединены в технологию GEOSMIS, на основе которой сегодня создано несколько десятков специализированных картографических web-интерфейсов в различных СДМ.  На сегодняшний день эта технология позволяет создавать достаточно сложные картографические web-интерфейсы обеспечивающие, в частности:

• работу с многомерными архивами данных (т.е. по каждой наблюдаемой точке (объекту) может иметься возможность проведения анализа как пространственной, так и временной информации);
• простое и интуитивно понимаемое управление данными (выбор, поиск, включение для отображения нужных характеристик и т.д.);
• быстрый выбор и отображение различных информационных продуктов из больших архивов, обеспечивающих хранение многомерных данных;
• одновременное отображение различных видов информации и проведение их совместного анализа;
• работу с динамически формируемыми "виртуальными" продуктами;
• возможность работы с распределенными информационными ресурсами;
• онлайн-импорт информации из различных сторонних информационных систем;
• программные интерфейсы для работы с данными СДМ, а также сервисы экспорта данных в такие системы;
• возможности разграничения доступа к информации для различных групп пользователей.

Достаточно подробно возможности и особенности технологии описаны в работах (Толпин и др., 2011, Бурцев и др., 2011).  Особо следует отметить, что быстрое развитие технологий удаленной работы c данными позволило в последние несколько лет создать совершенно новые подходы, обеспечивающие возможности проведения достаточно сложного анализа спутниковой информации (например, проведение классификации) с использованием web-интерфейсов, что раньше возможно было проводить только в настольных приложениях.  Для создания таких интерфейсов  в ИКИ РАН также были разработаны специальные подходы, подробно описанные в  (Кашницкий и др., 2015; Уваров и др., 2014;).  Сегодня также активно развиваются подходы, позволяющие проводить удаленный анализ различной тематической информации, получаемой на основе обработки спутниковых данных (см., например, (Кобец, Балашов и др., 2015)).

Все это в конечном итоге дало возможность начать создавать в интересах СДМ многофункциональные интерфейсы, обеспечивающие решение очень широкого спектра задач. В ближайшей перспективе это позволит во многих случаях отказаться от использования в СДМ различных дорогостоящих и трудно поддерживаемых настольных приложений, обеспечивающих работу с предоставляемыми системами мониторинга.

Технология контроля и управления элементами СДМ и используемыми ресурсами

В работе по обеспечению функционирования современных СДМ обычно задействованы сотни компьютеров, работающих в  различных территориально распределенных информационных узлах и центрах. При этом в системах работает значительное число различных блоков и выполняются сотни различных процессов. Естественно, что контроль работоспособности СДМ и управление их работой уже нельзя осуществлять без использования специального программного обеспечения.  Для решения задач контроля работоспособности и управления блоками систем дистанционного мониторинга в ИКИ РАН был разработан программный пакет PMS (Process Monitoring System) (Ефремов, Лупян, Мазуров, Наглин и др., 2004; Балашов и др., 2010). Он предназначен для организации удаленного мониторинга работоспособности элементов системы. Это позволяет обеспечить контроль выполнения автоматизированных процедур обработки и архивации данных, оперативную оценку качества и обнаружения сбоев в их  работе, информирование операторов, а также  мониторинг различных параметров компьютеров, использующихся в системе, которые могут быть критичны для работы системы (например, объем свободного места на дисках, загруженность процессора и т.п.).

Естественно, что методы автоматизированного контроля и управления СДМ постоянно совершенствуются. Их развитие обусловлено в первую очередь накоплением опыта эксплуатации СДМ и возникающих при этом проблем. Так,  для того, чтобы контролировать процессы, связанные с обнаружением и исправлением сбойных ситуаций, в ИКИ РАН была существенно переработана специализированная система документирования и контроля работоспособности СДМ. Сегодня она используется не только для контроля различных процессов, но и для документирования ресурсов, используемых СДМ.  В связи с ростом числа поддерживаемых СДМ  была существенно переработана  технология автоматического детектирования сбоев и ошибок, в том числе были модернизированы схемы автоматизированного диагностирования сбоев.  При постоянном росте типов информации, используемых в СДМ, без помощи автоматизированных систем уже невозможно решать задачу контроля своевременного поступления в СДМ различных данных. Для решения данной группы задач в ИКИ РАН была созданы специальная технология контроля своевременного поступления данных в архивы.  Различные базовые блоки технологии контроля и управления элементами СДМ достаточно подробно  описаны в работах (Сычугов и др., 2014; Балашов и др., 2011; Балашов и др., 2010).

Отметим, что для реализации обсуждаемых технологий в ИКИ РАН были созданы специализированные программные комплексы, краткое описание которых  приведено в Таблице 1.

Таблица 1. Программные комплексы, созданные в ИКИ РАН для разработки и поддержки различных СДМ

№	Название комплекса /свидетельство о регистрации	Назначение
1	Proc_download свидетельство о гос.регистр №2013618463	Программный комплекс предназначен для реализации автоматизированных процедур получения данных из различных центров, предоставляющих информацию, необходимую для работы СДМ
2	ArcSmis свидетельство о гос.регистр №2012614574	Программный комплекс, предназначенный для создания и автоматизированного ведения сверхбольших, распределенных архивов спутниковых данных и результатов их обработки
3	ControlSMIS свидетельство о гос.регистр №2012614573	Программный комплекс, ориентированный на создание автоматизированных блоков контроля работоспособности и управления различными элементами СДМ
4	DataDispSMIS свидетельство о гос.регистр №2012614572	Программный комплекс, ориентированный на организацию автоматизированных процессов обработки данных в СДМ
5	ProcSmis свидетельство о гос.регистр №2012614571	Программный комплекс, ориентированный на проведение автоматизированной обработки спутниковых данных.
6	GeoSmis свидетельство о гос.регистр №2012614570	Программный комплекс, ориентированный на разработку и поддержку интерфейсов представления и анализа данных СДМ

Таким образом,  в ИКИ РАН разработаны подходы, технологии и базовое программное обеспечение, позволяющие реализовывать все ключевые блоки современных СДМ.

Опыт использования созданных технологий и особенности развития современных СДМ

Как уже отмечалось, с использованием вышеописанных подходов и технологий в ИКИ РАН  создано и поддерживается значительное число различных специализированных СДМ (см., например, (Барталев и др., 2010; Лупян, Савин и др., 2011; Ефремов и др., 2012; Лупян, Матвеев и др., 2012; Лупян, Милехин и др., 2014; Марченков и др., 2012)).  Некоторые из этих систем эксплуатируются более 10 лет, поэтому в институте накоплен значительный опыт, позволяющий оценивать тенденции  развития СДМ, которые в основном были изложены во втором разделе настоящей работы.  В  то же время, в заключение работы следует еще раз остановиться на одной из наиболее важных возможностей развития современных СДМ, а также проиллюстрировать, насколько активно она начинает использоваться уже сегодня. Такой возможностью, появившейся и быстро развивающейся в последние годы, стало появление технологий, позволяющих эффективно использовать в  работе конкретной СДМ информационные и вычислительные ресурсы различных центров представления спутниковой информации и других СДМ. Это позволяет существенно сократить ресурсы, необходимые для создания специализированных СДМ. Фактически, современные СДМ могут создаваться и эксплуатироваться на основе использования уже имеющихся ресурсов,  которые могут предоставляться  СДМ, как сервисы. В пределе, при таком подходе в  интересах конкретных СДМ необходимо лишь создавать специализированные процедуры и интерфейсы работы с данными, которые могут функционировать, используя не принадлежащие СДМ  информационные и вычислительные ресурсы, фактически получая их в аренду (подписываясь на сервисы). Это, в конечном итоге, должно позволить существенно сократить расходы как на создание, так и на эксплуатацию многих специализированных СДМ.

Анализ различных СДМ, в создании и поддержке которых ИКИ РАН принимает активное участие, показывает, что описанная возможность сегодня достаточно активно используется. Пример подобного анализа приведен в Таблице 2.  Поскольку технологии, разработанные ИКИ РАН, используются при создании СДМ различного класса, мы видим, что обсуждаемые возможности начинают активно использоваться не только в системах, решающих достаточно ограниченные задачи, но и в крупных специализированных СДМ, обеспечивающих работу значительного числа пользователей и получающих информацию о значительных территориях.  Анализ также показывает, что в ближайшие годы, видимо, будет происходить достаточно сильная стратификация СДМ. Следует ожидать, что окончательно сформируется незначительное число СДМ, поддерживающих собственные масштабные технические ресурсы (включая системы приема спутниковой информации), и эти системы будут предоставлять данные и различные сервисы (включая вычислительные ресурсы) по работе с ними различным специализированным СДМ.  Специализированные же СДМ будут предоставлять уже конкретные информационные сервисы и информационную инфраструктуру, необходимые для решения конкретных прикладных задач. При этом таких систем может быть достаточно много и создаваться они могут для решения задач отдельных служб, регионов, организаций и проектов. В такой ситуации особое значение приобретает создание и развитие методов и технологий, позволяющих достаточно быстро разрабатывать и легко поддерживать различные специализированные СДМ. Представленные в настоящей работе подходы  и технологии уже сегодня позволяют решить данные задачи.

 

№	Название системы / адрес	Основная мониторинговая задача	Ссылки на работы с описанием возможностей систем	Степень используемости внешних вычислительных и информационных ресурсов при построении системы (примерная оценка в %)
				Системы приема	Комплексы  архивации	Комплексы обработки	Комплексы представления  данных
1	Объединенная система работы со спутниковыми данными центров приема и обработки спутниковых данных НИЦ «Планета» Росгидромета http://moscow.planeta.smislab.ru/	Дистанционный мониторинг различных гидрометеорологических процессов и состояния окружающей среды	(Лупян, Милехин и др., 2014; Бурцев и др., 2012)	Менее 10	Менее 20	0	Менее 20
2	Информационная система дистанционного мониторинга Федерального агентства лесного хозяйства (ИСДМ Рослесхоз) http://www.nffc.aviales.ru	Дистанционный мониторинг лесных пожаров и их последствий на территории России	(Барталев и др., 2010; Лупян, Барталев и др., 2014; Loupian et al.,, 2006)	90	50*	25*	15*
3	Информационная система ВЕГА http://pro-vega.ru	Дистанционный мониторинг Северной Евразии в интересах решения задач контроля состояния наземных экосистем	(Лупян, Савин и др., 2011; Толпин, Лупян и др., 2014; Лупян, Барталев и др., 2014)	100	40	0	15
4	Информационная система VolSatView http://volcanoes.smislab.ru/	Дистанционный мониторинг активности вулканов Камчатки и Курил	(Ефремов и др., 2012; Гордеев и др., 2014)	100	80	100	80
5	Информационная система See the Sea http://ocean.smislab.ru/	Дистанционный мониторинг пограничных морей России в интересах различных научных проектов, ориентированных на исследование Мирового океана	(Лупян, Матвеев и др., 2012; Lavrova et al., 2013)	100	100	100	100
6	Информационная система ВЕГА-Geoglam http://vega.geoglam.ru/	Обеспечение дистанционного мониторинга тестовых участков JECAM в интересах международного проекта SIGMA, ориентированного на разработку методов и технологий дистанционного сельскохозяйственного мониторинга в интересах создания глобальной системы мониторинга сельского хозяйства	(Толпин, Балашов и др., 2014)	100	100	100	100

* планируется увеличение

Литература

1. Андреев М.В., Ефремов В.Ю.,  Лупян E.A., Мазуров A.A., Наглин Ю.Ф.,  Прошин А.А., Флитман Е.В. Построение интерфейсов для организации работы с архивами спутниковых данных  удаленных пользователей // Современные проблемы дистанционного зондирования Земли из космоса. 2004. Т. 1.  С. 514-520.
2. Балашов И. В., Бурцев М.Ю., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Толпин В.А. Построение архивов результатов обработки спутниковых данных для систем динамического формирования производных информационных продуктов // Современные проблемы дистанционного зондирования Земли из космоса. 2008. Т. 5. № 1. С. 26-32.
3. Балашов И.В., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Толпин В.А.  Построение систем, обеспечивающих динамическое формирование комплексных информационных продуктов на основе данных дистанционного зондирования // Современные проблемы дистанционного зондирования Земли из космоса. 2009. Т. 6. № 2. С. 513 -520.
4. Балашов И.В., Ефремов В.Ю., Мазуров -мл. А.А., Мамаев А.С., Матвеев А.М., Прошин А.А. Особенности организации контроля и управления распределенных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т.8. № 3. С.161-166.
5. Балашов И.В., Ефремов В.Ю., Мазуров -мл. А.А., Мамаев А.С., Матвеев А.М., Прошин А.А. Организация контроля за функционированием распределенных систем сбора, обработки и распространения спутниковых данных // Современные проблемы дистанционного зондирования Земли из космоса. 2010. Т.7. № 4. С.34-41.
6. Балашов И.В., Халикова О.А., Бурцев М.А., Лупян Е.А., Матвеев А.М. Организация автоматического получения наборов информационных продуктов из центров архивации и распространения спутниковых и метеоданных // Современные проблемы дистанционного зондирования Земли из космоса. 2013. Т.10. № 3. С.9-20.
7. Барталев С.А., Бурцев М.А., Лупян Е.А., Прошин А.А., Уваров И.А. Разработка информационной системы поддержки мониторинга состояния и динамики наземных экосистем северной Евразии по данным спутниковых наблюдений Современные проблемы дистанционного зондирования Земли из космоса. 2005. Т. 2. № 1. С. 131-139.
8. Барталев С.А., Ершов Д.В., Коровин Г.Н., Котельников Р.В., Лупян Е.А., Щетинский В.Е. Основные возможности и структура информационной системы дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ Рослесхоз) // Современные проблемы дистанционного зондирования Земли из космоса. 2010. Т.7. № 2. С.97-105.
9. Букчин М.А., Захаров М.Ю., Крайнев Ан.Г., Лупян Е.А., Мазуров А.А., Нартов И.Ю., Флитман Е.В. Первичная обработка данных метеорологических спутников на локальных станциях приема // Исследование Земли из Космоса. 1994. N 5.  С.112-117.
10. Бурцев М.А., Антонов В.Н., Ефремов В.Ю., Кашницкий А.В., Крамарева Л.С., Лупян Е.А., Мазуров А.А., Матвеев А.М., Милехин О.Е., Прошин А.А., Соловьев В.И. Система работы с распределенными архивами результатов обработки спутниковых данных центров приема НИЦ "Планета" // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т.9. № 5. С.55-76.
11. Бурцев М.А., Мамаев А.С., Прошин А.А., Флитман Е.В. Управление доступом к WEB-ресурсам в распределенных системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т.8. № 3. С.155-160.
12. Гордеев Е.И., Гирина О.А., Лупян Е.А., Ефремов В.Ю., Сорокин А.А., Мельников Д.В., Маневич А.Г., Романова И.М., Королев С.П., Крамарева Л.С. Возможности использования данных гиперспектральных спутниковых наблюдений для изучения активности вулканов Камчатки с помощью геопортала VolSatView // Современные проблемы дистанционного зондирования Земли из космоса. 2014. Т. 11. №. 1. С.267-284.
13. Егоров В.А.,  Ильин В.О., Лупян E.A., Мазуров A.A., Прошин Р.Р., Флитман Е.В. Возможности построения автоматизированных систем обработки спутниковых данных на основе программного комплекса XV_SAT //  Современные проблемы дистанционного зондирования Земли из космоса. 2004.  Т 1.  С. 431-436.
14. Ефремов В.Ю., Гирина О.А., Крамарева Л.С., Лупян Е.А., Маневич А.Г., Мельников Д.В., Матвеев А.М., Прошин А.А., Сорокин А.А., Флитман Е.В. Создание информационного сервиса "Дистанционный мониторинг активности вулканов Камчатки и Курил" // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т.9. № 5. С.155-170.  
15. Ефремов В.Ю., Крашенинникова Ю.С., Лупян Е.А., Мазуров А.А., Прошин А.А., Флитман Е.В. Оптимизированная система хранения и представления географически привязанных спутниковых данных // Современные проблемы дистанционного зондирования Земли из космоса. 2007. Т 4. №. 1. С.125-132 .
16. Ефремов В.Ю., Лупян Е.А., Мазуров А.А., Прошин А.А., Флитман Е.В. Технология построения автоматизированных систем хранения спутниковых данных // Современные проблемы дистанционного зондирования Земли из космоса. 2004. Т 1. №.1. С.437-443.
17. Ефремов В.Ю.,  Лупян E.A., Мазуров A.A., Наглин Ю.Ф.,  Прошин А.А., Флитман Е.В. Управление и контроль работоспособности распределенных систем обработки спутниковых данных // Современные проблемы дистанционного зондирования Земли из космоса. 2004. Т.1. С. 467-475.
18. Захаров М.Ю., Лупян Е.А., Мазуров А.А. Программа обработки данных прибора AVHRR спутников серии NOAA для персональных компьютеров // Исследование Земли из космоса. 1993. N4. С. 62-68.
19. Захаров М.Ю., Лупян Е.А., Мазуров А.А., Флитман Е.В. Гибкая система модификации программного обеспечения для обработки спутниковых изображений // Исследование Земли из Космоса.  1994. № 1. C. 48-53.
20. Кашницкий А.В., Балашов И.В., Лупян Е.А., Толпин В.А., Уваров И.А. Создание инструментов для удаленной обработки спутниковых данных в современных информационных системах // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т.12. № 1. С.156-170.
21. Кобец  Д.А., Балашов И.В., Данилов И.Д., Лупян Е.А., Сычугов И.Г., Толпин В.А.   Использование ВI-технологий для создания инструментов для анализа данных спутникового мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т. 12. № 4. С. 17-27
22. Кобец Д.А., Матвеев А.М., Мазуров А.А., Прошин А.А. Организация автоматизированной многопотоковой обработки спутниковой информации в системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т.12. № 1. С.145-155.
23. Лупян Е.А., Балашов И.В., Бурцев М.А., Ефремов В.Ю., Мазуров А.А., Мальцев Д.В., Матвеев А.М., Прошин А.А., Толпин В.А., Халикова О.А., Крашенинникова Ю.С. Возможности работы с долговременным архивом данных спутников LANDSAT по территории России и приграничных стран // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 3. С.307-315.
24. Лупян Е.А., Барталев С.А., Ершов Д.В  , Котельников Р.В., Балашов И.В., Бурцев М.А., Егоров В.А.,  Ефремов В.Ю., Жарко В.О., Ковганко К.А  , Колбудаев П.А.,  Крашенинникова Ю.С.,  Прошин А.А., Мазуров А.А., Уваров И.А., Стыценко Ф.В.,  Сычугов И.Г., Флитман Е.В., Хвостиков С.А., Шуляк П.П.  Организация работы со спутниковыми данными в информационной системе дистанционного мониторинга лесных пожаров Федерального агентства лесного хозяйства (ИСДМ-Рослесхоз) // Современные проблемы дистанционного зондирования Земли из космоса. 2015. Т.12. № 5. С . вставить на момент верстки.
25. Лупян Е.А., Барталев С.А., Толпин В.А., Жарко В.О., Крашенинникова Ю.С., Оксюкевич А.Ю. Использование спутникового сервиса ВЕГА в региональных системах дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2014. Т. 11. №. 3. С.215-232.
26. Лупян E.A., Мазуров A.A., Назиров Р.Р., Прошин А.А., Флитман Е.В. Технология построения автоматизированных информационных систем сбора, обработки, хранения и распространения спутниковых данных для решения научных и прикладных задач. Современные проблемы дистанционного зондирования Земли из космоса. 2004. № 1. С. 81-88.
27. Лупян Е.А., Мазуров А.А., Назиров Р.Р., Прошин А.А., Флитман Е.В., Крашенинникова Ю.С. Технологии построения информационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т.8. № 1. С.26-43.
28. Лупян Е.А., Матвеев А.М., Уваров И.А., Бочарова Т.Ю., Лаврова О.Ю., Митягина М.И. Спутниковый сервис See the Sea - инструмент для изучения процессов и явлений на поверхности океана // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 2. С.251-262.
29. Лупян Е.А., Милехин О.Е., Антонов В.Н., Крамарева Л.С., Бурцев М.А., Балашов И.В., Толпин В.А., Соловьев В.И. Система работы с объединенными информационными ресурсами, получаемыми на основе спутниковых данных в центрах НИЦ “ПЛАНЕТА” // Метеорология и гидрология. 2014. № 12. С.89-97.
30. Лупян Е.А., Савин И.Ю., Барталев С.А., Толпин В.А., Балашов И.В., Плотников Д.Е. Спутниковый сервис мониторинга состояния растительности («ВЕГА») // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т. 8. № 1. С. 190-198.
31. Лупян Е.А., Саворский В.П. Базовые продукты обработки данных дистанционного зондирования Земли // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 2. С.87-97.
32. Лупян Е.А., Саворский В.П., Шокин Ю.И., Алексанин А.И., Назиров Р.Р., Недолужко И.В., Панова О.Ю. Современные подходы и технологии организации работы с данными дистанционного зондирования Земли для решения научных задач // Современные проблемы дистанционного зондирования Земли из космоса, 2012. Т. 9. № 5. С.21-44.
33. Марченков В.В., Пырков В.Н., Черных В.Н., Солодилов А.В., Ермаков В.В. Перспективы комплексного использования современных спутниковых, информационных и коммуникационных технологий для решения задач отраслевой системы мониторинга рыболовства // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 3. С.299-306.
34. Сычугов И.Г., Прошин А.А. Детектирование и документация сбоев в работе распределённых информационных систем дистанционного мониторинга // Современные проблемы дистанционного зондирования Земли из космоса. 2014. Т. 11. №. 3. С.233-245.
35. Толпин В.А., Балашов И.В., Барталев С.А., Лупян Е.А., Плотников Д.Е., Стыценко Ф.В., Ладонина Н.Н. Задачи и возможности специализированной информационной системы VEGA-GEOGLAM // Двенадцатая всероссийская открытая конференция "Современные проблемы дистанционного зондирования Земли из космоса". Москва. ИКИ РАН, 10-14 ноября 2014.Тезисы докладов, 2014. С.140.
36. Толпин В.А., Балашов И.В., Ефремов В.Ю., Лупян Е.А., Прошин А.А., Уваров И.А., Флитман Е.В. Создание интерфейсов для работы с данными современных систем дистанционного мониторинга (система GEOSMIS) // Современные проблемы дистанционного зондирования Земли из космоса. 2011. Т.8. № 3. С.93-108.
37. Толпин В.А., Лупян Е.А., Барталев С.А., Плотников Д.Е., Матвеев А.М. Возможности анализа состояния сельскохозяйственной растительности с использованием спутникового сервиса «ВЕГА» // Оптика атмосферы и океана. 2014. Т. 27. № 7 (306). С.581-586.
38. Уваров И.А., Матвеев А.М., Бурцев М.А., Лупян Е.А., Мазуров А.А., Прошин А.А., Саворский В.П., Суднева О.А. Организация распределенной работы с данными спутниковых гиперспектральных наблюдений для решения научных и прикладных задач // Современные проблемы дистанционного зондирования Земли из космоса. 2014. Т. 11. №. 1. С.322-333.
39. Acker J. G., Leptoukh G. Online analysis enhances use of NASA earth science data // Eos, Transactions American Geophysical Union, 2007. Vol. 88. No. 2. P. 14-17.
40. Asrar, G., and Greenstone, R., 1995. MTPE EOS Reference Handbook. NASA Goddard Space Flight Center.
41. Budget Activity: National Environmental Satellite, Data, and Information Service. 2012. http://www.corporateservices.noaa.gov/nbo/fy13_presidents_budget/7_NESDIS.pdf
42. Interoperable Catalogue System Valids, CEOS/WGISS/ICS/Valids, Issue:1.2, April 2005, 55p.
43. Lavrova O. Yu., Loupian E.A., Mityagina M.I., Uvarov I.A., Bocharova T. Yu. See the Sea — Multi-User Information System Ocean Processes Investigations Based on Satellite Remote Sensing Data // Bollettino di Geofisica teorica ed applicata. An International Journal of Earth Sciences. 2013. V.54. P.146-147.
44. Loupian E.A., Mazurov A.A., Flitman E.V., Ershov D.V., Korovin G.N., Novik V.P., Abushenko N.A., Altyntsev D.A., Koshelev V.V., Tashchilin S.A., Tatarnikov A.V., Csiszar I., Loboda T., Sukhinin A.I., Ponomarev E.I., Afonin S.V., Belov V.V., Matvienko G.G// Satellite monitoring of forest fires in Russia at federal and regional lavel Mitigation and Adaptation Strategies for Global Change. 2006. Т. 11. № 1. P. 113-145.
45. Moore R. T., Hansen M. C. Google Earth Engine: a new cloud-computing platform for global-scale earth observation data and analysis // AGU Fall Meeting Abstracts, 2011. Vol. 1. P.2.
46. Ramapriyan H. K. Development, Operation and Evolution of EOSDIS – NASA’s major capability for managing Earth science data. Presented at CENDI/NFAIS Workshop on Repositories in Science & Technology: Preserving Access to the Record of Science November 30. 2011.