Ведение и развитие долговременных архивов данных спутниковых измерений физических характеристик окружающей среды для ее изучения и прогноза развития в условиях быстрых природных и антропогенных наблюдений.
Для решения многих исследовательских и прикладных задач, связанных с мониторингом природной среды и антропогенных объектов, необходим доступ к большим многолетним архивам спутниковых данных, различным информационным продуктам, получаемым на их основе, а также к вычислительным ресурсам, позволяющим проводить их анализ и обработку. При этом, в рамках реализации отдельных тематических проектов, создание эффективной и порой очень дорогостоящей инфраструктуры, обеспечивающей возможность работы с данными современных систем дистанционного наблюдения Земли, далеко не всегда возможно. В то же время современные технологии позволяют реализовывать принципиально новые возможности организации работы со спутниковой информацией, обеспечивающие эффективное коллективное использование достаточно дорогостоящих вычислительных ресурсов центров сбора, обработки и представления данных дистанционного зондирования. Именно на базе таких новых технологий и подходов в 2012 году создан Центр коллективного пользования системами архивации, обработки и анализа данных спутниковых наблюдений ИКИ РАН, предназначенный для решения задач изучения и мониторинга окружающей среды - ЦКП «ИКИ-Мониторинг».
ЦКП «ИКИ-Мониторинг» предоставляет уникальные возможности для эффективной работы с данными дистанционного мониторинга Земли для решения различных научных и исследовательских задач, позволяя избежать необходимости создания дорогостоящей инфраструктуры для каждого из проектов. Возможностями ЦКП «ИКИ-Мониторинг» в настоящее время пользуются более 70 различных научных организаций, что позволило реализовать целый ряд различных научных информационных систем. По объемам данных, находящимся в online-доступе, ЦКП «ИКИ-Мониторинг» входит сегодня в первую десятку мировых центров предоставления доступа к информации дистанционного мониторинга. По реализованному функционалу, обеспечивающему распределенный анализ и обработку данных, он является ведущим центром в России и конкурирует с наиболее передовыми мировыми системами этого класса.
Одним из ключевых преимуществ ЦКП «ИКИ-Мониторинг» является уникальное для отечественных ресурсов временное и пространственное покрытие. В 2018 году пространственное покрытие было расширено в основном за счета включения в него территории Индии. Таким образом, в настоящее время область покрытия регулярными спутниковыми данными, доступными через ЦКП «ИКИ-Мониторинг», составляет более 27% площади поверхности суши Земли. Для ряда данных, таких как метеоинформация и информация о пожарах, доступно регулярное глобальное покрытие. Благодаря возможности получения информации из единой системы работы с данными ФГБУ «НИЦ «Планета» пользователи имеют возможность работы с глобальными покрытиями данных, получаемых некоторыми российскими системами наблюдений (например, системами МСУ-МР и КМСС, установленными на спутнике Метеор М № 2). Доступ к этой информации организован в рамках соглашения Росгидромета и РАН, договора о сотрудничестве между ИКИ РАН и ФГБУ "НИЦ "Планета" об организации доступа к спутниковой информации для выполнения научных проектов и программ.
Состав и наполнение архивов ЦКП «ИКИ-Мониторинг» постоянно расширяются. В 2018 году налажено поступление в архивы данных новых российских спутников «Канопус-В» №3 и 4. Эти спутники снимают высококачественные черно-белые и многозональные изображения с пространственным разрешением 2,1 метра и 10,5 метров в надире, соответственно. Также налажено поступление в архивы данных российского спутника «Канопус-В-ИК». Спутник оборудован камерой, которая имеет разрешение в два метра в видимом диапазоне, а также оснащен широкозахватной инфракрасной аппаратурой с полосой захвата 2000 км, способной обнаружить очаги пожара размером пять на пять метров. На постоянной основе в архивы также поступать данные прибора VIIRS, получаемые с американского гидрометеорологического спутника JPSS-1,и данные приборов OLCI и SLSTR, установленных на новом европейском спутнике Sentinel-3A. Расширен был также и состав тематических продуктов, получаемых по имеющимся в архивах данных.
В 2018 году были продолжены работы по совершенствованию используемых нами для задач ЦКП «ИКИ-Мониторинг» технологий и программного обеспечения. Продолжены работы по совершенствованию программного обеспечения UNISAT, используемого для ведения сверхбольших распределенных архивов спутниковых данных. Разработаны новые инструменты для контроля за состоянием и поддержки бесперебойной работы распределенного файлового хранилища (см п.1.2.2 настоящего отчета).
В 2018 году также были проведены работы по модернизации и расширению используемой технической инфраструктуры. Используемое для хранения спутниковых данных дисковое пространство было расширено более чем на 280 Тб, также были задействованы 5 новых серверов для обработки спутниковых данных.
На текущий момент пользователям ЦКП "ИКИ-Мониторинг" доступны спутниковые данные, полученные с более чем 40 различных приборов наблюдения Земли, установленных как на российских, так и на зарубежных спутниках ДЗЗ. Наиболее ранние данные в архиве датируются 1984 годом. К концу 2018 года суммарная скорость пополнения архивов, доступных пользователям ЦКП «ИКИ-Мониторинг» (архивы ИКИ РАН и ФГБУ "НИЦ "Планета"), превышает 1.5 Тб/сутки, а объем информации, находящейся в непосредственном доступе, составляет около 2 Пб.
Все данные архивов ЦКП «ИКИ-Мониторинг» доступны в режиме непосредственного доступа в информационной системе ВЕГА-Science (sci-vega.ru). Информация о составе архивов спутниковых данных доступных пользователям ЦКП "ИКИ-Мониторинг" по состоянию на 29.11.2018 года приведена в Таблицах 1 и 2. Актуальная информация о наличии данных в архивах может быть получена на сайте отдела «Технологии спутникового мониторинга» http://www.iki.rssi.ru по ссылке http://smiswww.iki.rssi.ru/default.aspx?page=483. В рамках ЦКП «ИКИ-Мониторинг» также ведутся архивы различных промежуточных спутниковых продуктов, используемые для формирования доступных пользователям информационных продуктов.
Кроме спутниковых данных и продуктов их обработки в архивах ЦКП «ИКИ-Мониторинг» имеются другие типы информации, используемые при решении задач мониторинга окружающей среды. В частности, в рамках центра поддерживаются архивы метеоданных в формате NCEP, получаемые из Национального центра атмосферных исследований США (NCAR) https://ncar.ucar.edu/. В настоящее время в архиве содержатся метеоданные с 2000 года по настоящее время по всему земному шару, относящиеся к следующим типовым наборам:
- ds093.0/ds094.0 – данные реанализа на регулярной сетке с шагом 0,5 градуса
- ds335.0 – данные прогноза на регулярной сетке с шагом 1 градус
Таблица 1
Статистика наличия данных в архивах ЦКП "ИКИ-Мониторинг"
|
№
|
Прибор
|
Спутник
|
Диапазон дат
|
Кол-во
|
Размер, Гб
|
|
1
|
ASAR 12,5м
|
ENVISAT
|
2003-08-22
|
2011-07-31
|
626
|
62
|
|
2
|
ASAR 75м
|
ENVISAT
|
2004-08-23
|
2012-04-08
|
10 089
|
1 883
|
|
3
|
ASTER
|
TERRA
|
2015-06-05
|
2016-07-20
|
1 645
|
11
|
|
4
|
ASTERGDEM
|
TERRA
|
2011-02-28
|
2011-02-28
|
1
|
610
|
|
5
|
AVHRR
|
NOAA 18
|
2012-12-24
|
2018-11-08
|
59 054
|
978
|
|
6
|
C_SAR_EW
|
SENTINEL-1A
|
2014-10-03
|
2018-11-29
|
64 141
|
9 066
|
|
SENTINEL-1B
|
2016-09-26
|
2018-11-29
|
32 750
|
5 555
|
|
7
|
C_SAR_IW
|
SENTINEL-1A
|
2014-10-03
|
2018-11-29
|
391 283
|
200 646
|
|
SENTINEL-1B
|
2016-09-26
|
2018-11-29
|
249 616
|
117 446
|
|
8
|
DEIMOS
|
DEIMOS
|
2009-12-17
|
2015-05-08
|
427
|
36
|
|
9
|
ETM+
|
LANDSAT 7
|
1999-06-29
|
2018-11-27
|
2 639 399
|
149 469
|
|
10
|
ETM+ атм кор
|
LANDSAT 7
|
2014-01-30
|
2016-12-30
|
6 987
|
804
|
|
11
|
HYPERION
|
EO-1
|
2001-05-03
|
2016-08-07
|
15 000
|
4 745
|
|
12
|
КМСС-101
|
Метеор-М1
|
2011-12-09
|
2013-01-14
|
14 746
|
543
|
|
Метеор-М2
|
2014-08-06
|
2018-07-24
|
16 118
|
1 410
|
|
13
|
КМСС-102
|
Метеор-М1
|
2011-12-09
|
2013-01-14
|
14 477
|
571
|
|
Метеор-М2
|
2015-02-12
|
2016-12-09
|
22 568
|
1 940
|
|
14
|
MODIS
|
AQUA
|
2012-03-25
|
2018-11-29
|
1 319 139
|
57 945
|
|
TERRA
|
2000-01-09
|
2018-11-29
|
1 361 287
|
69 036
|
|
15
|
MSI
|
SENTINEL-2A
|
2015-07-26
|
2018-11-28
|
1 948 985
|
587 697
|
|
SENTINEL-2B
|
2017-06-30
|
2018-11-28
|
645 058
|
184 030
|
|
16
|
OLCI
|
SENTINEL-3A
|
2016-06-04
|
2018-11-19
|
15 916
|
912
|
|
17
|
OLI
|
LANDSAT 8
|
2013-04-01
|
2015-09-20
|
4 879
|
764
|
|
18
|
OLI атм кор
|
LANDSAT 8
|
2014-01-15
|
2017-09-02
|
57 258
|
9 980
|
|
19
|
OLI-TIRS
|
LANDSAT 8
|
2013-03-19
|
2018-11-27
|
1 805 722
|
290 218
|
|
20
|
ORBVIEW-3
|
ORBVIEW-3
|
2003-09-17
|
2007-03-04
|
79 761
|
20 656
|
|
21
|
ПСС
|
Канопус-В №3
|
2018-04-30
|
2018-07-18
|
266
|
15
|
|
Канопус-В №4
|
2018-05-01
|
2018-07-19
|
260
|
15
|
|
22
|
SLSTR
|
SENTINEL-3A
|
2016-11-16
|
2018-11-28
|
91 806
|
506
|
|
24
|
SSUSI
|
DMSP
|
2016-01-01
|
2018-11-27
|
69 889
|
169
|
|
25
|
TM
|
LANDSAT 4
|
1987-06-29
|
1993-07-16
|
44 974
|
2 083
|
|
LANDSAT 5
|
1984-03-06
|
2012-04-25
|
1 722 108
|
82 326
|
|
26
|
PROBA-V
|
PROBA-V
|
2014-03-12
|
2018-04-30
|
2 664
|
12 451
|
|
27
|
VIIRS
|
Suomi NPP
|
2012-07-02
|
2018-11-29
|
74 898
|
5 138
|
|
ИТОГО:
|
-
|
-
|
1984-03-06
|
2018-11-29
|
12 783 798
|
1 819 778
|
Таблица 1.5.1.2
Статистика наличия данных в архивах НИЦ "Планета"
|
№
|
Прибор
|
Спутник
|
Диапазон дат
|
Кол-во
|
Размер, Гб
|
|
1
|
AHI
|
HIMAWARI-8
|
2015-09-01
|
2018-11-29
|
865 035
|
20 808
|
|
2
|
AVHRR
|
NOAA 15
|
2011-12-22
|
2018-04-17
|
52 369
|
687
|
|
NOAA 16
|
2011-10-28
|
2014-06-06
|
47 619
|
856
|
|
NOAA 18
|
2011-09-20
|
2018-11-29
|
254 406
|
4 645
|
|
NOAA 19
|
2011-11-24
|
2018-11-29
|
218 006
|
4 009
|
|
3
|
Геотон-П
|
Ресурс-П №1
|
2014-06-24
|
2018-02-14
|
556
|
182
|
|
Ресурс-П №2
|
2015-03-23
|
2017-12-20
|
465
|
153
|
|
Ресурс-П №3
|
2016-05-26
|
2017-02-06
|
442
|
189
|
|
4
|
Imager
|
GOES-E
|
2013-05-23
|
2018-04-28
|
45 698
|
1 141
|
|
GOES-W
|
2013-05-23
|
2018-04-28
|
64 405
|
692
|
|
MTSAT 2
|
2013-05-23
|
2015-12-04
|
30 501
|
534
|
|
5
|
КМСС-101
|
Метеор-М1
|
2011-10-01
|
2014-09-23
|
35 257
|
1 474
|
|
Метеор-М2
|
2014-09-17
|
2018-11-28
|
332 750
|
32 828
|
|
6
|
КМСС-102
|
Метеор-М1
|
2011-10-01
|
2014-09-23
|
38 535
|
2 079
|
|
Метеор-М2
|
2014-09-17
|
2018-11-28
|
328 963
|
34 930
|
|
7
|
КМСС-50
|
Метеор-М2
|
2016-04-10
|
2016-04-19
|
900
|
37
|
|
8
|
MODIS
|
AQUA
|
2011-10-16
|
2018-11-29
|
645 390
|
32 138
|
|
TERRA
|
2011-10-11
|
2018-11-29
|
642 668
|
34 209
|
|
9
|
МСС
|
Канопус-В
|
2011-12-30
|
2018-11-26
|
39 897
|
613
|
|
10
|
МСУ-ГС
|
ELECTRO-L-1
|
2013-10-31
|
2016-07-12
|
17 851
|
580
|
|
ELECTRO-L-2
|
2016-04-14
|
2018-11-29
|
141 067
|
1 034
|
|
11
|
МСУ-ИК-СРМ
|
Канопус-В-ИК
|
2017-08-08
|
2018-11-27
|
3 487
|
739
|
|
12
|
МСУ-МР
|
Метеор-М1
|
2014-03-07
|
2014-12-12
|
10 319
|
162
|
|
Метеор-М2
|
2014-07-31
|
2018-11-29
|
1 518 568
|
40 532
|
|
13
|
MVIRI
|
METEOSAT 7
|
2013-05-23
|
2017-03-31
|
107 601
|
2 193
|
|
14
|
ПСС
|
Канопус-В
|
2011-12-30
|
2018-11-24
|
35 855
|
2 317
|
|
Канопус-В-ИК
|
2013-10-06
|
2018-09-25
|
248
|
15
|
|
15
|
SEVIRI
|
METEOSAT 10
|
2017-10-04
|
2018-11-29
|
106 844
|
1 481
|
|
METEOSAT 8
|
2017-07-01
|
2018-11-29
|
106 395
|
1 465
|
|
MSG
|
2013-05-23
|
2018-04-28
|
168 620
|
8 968
|
|
16
|
КШМСА-СР
|
Ресурс-П №2
|
2015-03-17
|
2016-12-18
|
50
|
13
|
|
17
|
КШМСА-ВР
|
Ресурс-П №1
|
2014-04-01
|
2018-07-09
|
1 102
|
536
|
|
Ресурс-П №2
|
2015-03-17
|
2017-12-15
|
606
|
165
|
|
Ресурс-П №3
|
2016-05-11
|
2017-02-11
|
216
|
42
|
|
18
|
VIIRS
|
JPSS1 (NOAA 20)
|
2018-01-10
|
2018-11-28
|
23 416
|
1 491
|
|
Suomi NPP
|
2013-02-27
|
2018-11-28
|
212 159
|
14 517
|
|
ИТОГО:
|
-
|
-
|
2011-09-20
|
2018-11-29
|
6 098 266
|
248 454
|