Программный комплекс селекции данных aeronet

Скачать 93.9 Kb.

Название	Программный комплекс селекции данных aeronet
Тип	Документы

УДК 551.521.3

Ю.Я. Матющенко, В.Е. Павлов

Программный комплекс селекции данных AERONET
Введение

Глобальная сеть AERONET – одна из наиболее распространенных сетей автоматизированного наземного мониторинга атмосферы [1–2]. Она развернута для получения в режиме реального времени больших объемов данных, их накопления и последующей обработки с целью создания карты распределения аэрозоля по земному шару. Измерения оптических параметров атмосферы осуществляются с помощью солнечных фотометров CIMEL [3–4]. Данные наблюдений используются для построения региональных и глобальных аэрозольных моделей атмосферы.

Специалистами NASA проводится предварительная селекция наблюдательного материала с целью исключения из дальнейшего рассмотрения данных измерений яркости при наличии разрывной облачности на небосводе [5–7]. Однако анализ выставленных на сайте AERONET данных даже на самом высоком доверительном уровне LEVEL-2 свидетельствует о недостаточности проводимой процедуры и о сравнительно частом наличии облаков на линиях визирования фотометров [8–9].

Для исключения облачных ситуаций нами предложены дополнительные методы селекции мониторинговых измерений яркости неба [10]. В настоящей работе представляется соответствующее программное обеспечение.

Методы селекции данных. Критерии обнаружения облаков на линиях визирования в альмукантарате и вертикале Солнца.На основе расчетов яркости неба из уравнения переноса излучения [11–13] и анализа результатов измерений яркости в абсолютно безоблачных условиях [10, 14–15] разработаны следующие методы отбора безоблачных ситуаций при мониторинговом сканировании небосвода на станциях сети AERONET:

1. Метод обнаружения облаков, заключающийся в регистрации скачкообразных вариаций яркости при прохождении облака фотометром. При отсутствии облаков на трассе сканирования небосвода в альмукантарате Солнца должно иметь место регулярное убывание яркости неба в видимой и ближней ИК областях спектра c увеличением угла рассеяния  от 2 до 90⁰ и затем ее последующее возрастание на угловых расстояниях более 120⁰. Иначе говоря, для яркости безоблачного неба В() должно выполняться условие:

В() > B(+∆) при 2⁰    90⁰

и

В() < B(+∆) при  > 120. (1)

Это условие названо нами «мягким» критерием селекции исходных данных.

2. Метод обнаружения малоконтрастных облачных образований, заключающийся в фиксировании нарушений гладкости угловой зависимости градиента яркости при наличии облака на линии визирования. Речь идет об облаках, яркость которых превышает яркость безоблачного неба лишь на 1–2% [10]. Суть метода состоит в том, что такие образования скачкообразно нарушают систематическое убывание углового градиента яркости в альмукантарате и вертикале Солнца («жесткий» критерий). Угловые градиенты определяются как разности значений яркости в соседних углах, отнесенные к их интервалу. Должны выполняться следующие условия:

f() –f (+)  f( +) – f( +2) при   _min и

f( + ) – f()  f( +2) – f(+) при   _min, (2)

где величина шага ∆ задается соответствующей угловому градиенту яркости.

Выполненный анализ экспериментальных данных абсолютно безоблачного неба показал, что в солнечном вертикале так же, как и в альмукантарате, имеет место систематическое убывание градиента яркости с увеличением угла рассеяния [14].

3. Дополнительным условием отсутствия облаков является констатация факта идентичности оптических характеристик правой и левой половин небосвода [8, 10, 16]. В этом случае независимо от стратификации мутности для яркости неба в альмукантарате Солнца должно выполняться условие:

В() = В(360^о – ) (3)

при изменении азимута  от 0 до 180^о. Оно лежит в основе селекции данных AERONET, выполняемой специалистами NASA [6]. Известно, что погрешность измерений яркости неба на фотометрах CIMEL в абсолютных единицах составляет около 5% [2, 5, 17]. Эта цифра определяет возможности всех последующих манипуляций с наблюдаемыми величинами В() и В(360^о – ), направленных на решение прямых и обратных радиационных задач.

Анализ исходных файлов сети AERONET, содержащих угловые распределения яркости в альмукантарате и вертикале Солнца. Угловые распределения яркости в альмукантарате и вертикале Солнца, прошедшие селекцию NASA [6], выставляются на сайте AERONET в виде текстовых ASCII-файлов с расширениями *.alm и *.ppl соответственно.

Согласно техническому описанию и инструкции по эксплуатации фотометра CIMEL CE-318 [3–4], последовательность измерений В() в альмукантарате следующая. На длине волны 1,02 мкм при заданном зенитном угле Солнца Z0 фотометр устанавливается в точку с азимутом  = –6^о ( = 354^о) и проводятся измерения яркости в интервале азимутов от –6 до –2^о и от 2 до 6^о с шагом 0,5 и 1^о и далее до  = 160^о. С увеличением азимута шаг также возрастает. Аналогично фотометр сканирует отрицательную полуплоскость при  = –160^о ÷ –2^о и завершает измерения яркости кривой в диапазоне азимутов  = 2^о ÷ 6^о. После этого устанавливается длина волны 0,87 мкм, и все повторяется в той же последовательности. По окончании серии измерений в четырех длинах волн выполняется аналогичная серия в солнечном вертикале. Цикл измерений В() занимает время около 5 мин; при этом Z_о меняется на 0,1 ÷ 0,5^о. Для абсолютного большинства угловых распределений яркости, прошедших селекцию по описываемой далее методике, диапазон вариаций зенитных углов обычно составляет 50 ÷ 75^о.

В отличие от файлов альмукантарата, значения яркости в файлах *.ppl вертикала Солнца являются функцией не азимутов, а углов рассеяния. Диапазон углов рассеяния изменяется от –6 до 150^о.

Остановимся на ряде особенностей файлов альмукантарата и вертикала, которые необходимо учитывать при разработке программы селекции. Для альмукантарата характерно наличие отрицательных яркостей (ошибок), обычно маркируемых числом (–100), в интервале азимутов –2.5, –2, 2, 2,5^о при первом сканировании ореола и –2.5, –2, 2, 2.5, 3, 3.5, 4, 5, 6^о – при втором. По числу кривых, содержащих ошибки, файлы можно поделить на три группы:

1. Ошибок практически нет или они носят нерегулярный характер, что связано со спецификой наблюдений яркости в области ореола.

2. В начале серии наблюдений ошибки отсутствуют, но возникают во второй половине файла. Число таких кривых может составлять около 20 ÷ 50% от их общего количества. Например, для пустыни Solar Village на Аравийском полуострове из 57487 исходных кривых 30177, т.е. более 50%, включают яркости со значением (–100) в указанном интервале азимутов, причем с самого начала и почти до середины числового массива такие ошибки отсутствуют. Подобные файлы особенно характерны для пунктов наблюдений в океанах.

3. Ошибки присутствуют во всех без исключения кривых. Примерами могут служить данные в пустынях Tinga Tingana и Dalanzadgad, в городах Москве и Томске и др.

Наличие таких ошибок диктует необходимость частичного либо полного исключения наблюдательных данных из анализируемого массива яркостей. Следует отметить, что для файлов вертикала характерным является существенно меньшее количество подобных ошибок измерений.

Алгоритм и описание программы селекции данных AERONET. При разработке алгоритма программы селекции были учтены особенности исходных файлов для исключения потерь информации и последующей ее корректной обработки. Необходимо было обеспечить:

– использование описанных выше критериев обнаружения облаков;

– возможность установки начальных параметров селекции;

– вычисление и вывод статистических данных;

– возможность визуального контроля исходных данных, промежуточных и окончательных результатов;

– приемлемое время обработки информации.

Алгоритм включает следующие основные этапы:

– выбор файлов и их объединение;

– считывание и обработку заголовков файлов;

– загрузку данных в оперативную память и их типизацию;

– непосредственную обработку и селекцию данных;

– вывод результатов.

Первый этап предполагает поиск и отображение имен файлов альмукантарата или вертикала в выбранном диске (каталоге). При необходимости можно дописать данные следующего файла в конец предыдущего и далее обрабатывать как один файл. Обычно такая процедура требуется в двух случаях: для обработки данных в одной точке наблюдений за разные периоды времени (например, за несколько лет) либо для одновременной обработки данных в местностях со схожими географическими, климатическими или другими условиями (например, несколько точек в океане).

Загрузка исходных результатов наблюдений производится, исходя из структуры файлов, в заранее созданные массивы с соответствующим типом данных. При этом используются разделители текстовой информации. В результате структура данных в памяти компьютера становится подобной таблице. Дальнейшая обработка кривых яркости, измеренных в альмукантарате Солнца, представлена в виде блок-схемы на рисунке 1.

Отметим ряд особенностей программы, не отраженных на блок-схеме. Перед запуском можно выбрать нужный диапазон азимутов: от 10 до –10^о (350^о) либо полный диапазон углов: –6, –5, –4, –3.5, –3, –2.5, –2, 2, 2.5, 3, 3.5, 4, 5, 6, 7, 8, 10, 12, 20, 30, 40, 50, 60, 70, 80, 90, 100, 120, 140, 160, –160, –140, –120, –100, –90, –80, –70, –60, –50, –40, –30, –20, –12, –10, –8, –7, –6, –5, –4, –3.5, –3, –2.5, –2, 2, 2.5, 3, 3.5, 4, 5, 6^о. В последнем случае имеется возможность исключить из проверки углы с отрицательными значениями яркости в области ореола.
Рис. 1. Блок-схема алгоритма селекции данных

Исходные распределения яркости содержат по два значения при азимутах: +60 (для альмукантарата и вертикала) и –6^о (только для альмукантарата). При фильтрации отрицательных значений яркости исключение анализируемой кривой осуществляется только в том случае, если оба значения для каждой пары указанных углов меньше нуля. Все последующие действия производятся относительно одной и той же кривой согласно алгоритму, изображенному на блок-схеме (рис. 1). Несоответствие какому-либо из критериев инициирует отбраковку данной кривой и переход к следующей.

Пересчет азимутальных углов в углы рассеяния для альмукантарата Солнца выполняется по формуле
cos = cos²Z_о + sin²Zcos. (4)
Вычисленные углы рассеяния используются во всех случаях анализа распределений яркости.

Далее угловые распределения яркости исследуются на соответствие «мягкому» и «жесткому» критериям. В случае выбора для селекции полного диапазона углов в первую очередь анализируются области ореола с азимутами –6 ÷ +7^о и –7^о ÷ +6.

Прежде чем проверять остальные значения яркости при азимутах от 8 до 160^о и от –160 до –8^о, необходимо определить минимальное значение яркости слева или справа от Солнца. Для альмукантарата Солнца соответствующий угол рассеяния _min может находиться в интервале 90 ÷ 120^о.

На фотометре фиксируется яркость при азимутах 90, 100, 120, 140, 160^о. Расширяя диапазон углов  на 5 ÷ 10^о, по формуле (4) получаем искомые азимутальные границы поиска минимума.

Что касается проверки на равенство величин В() и В(360^о – ) слева и справа от Солнца, то допустимое расхождение в соответствии с [2] не должно превышать 5% за исключением области ореола. Программа позволяет установить и 10%-ное различие, либо вообще пропустить этот этап алгоритма.

Кривая, прошедшая все этапы селекции, копируется в выходной массив вместе со своими параметрами измерения: датой, временем измерений, длиной волны и зенитным углом Солнца. Выходной массив доступен для просмотра в виде таблицы. Предусмотрен вывод промежуточных массивов в табличной форме.

Основные этапы селекции файлов вертикала *.ppl принципиально не отличаются от обработки данных альмукантарата. Отличия определены отсутствием в файлах вертикала распределений яркости в отрицательной полуплоскости углов рассеяния.

Программа написана на языке СИ [18–19]. Интерфейс программы (рис. 2), предоставляемый пользователю, включает в себя:

– браузер файлов с возможностями фильтрации файлов по расширению и одновременного выбора нескольких файлов;

– область вывода информации, содержащейся в заголовках исходных файлов;

– кнопки управления;

– таблицу вывода данных;

– окно вывода статистической информации.

Рис. 2. Внешний вид интерфейса программы селекции
Время обработки исходного массива альмукантарата объемом в 50 тысяч кривых с выводом данных занимает примерно 3–4 минуты, в зависимости от начальных параметров селекции.

Авторы выражают признательность сотруднику NASA Б.Н. Холбену и сотруднику ИОА СО РАН М.В. Панченко за разрешение использования материалов AERONET при выполнении настоящей работы.
Библиографический список

Goddard Space Flight Center [Электронный ресурс]. – Электрон. дан. – Режим доступа: http://aeronet.gsfc.nasa.gov. – Яз. англ.
Holben, B.N. AERONET – A federated instrument network and data archive for aerosol characterization / B.N. Holben, T.F. Eck, I. Slutsker, D. Tanre, J.P. Buis, A. Setzer, F. Vermote, J.A. Reagan, Y.J. Kaufman, T. Nakajima, F. Lavenu, I. Jankoviak, Smirnov A. // Remote Sensing & Environment. – 1998. – №66.
Automatic sun trackine sunphotometer CE 318. Technical description.
Simel Sun Photometer User Manual [Электронный ресурс]. – Электрон. дан. – Режим доступа: http://www.cimel.fr/photo/pdf/man_ce318_us.pdf.
Nakajima, T. Use of sky brightness measurements from ground for remote sensing of particulate polydispersions / T. Nakajima, G. Tonna, R. Rao, P. Boi, Y. Kaufman, B. Holben // Appl. Optics. – 1996. – Vol. 3, №5.
Smirnov, A. Cloud-screening and quality control algorithms for the AERONET database / A. Smirnov, B.N. Holben, T.F. Eck, O. Dubovik, I. Slutsker // Remote Sensing of Environment. – 2000. – №73.
Smirnov, A. Optical properties of atmospheric aerosol in maritime environments / A. Smirnov, B.N. Holben, Y.J. Kaufman, O. Dubovik, T.F. Eck, I. Slutsker, C. Pietras // J. Atmos. Sci. – 2002. – Vol. 59.
Матющенко Ю.Я., Павлов В.Е. Малоугловые аэрозольные и облачные образования на фоне преобладающе безоблачной атмосферы / Ю.Я. Матющенко, В.Е. Павлов // Межрегиональный экологический форум: Сб. мат. форума. – Барнаул, 2004.
Павлов, В.Е. Отбор безоблачных ситуаций по данным AERONET / В.Е. Павлов, П.М. Зацепин, Ю.Я. Матющенко // Аэрозоли Сибири : тез. докл. ХI Рабочей группы. – Томск, 2004.
Матющенко, Ю.Я. О селекции данных AERONET. Ч. 1: Обоснования методик / Ю.Я. Матющенко, В.К. Ошлаков, В.Е. Павлов // Оптика атмосферы и океана. – 2006. – Т. 19, №4.
Метод Монте-Карло в атмосферной оптике / Под ред. Г.И. Марчука. – Новосибирск, 1976.
Журавлева, Т.Б. Численное моделирование угловой структуры яркости неба вблизи горизонта при наблюдении с Земли. Ч. I: Аэрозольная атмосфера / Т.Б. Журавлева, И.М. Насретдинов, С.М. Сакерин // Оптика атмосферы и океана. – 2003. – Т. 16. №5–6.
Павлов, А.В. Угловая структура многократно рассеянного света безоблачной атмосферы / А.В. Павлов, В.Е. Павлов, Т.З. Мулдашев // Оптика атмосферы и океана. – 1996. – Т. 9, №5.
Зинченко, Г.С. Облачность и эффективность функционирования солнечных фотометров на юге Сибири / Г.С. Зинченко, Ю.Я. Матющенко, В.Е. Павлов, С.В. Смирнов // Аэрозоли Сибири : тез. докл. XIII Рабочей группы. – Томск, 2006.
Матющенко, Ю.Я. Методы селекции и коррекции экспериментальных данных AERONET по яркости неба : автореф. дис. … канд. физ.-мат. наук / Ю.Я. Матющенко. – Барнаул, 2007.
Dubovik, O. Variability of absorption and optical properties of key aerosol types observed in worldwide locations / O. Dubovik, B.N. Holben, T.F. Eck, A. Smirnov, Y.J. Kaufman, M.D. King, D. Tanre, I. Slutsker // J. of Atm. Sciences. – 2002. – Vol. 59.

17. Dubovik, O. A flexible inversion algorithm for retrieval of aerosol optical properties from Sun and sky radiance measurements / O. Dubovik, M.D. King // J. of Geophys. Res. – 2000. – Vol. 105, №D16.

18. Архангельский, А.Я. Программирование в C++Builder 5 / А.Я. Архангельский. – М., 2000.

19. Архангельский, А.Я. Язык C++ в C++ Builder 5 : справ. пособие / А.Я. Архангельский. – М., 2000.

	Инструкция по установке Континент-ап версий X Аппаратно-программный... Аппаратно-программный комплекс шифрования (апкш) «Континент-ап» предназначен для безопасной передачи данных через общедоступные (незащищенные)...		Конкурсная документация на выполнение работ по адаптации физической... Специализированный программный комплекс мониторинга и управления временным персоналом во время подготовки
	Программный комплекс "Расчет нормативов удельных расходов топлива... Едином реестре российских программ для электронных вычислительных машин и баз данных		Аппаратно-программный комплекс «АвтоТрекер» Бортовой блок ат10 Паспорт Данный документ является Паспортом на управляющее устройство «Бортовой блок ат10», входящее в аппаратно-программный комплекс «АвтоТрекер»...
	Программный комплекс «хранилище-кс» версия 13 ХХХ. ХХХХ 13 ХХХ хххх...		Программный комплекс «хранилище-кс» версия 13 ХХХ. ХХХХ 13 ХХХ хххх...
	Программный комплекс «Реестр имущества-смарт» версия 15. 01 Руководство... Настоящий документ является частью руководства администратора пк «Реестр имущества-смарт» версии 15. 01 (далее «программный комплекс»)...		Инструкция для следователей и дознавателей по направлению заявок... Автоматизированный программный комплекс Адвокатской палаты Приморского края (далее – аппк) на участие адвокатов в качестве защитников...
	Программный комплекс "Расчет нормативов удельного расхода топлива... Едином реестре российских программ для электронных вычислительных машин и баз данных		ОК, то в разделе Сертификат подписчика окна Подпись документов появится... «Программный комплекс «Блокхост-эцп» 0 (пк «Litoria Desktop»). Руководство пользователя (стандартный интерфейс)» и «Программный комплекс...
	Федеральные клинические рекомендации Подагра Методы, использованные для сбора/селекции доказательств: поиск в электронных базах данных		Аппаратно-программный комплекс «безопасный город» программно-аппаратный... Порядок оформления и предъявления заказчику результатов работ по созданию системы 18
	Аппаратно-программный комплекс «безопасный город» программно-аппаратный... Бизнес-аналитика, программное обеспечение, созданное для помощи в анализе информации		Аппаратно-программный комплекс «безопасный город» программно-аппаратный... Бизнес-аналитика, программное обеспечение, созданное для помощи в анализе информации
	Федеральные клинические рекомендации по диагностике и лечению системных васкулитов Методы, использованные для сбора/селекции доказательств: поиск в электронных базах данных		Программный комплекс «Муниципальное самоуправление-смарт» Руководство... При этом пк «Муниципальное самоуправление смарт» предоставляет полноценное клиентское приложение, которое позволяет удаленным пользователям...

Программный комплекс селекции данных aeronet

Похожие: