Cargando…

Методология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры

Интенсивное использование информационных и вычислительных технологий существенно изменило методику получения знаний и привело к тому, что информационно-вычислительное обеспечение стало важнейшей составляющей научной инфраструктуры. Возникшие на базе компьютерных сетей нового поколения современные р...

Descripción completa

Detalles Bibliográficos
Autor principal: Korenkov, Vladimir
Lenguaje:rus
Publicado: 2016
Acceso en línea:http://cds.cern.ch/record/2209600
_version_ 1780951776663437312
author Korenkov, Vladimir
author_facet Korenkov, Vladimir
author_sort Korenkov, Vladimir
collection CERN
description Интенсивное использование информационных и вычислительных технологий существенно изменило методику получения знаний и привело к тому, что информационно-вычислительное обеспечение стало важнейшей составляющей научной инфраструктуры. Возникшие на базе компьютерных сетей нового поколения современные распределенные информационно-вычислительные системы открыли принципиально новые возможности организации научной деятельности. Взятый курс на модернизацию и технологическое развитие экономики России требует существенно более активного использования информационно-коммуникационных технологий. Одним из наиболее интенсивно развивающихся направлений являются технологии распределенных и параллельных вычислений, охватывающие широкий спектр применений: от научных комплексов высокопроизводительных вычислений до систем производства высокотехнологичной и конкурентоспособной продукции. В классической монографии Э.Таненбаума и М. ван Стеен представлен обзор принципов и парадигм распределенных систем [1]. В монографии В.В. Воеводина и В л.В.Воеводина [2] выполнен качественный анализ технологий, архитектур и алгоритмов параллельных вычислений. Развитие исследований в физике высоких энергий, астрофизике, биологии, науках о Земле и других научных отраслях требует совместной работы многих организаций по обработке большого объема данных в относительно короткие сроки. Для этого необходимы географически распределенные вычислительные системы, способные передавать и принимать данные порядка сотен терабайт в сутки, одновременно обрабатывать сотни тысяч задач и долговременно хранить сотни петабайт данных. Развитие технологий обработки данных в физике высоких энергий от кластеров до грид-технологий представлены в классических обзорах Рене Брана [3] и Леса Робертсона [4]. Грид - географически распределенная инфраструктура, предназначенная для обеспечения надежного, устойчивого, повсеместного и недорогого доступа к компьютерным ресурсам разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), на основе их скоординированного разделения. Грид предполагает коллективный разделяемый режим доступа к ресурсам и связанным с ними услугам в рамках глобально распределенных виртуальных организаций, состоящих из предприятий и отдельных специалистов, совместно использующих общие ресурсы. В каждой виртуальной организации имеется своя собственная политика поведения ее участников, которые должны соблюдать установленные правила. Современные грид-инфраструктуры обеспечивают интеграцию аппаратных и программных ресурсов, находящихся в разных организациях в масштабах стран, регионов, континентов в единую вычислительную среду, позволяющую решать задачи по обработке сверхбольших объемов данных, чего в настоящее время невозможно достичь в локальных вычислительных центрах. Наиболее впечатляющие результаты по организации глобальной инфраструктуры распределенных вычислений получены в проекте WLCG (Worldwide LHC Computing Grid или Всемирный грид для Большого адронного коллайдера http://wlcg.web.cern.ch/) в Европейской организации ядерных исследований (ЦЕРН, http://www.cern.ch/) при обработке данных с экспериментов на LHC (Large Hadron Collider) или БАК (Большой адронный коллайдер). На семинаре 4 июля 2012 года, посвященном наблюдению частицы, похожей на бозон Хиггса, директор ЦЕРН Р. Хойер дал высокую оценку грид-технологиям и их значимости для мировой науки. Гридинфраструктура на БАК позволила обрабатывать и хранить колоссальный объем данных, поступающих от экспериментов на коллайдере, и, следовательно, совершать научные открытия. В настоящее время ни один крупный научный проект не осуществим без использования распределенной инфраструктуры для обработки и хранения данных. Результаты по наблюдению новой частицы, полученные на экспериментальных установках CMS и ATLAS, опубликованы в статьях [5, 6], а роль распределенной компьютерной инфраструктуры в открытии новой частицы отмечена в работе А. Климентова и В. Коренькова [7]. Первым шагом по развитию грид-технологий стал проект Globus (http://www.globus.org/), который выполнялся в середине 90-х годов в Аргонской национальной лаборатории США под руководством Яна Фостера и Карла Кесельмана, которые по праву считаются основателями грид. Значительным результатом этой деятельности было создание версии пакета Globus Toolkit, который стал важнейшим инструментарием для построения грид-инфраструктуры. Данный инструментарий охватывает вопросы обнаружения и защиты информации, управления данными и ресурсами, вопросы коммуникаций и обнаружения ошибок и т.д. Соответствующие механизмы оформлены как службы, которые выполняют различные операции в грид - приложениях. Книга, написанная Яном Фостером и Карлом Кесельманом «GRID: a Blueprint to the New Computing Infrastructure» [8] в 1999 году положила начало распространению грид-технологий в мире. Во многих последующих работах они развивали эти идеи, принципы, архитектурные подходы, наиболее значимые из которых представлены в публикациях [9, 10, 11, 12, 13]. В 1998 году в рамках проекта MONARC (Models of Networked Analysis at Regional Centres for LHC Experiments http://monarc.web.cern.ch/MONARC), большим коллективом разработчиков разрабатывалась модель компьютинга для экспериментов на БАК [14] и специальный пакет для симуляции этой модели [15]. Под компьютингом понимается применение средств il >',11 «'' ' *>N \ 1 ' Ч\ i " ' • i! 'и Ч 1 h'„ 1 '' '' if ''»i » ' 1 't. I ' ■ I I Aiv'.A'К'.!' .■,'■ ■■ ■ .>■' ■■' r '"■!',.' v. i.'.;.'.' ! -w.'>■■ ■:.г ;vr .■■■*;"■'■;, ; : ';.ii'lni1' Ч«"/':'' ."'.l'.v-'Vi!;.''!,;:: ;i'I."''■•.: . ¡v/i. ,J•'^'l^'í¡^,,"î:i.'.'¡SiV' 'i'':,'1 ■ '' . J1 ; •' .,-".-'''■ ■■ вычислительной техники и систем связи для организации сбора, хранения и обработки информации в научных исследованиях. Задача организации компьютинга была очень сложной, поскольку требовалось: • обеспечить быстрый доступ к массивам данных колоссального объема; • обеспечить прозрачный доступ к географически распределенным ресурсам; • создать протяженную надежную сетевую инфраструктуру в гетерогенной среде. В рамках проекта МСЖАЛС была разработана базовая модель компьютинга для экспериментов на БАК как иерархическая централизованная структура региональных центров, включающая в себя центры нескольких уровней. Экспериментальные данные записываются и хранятся в ЦЕРН, а потом передаются для хранения и обработки в региональные центры различного уровня, что дает возможность более эффективно использовать распределенные ресурсы и обеспечивать физикам доступ к данным в различных странах. Возникла проблема разработки базовых моделей вычислений, включая стратегию, приоритеты и политику для эффективного анализа данных международными сообществами. Применение грид - технологий позволяет существенно расширить возможности этой модели, а также повысить эффективность использования ресурсов региональных центров, надежность хранения информации путем хранения копий баз данных в различных региональных центрах. Одним из первых масштабных проектов по развитию грид-технологий в Европе был проект ЕЭС (с 2001 по 2003 годы), в котором участвовали крупные научные центры из 14 европейских стран (в том числе из России) с целью разработки архитектуры и создания прототипа глобальной инфраструктуры нового поколения для обработки огромных массивов информации. Первые статьи о необходимости создания грид-инфраструктуры в России [16, 17, 18] вызвали большой интерес к этой проблеме у научной общественности. Первые шаги построения тестовой грид-среды и первые результаты участия России в проекте EDG были представлены наряде конференций [19, 20, 21]. С 2002 года распределенная компьютерная инфраструктура для экспериментов на БАК реализуется в проекте "LHC Computing GRID" (LCG) [24], который с 2007 года называется "Worldwide LHC Computing GRID" (WLCG). В самом названии проекта подчеркивается особая роль грид-технологий. В проекте WLCG можно выделить два направления: ресурсы и программное обеспечение. К первому направлению относятся вопросы архитектуры системы региональных центров, соответствующие принятой распределенной иерархической модели. Ко второму направлению относятся вопросы интеграции региональных центров на основе промежуточного программного обеспечения с предоставлением базовых и прикладных сервисов для эффективной поддержки виртуальных организаций и пользователей. С 2003 года российские интституты и ОИЯИ включились в работу по проекту WLCG [25]. В 2004 году начался масштабный европейский проект развертывания грид-систем для научных исследований - EGEE (Enabling Grids for E-science in Europe, http://www.eu-egee.org). Главная цель проекта EGEE - создание, координация и эксплуатация международной грид-инфраструктуры промышленного уровня, предназначенной для работы пользователей, представляющих самые разные направления деятельности. Эта инфраструктура объединяет существующие национальные, региональные и тематические инициативы в области грид-технологий для интеграции ресурсов и сервисов. Такая инфраструктура, основанная на грид-технологиях, упрощает сотрудничество между географически распределёнными сообществами и позволяет им совместно пользоваться компьютерными ресурсами и данными. Созданная глобальная грид-инфраструктура используется многими виртуальными организациями, для деятельности которых требуется оперативный доступ, хранение и обработка больших и сверхбольших объемов информации в таких областях, как физика высоких энергий, биоинформатика, медицина, науки о Земле, астрофизика, нанотехнологии, мульмедиа, бизнес-приложения и т.д. В сборнике статей известных специалистов «The Fourth Paradigm; Data-Intensive Scientific Discovery» под редакцией Т. Хей, С. Танслей и К.Толл [26] дается широкий обзор применений грид-технологий для научных приложений, а статья В. Беднякова и В. Коренькова посвящена перспективам использования грид-технологий в промышленности и бизнесе [27]. В 2010 году проект EGEE завершился и развитие грид-технологий в Европе продолжается в рамках проекта EGI (Европейская грид инициатива, European Grid Initiative - http://www.egi.eu.), основой которого является координация и интеграция развития национальных грид инициатив National Grid Initiatives (NGI). Для обеспечения полномасштабного участия России в европейском проекте EGEE был образован консорциум РДИГ (Российский грид для интенсивных операций с данными - Russian Data Intensive Grid, RDIG -http://www.egee-rdig.ru), в рамках которого было организовано выполнение работ по этому проекту. Это способствовало созданию и развитию российского сегмента грид-инфраструктуры EGEE, который стал пионерским проектом в развитии грид-технологий в России [28, 29]. К этой деятельности активно подключились многие российские центры, в первую очередь участники экспериментов на БАК: ОИЯИ (Дубна), РНЦ «Курчатовский институт», НИИЯФ МГУ, ИТЭФ (Москва), ИФВЭ (Протвино), ПИЯФ (Гатчина), ИЛИ (Троицк), ФИАН (Москва). Также большую роль в становлении российской грид-инфраструктуры сыграл ИПМ им. Келдыша. В работах сотрудников ИПМ под руководством Д.А. Корягина и В.Н. Коваленко [30, 31, 32, 33, 34] выполнен комплекс пионерских работ в области развития системы управления заданиями в распределенной •* » t I » Hl t t I Л1 Ч ' i M (i вычислительной среде, в том числе был разработан «Метадиспетчер» [35,36]. В решение проблемы применения грид-технологий в области вычислительной химии большой вклад внесла группа сотрудников из ИПХФ (Черноголовка) во главе с В.М. Волоховым [37]. В развитие концепции распределенных вычислительных сред и приложений большой вклад внес коллектив Института системного анализа РАН во главе с А.П. Афанасьевым [38, 39]. Коллектив НИВЦ МГУ во главе с Вл.В. Воеводиным развивает параллельные вычисления и методы повышения эффективности функционирования крупных суперкомпьютерных центров, а также проблемы интеграции суперкомпьютерных центров [2, 40, 41]. В Межведомственном суперкомпьютерном центре РАН под руководством Г.И. Савина ведутся работы по развитию грид-инфраструктуры суперкомпьютерных центров для параллельных приложений [198]. Проблемы выбора архитектуры построения распределенных гетерогенных систем, методы планирования заданий в распределенных системах, оценки эффективности функционирования вычислительных комплексов отражены в работах известных российских специалистов A.B. Богданова [42], В.В. Топоркова [43], А.О. Лациса [44], B.В. Корнеева [45] и многих других. Работы по развитию облачных вычислений для научных приложений выполняются в крупных научных центрах (например, в Fermilab [196] или GSI [195]) , а в России в этом направлении активно работают коллективы под руководством В.П. Иванникова [199], A.B. Богданова [193]. Большую роль в этих масштабных проектах играют информационно-вычислительные комплексы институтов и университетов разных стран, которые являются ресурсными центрами (грид-сайтами) глобальной системы распределенных вычислений. В географически распределенной системе вопросы эффективности и надежности всей инфраструктуры тесно связаны с <, V ) V I - , 1 , 1 '•> ' 'И I ; ) ' и f-'/'i iu м ,1< ¡1» 1 ^ 1 1 * '' ' 1,1 качеством функционирования каждого ресурсного центра, входящего в эту систему. Технологии разработки программного обеспечения и управления программными проектами представлены в классических монографиях Э.Брауди [200], Р.Фатрепп [201], Л.Басс [202]. Информационно-вычислительная инфраструктура Объединенного института ядерных исследований (ОИЯИ) прошла в своем развитии много этапов [47, 48, 49], а в настоящее время является крупнейшим в России (РДИГ) ресурсным центром в составе глобальной грид-инфраструктуры ХУЪСО/ЕСЕЕ/ЕО!, который обеспечивает поддержку виртуальных организаций крупнейших международных проектов, в том числе экспериментов на БАК [50, 51, 52, 53, 54]. Основные направления развития грид-технологий в ОИЯИ представлены на портале grid.jinr.ru [192]. Кроме экспериментов на БАК сотрудники ОИЯИ участвуют в экспериментах на базовых установках ОИЯИ и в других научных центрах мира [46]. Полным ходом идет подготовка проекта создания ускорительного комплекса НИКА (http://nica.jinr.ru). Все вышеперечисленные направления исследований требуют организации компьютинга для полноценного участия специалистов института и других стран в физических экспериментах ОИЯИ и международных коллаборациях. Поэтому сетевая и информационно-вычислительная инфраструктура ОИЯИ должна удовлетворять требованиям научно-исследовательской программы Института, быть базовым сегментом российской и мировой системы распределенных вычислений и единого информационного пространства институтов стран-участниц ОИЯИ. Компьютерная инфраструктура ОИЯИ прошла в своем развитии несколько этапов и представляет собой сложную программно-аппаратную систему, в которой используется большое разнообразие архитектур, платформ, операционных систем, сетевых протоколов и программных продуктов. Это накладывает противоречивые требования на интероперабельность, унификацию пользовательского интерфейса, адаптацию и оптимизацию потоков данных и задач, решаемых в рамках физических экспериментов. Функциональные требования к вычислительному комплексу отличаются для разных экспериментов и групп пользователей в силу различия моделей компьютинга, потребностей в ресурсах, специфики решаемых задач, специализации программного обеспечения и т.д. Алгоритмы планирования и управления потоком заданий на локальных кластерах и суперкомпьютерах достаточно хорошо исследованы и апробированы. А вопросы эффективного управления потоком заданий и данных на ресурсном центре в составе грид-инфраструктуры пока еще находятся в стадии исследований. Существуют методы оценки эффективности и надежности функционирования локального вычислительного комплекса или ресурсного центра (грид-сайта) в составе распределенной грид-инфраструктуре, но пока нет общепринятой интегральной оценки эффективности грид-сайта. В созданной иерархической инфраструктуре ресурсных центров разного уровня \VLCG для экспериментов на БАК постоянно растут потоки передаваемых данных и количество заданий пользователей, что приводит к замедлению анализа данных. Это приводит к необходимости совершенствования модели компьютинга в соответствии с требованиями со стороны виртуальных организаций и пользователей экспериментов на БАК. Для новых крупных научных проектов необходимо совершенствовать модели компьютинга при проектировании распределенной компьютерной инфраструктуры (например, для экспериментов на ускорительном комплексе НИКА). Высокопроизводительные вычисления, выполняемые для получения практического результата, связаны с хранением и обработкой большого количества информации. По прогнозам, общее количество данных будет расти быстрее, чем указывает закон Мура, и вырастет в 75 раз в следующем десятилетии. Так, например, объемы данных обрабатываемых для экспериментов на БАК за первые два года работы уже превышают сто пятьдесят петабайтов (РВ) и насчитывают сотни миллионов файлов. Объемы хранилищ данных будут расти очень быстро, и это может создать узкое место в разработках, когда потребности в информации будут ограничены возможностью её хранения и предоставления доступа к ней. Наборы данных экзабайтного масштаба уже сейчас планируются для основных перспективных научных проектов. Их анализ и визуализация являются ограничивающими факторами в достижении понимания результатов обработки и моделирования. Увеличивающиеся масштаб и сложность, как моделирования, так и наборов данных, которые при этом возникают, станут ключевым фактором программы исследований в сфере анализа данных и их визуализации. Это требует новых подходов к интеграции вычислений, анализу (включая интерактивный) и визуализации сверхбольших наборов данных. Постоянно растущие объёмы научных данных ставят новые задачи перед технологиями распределённых вычислений и Грид [55]. Набирающая размах революция Больших Данных (Big Data) ведёт к открытиям в самых различных областях науки, включая нанотехнологии, астрофизику, физику высоких энергий, биологию и медицину. Новые проекты и разработки преображают исследования, основанные на данных, расширяя границы применения Больших Данных и требуя массивной обработки данных новыми методами [56]. Таким образом, задача совершенствования системы управления сверхбольшими хранилищами данных в гетерогенной распределенной вычислительной среде приобретает все более высокую актуальность [57]. На начальных этапах внедрения грид-систем этой проблеме не уделялось достаточного внимания, в результате чего были разработаны и внедрены только отдельные ее компоненты (системы передачи данных, различные модели каталогов). V ' М и' ml ,), \ >• t' I | U ' lv i I JI - W ' V >• « I « Практическое использование грид-систем показало недостаточность разработанных компонент, возник целый ряд нерешенных задач: отсутствие систем автоматической репликации данных, отсутствие или усложнённые системы учета и мониторинга. Таким образом, возникает актуальная проблема, связанная с необходимостью разработки методологии функционирования и развития ресурсных центров глобальной грид-инфраструктуры, для повышения их эффективности при постоянном увеличении потоков задач и управления сверхбольшими объемами данных. Цель диссертационного исследования Целью диссертационной работы является разработка методологии развития научного информационно - вычислительного комплекса в составе глобальной грид-инфраструктуры для повышения эффективности и надежности его функционирования с учетом требований проектов, связанных с обработкой и хранением больших и сверхбольших объемов информации. Основными задачами, решаемыми в работе, являются: 1. Обоснование концепции организации научно-исследовательского информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры. 2. Разработка архитектуры, структурной схемы построения крупного информационно-вычислительного комплекса, являющего ресурсным центром глобальной грид-инфраструктуры. 3. Развитие модели компьютинга крупных научных проектов, связанных с хранением и обработкой больших объемов информации (БАК, НИКА). 4. Разработка интегральной оценки эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры с учетом основных показателей качества работы. о 5. Разработка универсальной архитектуры системы мониторинга и статистического учета ресурсов, сервисов, задач, пользователей, виртуальных организаций для повышения эффективности и надежности функционирования глобальной грид-инфраструктуры и ресурсных центров. Научная новизна работы 1. Разработаны концепция, архитектура, структурная схема научно-исследовательского высокопроизводительного вычислительного комплекса, который является ресурсным центром глобальной грид-инфраструктуры и сочетает новые возможности для локальных пользователей и пользователей виртуальных организаций различных грид-сред. 2. В рамках эволюции модели компьютинга для экспериментов на Большом адронном коллайдере проработана архитектура нового инфраструктурного слоя Т1егЗ, который расширяет возможности для анализа данных пользователям крупных коллабораций. 3. Создана базовая модель компьютинга экспериментов на коллайдере НИКА, позволяющая осуществлять различные стратегии управления потоками данных и задач. 4. Разработана интегральная оценка эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры. 5. Впервые разработана многоуровневая система грид-мониторинга ресурсов, сервисов, задач, виртуальных организаций и пользователей, представляющая инструментальные средства для повышения эффективности, качества и надежности распределенных систем. Защищаемые положения 1. Разработанные концепция, архитектура, структурная схема научного вычислительного комплекса снимают противоречия в требованиях разных групп пользователей, улучшают функциональные характеристики комплекса. 2. Развитая модель компьютинга Большого адронного коллайдера с введением нового инфраструктурного слоя Tier3 расширяют возможности для анализа данных пользователями крупных коллабораций 3. Базовая модель компьютинга проекта НИКА позволяет выполнить анализ различных сценариев и выбрать наиболее эффективное решение для построения распределенной системы обработки и хранения информации экспериментов на коллайдере НИКА. 4. Разработанная интегрированная оценка эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры позволяет повысить объективность принятия решений по устранению недостатков в работе ресурсного центра и его развитию. 5. Разработанная архитектура и созданная на ее основе комплексная система грид-мониторинга (ресурсов, сервисов, задач, виртуальных организаций, пользователей) повышают эффективность и надежность функционирования грид-инфраструктур и служит основой для прогнозирования их развития. Практическая значимость 1. На основе разработанной в диссертации концепции, архитектуры, структурной схемы научно-исследовательского высокопроизводительного вычислительного комплекса создан ресурсный центр в составе грид-инфраструктуры, активно востребованный пользователями грид: только за 8 месяцев 2012 года в ОИЯИ было выполнено более 5 миллионов задач, а потребление процессорного времени при этом составило более 100 миллионов часов в единицах HEPSpec06. 2. Развитая модель компьютинга БАК использована в ОИЯИ при создании программно-аппаратной среды для пользователей экспериментов ATLAS, CMS и ALICE, что обеспечило участие специалистов в работах по массовому моделированию физических событий, обработке и анализу реальных данных с действующих установок БАК. i у > , W С I Y ¡1 и Л » M ill. J'V M i'1 f'hl "il y> pW ,4 3. На базе разработанной архитектуры создан комплекс систем грид-мониторинга и статистического учета (ресурсов, сервисов, задач, виртуальных организаций, пользователей), включающий: • мониторинг и учет ресурсов Российской грид-инфраструктуры РДИГ; • мониторинг сервиса передачи файлов (FTS); • мониторинг вычислительного комплекса ОИЯИ; • мониторинг функционирования глобальной инфраструктуры WLCG в реальном масштабе времени с применением интерфейса Google Earth; • мониторинг и учет национальной нанотехнологической сети ГридННС; • мониторинг ресурсов проекта «СКИФ-ГРИД»; • мониторинг и учет ресурсов Российской грид-сети (РГС); • мониторинг центров анализа информации уровня Tier3 в модели компьютинга БАК; • мониторинг передачи данных в инфраструктуре проекта WLCG. Реализация результатов работы Результаты диссертации были получены под руководством и личном участии соискателя в следующих международных проектах: EDG (проект Европейской DataGrid-инфраструктуры), WLCG: проект грид для Большого адронного коллайдера (Worldwide LHC Computing Grid), EGEE: развертывание грид-систем для научных исследований (The Enabling Grids for E-sciencE), СКИФ-Грид (программа развития высокопроизводительных вычислений союзного государства Россия - Беларусь), EGI-InSPARE (проект развития европейской грид-инфраструктуры). Автор диссертации внес определяющий вклад при выполнении ряда национальных российских проектов, из которых как наиболее значительные можно выделить: «Разработка компьютинговой системы для развития грид-комплекса ЯиТ1ег2/РДИГ для проведения российскими институтами распределенного анализа данных экспериментов на Большом адронном коллайдере ЦЕРН в составе глобальной грид-системы WLCG/EGEE» (НИР), «Создание прототипа центра базовых грид-сервисов нового поколения для интенсивных операций с распределенными данными в федеральном масштабе» (ОКР), «ГридННС - инфраструктура региональных центров программы развития нанотехнологий и наноиндустрии» (ОКР). Основные направления работ по созданию и развитию информационно-вычислительного комплекса ОИЯИ и глобальной системы распределенных вычислений были поддержаны в период с 1995 года по 2012 год девятнадцатью грантами РФФИ. В настоящее время автор является руководителем двух международных проектов РФФИ: «Глобальная система мониторинга передачи данных в инфраструктуре проекта WLCG» и «Обработка данных в Т2-центрах ЛИТ ОИЯИ и ННЦ ХФТИ грид-инфраструктуры эксперимента CMS в условиях быстрого увеличения светимости Большого адронного коллайдера». Базовая модель компьютинга НИКА реализуется в проекте «Модель распределенной системы коллективного пользования для сбора, передачи и обработки сверхбольших объемов информации на основе технологии грид для ускорительного комплекса НИКА», а развитие модели компьютинга для экспериментов на БАК - в проекте «Создание автоматизированной системы обработки данных экспериментов на Большом адронном коллайдере (БАК) уровня Tierl и обеспечения грид-сервисов для распределенного анализа этих данных». Оба проекта реализуются в рамках федеральной целевой программы (ФЦП) Министерства образования и науки РФ "Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы", причем автор диссертации является руководителем в первом проекте и координатором от ОИЯИ во втором. Результаты диссертации используются при реализации совместных проектов ОИЯИ с организациями стран-участниц. Vb'^'f I I1 1 1 ' f ' ' II 1,1 I I'1' li • 1 ' l' V ri" ' .1 ' ' 1 t Апробация диссертации: Результаты работы являются итогом более чем 20-летней научной и организационной деятельности соискателя. Основные результаты диссертации докладывались и обсуждались на научных семинарах JIBTA (ЛИТ) и других подразделений ОИЯИ, университета «Дубна», на Международных совещаниях и конференциях в научных центрах и университетах России, Армении, Беларуси, Болгарии, Венгрии, Испании, Италии, Казахстана, Молдовы, Монголии, Польши, Румынии, Словакии, Украины, Узбекистана, Франции, ФРГ, Чехии, Швейцарии, в том числе: - Международные конференции "Computing in High Energy Physics» (CHEP): 1997 (Берлин, ФРГ), 2004 (Интерлакен, Швейцария), 2009 (Прага, Чехия); - Международные конференции "Математика. Компьютер. Образование", Дубна: 2000, 2002, 2004, 2006, 2008, 2010, 2012; - Международные конференции "Modem Trends in Computational Physics", Дубна (2000, 2009), Словакия (2011); - Всероссийская конференция "Научный сервис в сети ИНТЕРНЕТ", Новороссийск, 2000, 2002; - Всероссийская конференция "Высокопроизводительные вычисления и их приложения", Черноголовка, 2000; - Международная конференция "Решения по управлению данными в научных исследованиях", Дубна, 2001; - Международный конгресс по математическому моделированию, Дубна, 2002; - Международная конференция «Advanced computing and analysis techniques in physics research» (ACAT-2002), Москва, 2002; - Всероссийские конференции "Электронные библиотеки: перспективные методы и технологии, электронные коллекции" (RCDL), Дубна: 2002, 2008, 2012; - Сессия отделений информатики и математики РАН, Москва, 2003; - Международные конференции RDMS CMS: Дубна (2003), Минск, Беларусь (2004), Варна, Болгария (2006), Дубна (2009), Варна, Болгария (2010); - Конференция «Телематика-2006», Санкт-Петербург, 2006; - Международная конференция «GRID Activities within Large Scale International Collaborations», Синая, Румыния, 2006; - Международная конференция Open Grid Forum и EGEE User Forum, Манчестер, Англия, 2007; - Международное совещание "Physics and Computing at ATLAS", Дубна, 2008; - Международная конференция "Distributed Computing before and during LHC data-taking", Москва, 2008; - Международная конференция «Украинский академический грид» (УАГ-2009), Киев, 2009; - Международная конференция «Annual Meeting of the Romanian LCG Federation», Бухарест, Румыния: 2009, 2010; - Международная конференция "Telecommunications, Electronics and Informatics" (ICTEI 2010), Кишинев, Молдова, 2010; - Международное совещание по компьютингу коллаборации эксперимента ATLAS, Дубна, 2011; - Международное совещание "Perspectives on Physics on CMS at Very High Luminosity, HL-LHC", Алушта, 2012. Соискатель являлся сопредседателем оргкомитета шести международных симпозиумов по ядерной электронике и компьютингу (Варна, Болгария) в 2001, 2003, 2005, 2007, 2009 и 2011 году, а также заместителем председателя пяти международных конференций «Распределенные вычисления и Грид-технологии в науке и образовании» (Дубна) в 2004, 2006, 2008, 2010 и 2012 году, на которых представлялись результаты настоящей диссертации. Публикации и личный вклад автора Изложенные в диссертации результаты получены соискателем в результате его многолетней научной и организационной работы по развитию и совершенствованию информационно-вычислительного комплекса ОИЯИ и внедрению современных систем распределенных вычислений в масштабе России и стран-участниц ОИЯИ. Все исследовательские работы и разработки по теме диссертации - от постановки задачи и выбора методики до получения результатов - были выполнены под непосредственным руководством соискателя, и его вклад является определяющим. Немаловажным при принятии решений о развитии информационно-вычислительного комплекса ОИЯИ как базового сегмента глобальной системы распределенных вычислений являлось активное участие соискателя в работе ряда международных и российских комитетов и рабочих групп, занимающихся выработкой концептуальных решений в сфере вычислительной техники и сетевых коммуникаций. По теме диссертации автором опубликовано 87 печатных работ, в том числе 41 работа по основным результатам (из них 13 работ в изданиях из перечня ведущих рецензируемых научных изданий, рекомендованного ВАК РФ для публикации основных результатов диссертаций). Также результаты работы опубликованы в отчетах по руководимым автором инфраструктурным проектам в рамках Федеральных целевых программ и проектам, поддержанных РФФИ. Структура и объем диссертации Диссертация состоит из введения, пяти глав, заключения, списка литературы из 202 наименований; полный объем работы составляет 260 страниц. Научная библиотека диссертаций и авторефератов disserCat http://www.dissercat.com/content/metodologiya-razvitiya-nauchnogo-informatsionno-vychislitelnogo-kompleksa-v-sostave-globalno#ixzz4IGU7fXtg
id cern-2209600
institution Organización Europea para la Investigación Nuclear
language rus
publishDate 2016
record_format invenio
spelling cern-22096002019-09-30T06:29:59Zhttp://cds.cern.ch/record/2209600rusKorenkov, VladimirМетодология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктурыИнтенсивное использование информационных и вычислительных технологий существенно изменило методику получения знаний и привело к тому, что информационно-вычислительное обеспечение стало важнейшей составляющей научной инфраструктуры. Возникшие на базе компьютерных сетей нового поколения современные распределенные информационно-вычислительные системы открыли принципиально новые возможности организации научной деятельности. Взятый курс на модернизацию и технологическое развитие экономики России требует существенно более активного использования информационно-коммуникационных технологий. Одним из наиболее интенсивно развивающихся направлений являются технологии распределенных и параллельных вычислений, охватывающие широкий спектр применений: от научных комплексов высокопроизводительных вычислений до систем производства высокотехнологичной и конкурентоспособной продукции. В классической монографии Э.Таненбаума и М. ван Стеен представлен обзор принципов и парадигм распределенных систем [1]. В монографии В.В. Воеводина и В л.В.Воеводина [2] выполнен качественный анализ технологий, архитектур и алгоритмов параллельных вычислений. Развитие исследований в физике высоких энергий, астрофизике, биологии, науках о Земле и других научных отраслях требует совместной работы многих организаций по обработке большого объема данных в относительно короткие сроки. Для этого необходимы географически распределенные вычислительные системы, способные передавать и принимать данные порядка сотен терабайт в сутки, одновременно обрабатывать сотни тысяч задач и долговременно хранить сотни петабайт данных. Развитие технологий обработки данных в физике высоких энергий от кластеров до грид-технологий представлены в классических обзорах Рене Брана [3] и Леса Робертсона [4]. Грид - географически распределенная инфраструктура, предназначенная для обеспечения надежного, устойчивого, повсеместного и недорогого доступа к компьютерным ресурсам разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), на основе их скоординированного разделения. Грид предполагает коллективный разделяемый режим доступа к ресурсам и связанным с ними услугам в рамках глобально распределенных виртуальных организаций, состоящих из предприятий и отдельных специалистов, совместно использующих общие ресурсы. В каждой виртуальной организации имеется своя собственная политика поведения ее участников, которые должны соблюдать установленные правила. Современные грид-инфраструктуры обеспечивают интеграцию аппаратных и программных ресурсов, находящихся в разных организациях в масштабах стран, регионов, континентов в единую вычислительную среду, позволяющую решать задачи по обработке сверхбольших объемов данных, чего в настоящее время невозможно достичь в локальных вычислительных центрах. Наиболее впечатляющие результаты по организации глобальной инфраструктуры распределенных вычислений получены в проекте WLCG (Worldwide LHC Computing Grid или Всемирный грид для Большого адронного коллайдера http://wlcg.web.cern.ch/) в Европейской организации ядерных исследований (ЦЕРН, http://www.cern.ch/) при обработке данных с экспериментов на LHC (Large Hadron Collider) или БАК (Большой адронный коллайдер). На семинаре 4 июля 2012 года, посвященном наблюдению частицы, похожей на бозон Хиггса, директор ЦЕРН Р. Хойер дал высокую оценку грид-технологиям и их значимости для мировой науки. Гридинфраструктура на БАК позволила обрабатывать и хранить колоссальный объем данных, поступающих от экспериментов на коллайдере, и, следовательно, совершать научные открытия. В настоящее время ни один крупный научный проект не осуществим без использования распределенной инфраструктуры для обработки и хранения данных. Результаты по наблюдению новой частицы, полученные на экспериментальных установках CMS и ATLAS, опубликованы в статьях [5, 6], а роль распределенной компьютерной инфраструктуры в открытии новой частицы отмечена в работе А. Климентова и В. Коренькова [7]. Первым шагом по развитию грид-технологий стал проект Globus (http://www.globus.org/), который выполнялся в середине 90-х годов в Аргонской национальной лаборатории США под руководством Яна Фостера и Карла Кесельмана, которые по праву считаются основателями грид. Значительным результатом этой деятельности было создание версии пакета Globus Toolkit, который стал важнейшим инструментарием для построения грид-инфраструктуры. Данный инструментарий охватывает вопросы обнаружения и защиты информации, управления данными и ресурсами, вопросы коммуникаций и обнаружения ошибок и т.д. Соответствующие механизмы оформлены как службы, которые выполняют различные операции в грид - приложениях. Книга, написанная Яном Фостером и Карлом Кесельманом «GRID: a Blueprint to the New Computing Infrastructure» [8] в 1999 году положила начало распространению грид-технологий в мире. Во многих последующих работах они развивали эти идеи, принципы, архитектурные подходы, наиболее значимые из которых представлены в публикациях [9, 10, 11, 12, 13]. В 1998 году в рамках проекта MONARC (Models of Networked Analysis at Regional Centres for LHC Experiments http://monarc.web.cern.ch/MONARC), большим коллективом разработчиков разрабатывалась модель компьютинга для экспериментов на БАК [14] и специальный пакет для симуляции этой модели [15]. Под компьютингом понимается применение средств il >',11 «'' ' *>N \ 1 ' Ч\ i " ' • i! 'и Ч 1 h'„ 1 '' '' if ''»i » ' 1 't. I ' ■ I I Aiv'.A'К'.!' .■,'■ ■■ ■ .>■' ■■' r '"■!',.' v. i.'.;.'.' ! -w.'>■■ ■:.г ;vr .■■■*;"■'■;, ; : ';.ii'lni1' Ч«"/':'' ."'.l'.v-'Vi!;.''!,;:: ;i'I."''■•.: . ¡v/i. ,J•'^'l^'í¡^,,"î:i.'.'¡SiV' 'i'':,'1 ■ '' . J1 ; •' .,-".-'''■ ■■ вычислительной техники и систем связи для организации сбора, хранения и обработки информации в научных исследованиях. Задача организации компьютинга была очень сложной, поскольку требовалось: • обеспечить быстрый доступ к массивам данных колоссального объема; • обеспечить прозрачный доступ к географически распределенным ресурсам; • создать протяженную надежную сетевую инфраструктуру в гетерогенной среде. В рамках проекта МСЖАЛС была разработана базовая модель компьютинга для экспериментов на БАК как иерархическая централизованная структура региональных центров, включающая в себя центры нескольких уровней. Экспериментальные данные записываются и хранятся в ЦЕРН, а потом передаются для хранения и обработки в региональные центры различного уровня, что дает возможность более эффективно использовать распределенные ресурсы и обеспечивать физикам доступ к данным в различных странах. Возникла проблема разработки базовых моделей вычислений, включая стратегию, приоритеты и политику для эффективного анализа данных международными сообществами. Применение грид - технологий позволяет существенно расширить возможности этой модели, а также повысить эффективность использования ресурсов региональных центров, надежность хранения информации путем хранения копий баз данных в различных региональных центрах. Одним из первых масштабных проектов по развитию грид-технологий в Европе был проект ЕЭС (с 2001 по 2003 годы), в котором участвовали крупные научные центры из 14 европейских стран (в том числе из России) с целью разработки архитектуры и создания прототипа глобальной инфраструктуры нового поколения для обработки огромных массивов информации. Первые статьи о необходимости создания грид-инфраструктуры в России [16, 17, 18] вызвали большой интерес к этой проблеме у научной общественности. Первые шаги построения тестовой грид-среды и первые результаты участия России в проекте EDG были представлены наряде конференций [19, 20, 21]. С 2002 года распределенная компьютерная инфраструктура для экспериментов на БАК реализуется в проекте "LHC Computing GRID" (LCG) [24], который с 2007 года называется "Worldwide LHC Computing GRID" (WLCG). В самом названии проекта подчеркивается особая роль грид-технологий. В проекте WLCG можно выделить два направления: ресурсы и программное обеспечение. К первому направлению относятся вопросы архитектуры системы региональных центров, соответствующие принятой распределенной иерархической модели. Ко второму направлению относятся вопросы интеграции региональных центров на основе промежуточного программного обеспечения с предоставлением базовых и прикладных сервисов для эффективной поддержки виртуальных организаций и пользователей. С 2003 года российские интституты и ОИЯИ включились в работу по проекту WLCG [25]. В 2004 году начался масштабный европейский проект развертывания грид-систем для научных исследований - EGEE (Enabling Grids for E-science in Europe, http://www.eu-egee.org). Главная цель проекта EGEE - создание, координация и эксплуатация международной грид-инфраструктуры промышленного уровня, предназначенной для работы пользователей, представляющих самые разные направления деятельности. Эта инфраструктура объединяет существующие национальные, региональные и тематические инициативы в области грид-технологий для интеграции ресурсов и сервисов. Такая инфраструктура, основанная на грид-технологиях, упрощает сотрудничество между географически распределёнными сообществами и позволяет им совместно пользоваться компьютерными ресурсами и данными. Созданная глобальная грид-инфраструктура используется многими виртуальными организациями, для деятельности которых требуется оперативный доступ, хранение и обработка больших и сверхбольших объемов информации в таких областях, как физика высоких энергий, биоинформатика, медицина, науки о Земле, астрофизика, нанотехнологии, мульмедиа, бизнес-приложения и т.д. В сборнике статей известных специалистов «The Fourth Paradigm; Data-Intensive Scientific Discovery» под редакцией Т. Хей, С. Танслей и К.Толл [26] дается широкий обзор применений грид-технологий для научных приложений, а статья В. Беднякова и В. Коренькова посвящена перспективам использования грид-технологий в промышленности и бизнесе [27]. В 2010 году проект EGEE завершился и развитие грид-технологий в Европе продолжается в рамках проекта EGI (Европейская грид инициатива, European Grid Initiative - http://www.egi.eu.), основой которого является координация и интеграция развития национальных грид инициатив National Grid Initiatives (NGI). Для обеспечения полномасштабного участия России в европейском проекте EGEE был образован консорциум РДИГ (Российский грид для интенсивных операций с данными - Russian Data Intensive Grid, RDIG -http://www.egee-rdig.ru), в рамках которого было организовано выполнение работ по этому проекту. Это способствовало созданию и развитию российского сегмента грид-инфраструктуры EGEE, который стал пионерским проектом в развитии грид-технологий в России [28, 29]. К этой деятельности активно подключились многие российские центры, в первую очередь участники экспериментов на БАК: ОИЯИ (Дубна), РНЦ «Курчатовский институт», НИИЯФ МГУ, ИТЭФ (Москва), ИФВЭ (Протвино), ПИЯФ (Гатчина), ИЛИ (Троицк), ФИАН (Москва). Также большую роль в становлении российской грид-инфраструктуры сыграл ИПМ им. Келдыша. В работах сотрудников ИПМ под руководством Д.А. Корягина и В.Н. Коваленко [30, 31, 32, 33, 34] выполнен комплекс пионерских работ в области развития системы управления заданиями в распределенной •* » t I » Hl t t I Л1 Ч ' i M (i вычислительной среде, в том числе был разработан «Метадиспетчер» [35,36]. В решение проблемы применения грид-технологий в области вычислительной химии большой вклад внесла группа сотрудников из ИПХФ (Черноголовка) во главе с В.М. Волоховым [37]. В развитие концепции распределенных вычислительных сред и приложений большой вклад внес коллектив Института системного анализа РАН во главе с А.П. Афанасьевым [38, 39]. Коллектив НИВЦ МГУ во главе с Вл.В. Воеводиным развивает параллельные вычисления и методы повышения эффективности функционирования крупных суперкомпьютерных центров, а также проблемы интеграции суперкомпьютерных центров [2, 40, 41]. В Межведомственном суперкомпьютерном центре РАН под руководством Г.И. Савина ведутся работы по развитию грид-инфраструктуры суперкомпьютерных центров для параллельных приложений [198]. Проблемы выбора архитектуры построения распределенных гетерогенных систем, методы планирования заданий в распределенных системах, оценки эффективности функционирования вычислительных комплексов отражены в работах известных российских специалистов A.B. Богданова [42], В.В. Топоркова [43], А.О. Лациса [44], B.В. Корнеева [45] и многих других. Работы по развитию облачных вычислений для научных приложений выполняются в крупных научных центрах (например, в Fermilab [196] или GSI [195]) , а в России в этом направлении активно работают коллективы под руководством В.П. Иванникова [199], A.B. Богданова [193]. Большую роль в этих масштабных проектах играют информационно-вычислительные комплексы институтов и университетов разных стран, которые являются ресурсными центрами (грид-сайтами) глобальной системы распределенных вычислений. В географически распределенной системе вопросы эффективности и надежности всей инфраструктуры тесно связаны с <, V ) V I - , 1 , 1 '•> ' 'И I ; ) ' и f-'/'i iu м ,1< ¡1» 1 ^ 1 1 * '' ' 1,1 качеством функционирования каждого ресурсного центра, входящего в эту систему. Технологии разработки программного обеспечения и управления программными проектами представлены в классических монографиях Э.Брауди [200], Р.Фатрепп [201], Л.Басс [202]. Информационно-вычислительная инфраструктура Объединенного института ядерных исследований (ОИЯИ) прошла в своем развитии много этапов [47, 48, 49], а в настоящее время является крупнейшим в России (РДИГ) ресурсным центром в составе глобальной грид-инфраструктуры ХУЪСО/ЕСЕЕ/ЕО!, который обеспечивает поддержку виртуальных организаций крупнейших международных проектов, в том числе экспериментов на БАК [50, 51, 52, 53, 54]. Основные направления развития грид-технологий в ОИЯИ представлены на портале grid.jinr.ru [192]. Кроме экспериментов на БАК сотрудники ОИЯИ участвуют в экспериментах на базовых установках ОИЯИ и в других научных центрах мира [46]. Полным ходом идет подготовка проекта создания ускорительного комплекса НИКА (http://nica.jinr.ru). Все вышеперечисленные направления исследований требуют организации компьютинга для полноценного участия специалистов института и других стран в физических экспериментах ОИЯИ и международных коллаборациях. Поэтому сетевая и информационно-вычислительная инфраструктура ОИЯИ должна удовлетворять требованиям научно-исследовательской программы Института, быть базовым сегментом российской и мировой системы распределенных вычислений и единого информационного пространства институтов стран-участниц ОИЯИ. Компьютерная инфраструктура ОИЯИ прошла в своем развитии несколько этапов и представляет собой сложную программно-аппаратную систему, в которой используется большое разнообразие архитектур, платформ, операционных систем, сетевых протоколов и программных продуктов. Это накладывает противоречивые требования на интероперабельность, унификацию пользовательского интерфейса, адаптацию и оптимизацию потоков данных и задач, решаемых в рамках физических экспериментов. Функциональные требования к вычислительному комплексу отличаются для разных экспериментов и групп пользователей в силу различия моделей компьютинга, потребностей в ресурсах, специфики решаемых задач, специализации программного обеспечения и т.д. Алгоритмы планирования и управления потоком заданий на локальных кластерах и суперкомпьютерах достаточно хорошо исследованы и апробированы. А вопросы эффективного управления потоком заданий и данных на ресурсном центре в составе грид-инфраструктуры пока еще находятся в стадии исследований. Существуют методы оценки эффективности и надежности функционирования локального вычислительного комплекса или ресурсного центра (грид-сайта) в составе распределенной грид-инфраструктуре, но пока нет общепринятой интегральной оценки эффективности грид-сайта. В созданной иерархической инфраструктуре ресурсных центров разного уровня \VLCG для экспериментов на БАК постоянно растут потоки передаваемых данных и количество заданий пользователей, что приводит к замедлению анализа данных. Это приводит к необходимости совершенствования модели компьютинга в соответствии с требованиями со стороны виртуальных организаций и пользователей экспериментов на БАК. Для новых крупных научных проектов необходимо совершенствовать модели компьютинга при проектировании распределенной компьютерной инфраструктуры (например, для экспериментов на ускорительном комплексе НИКА). Высокопроизводительные вычисления, выполняемые для получения практического результата, связаны с хранением и обработкой большого количества информации. По прогнозам, общее количество данных будет расти быстрее, чем указывает закон Мура, и вырастет в 75 раз в следующем десятилетии. Так, например, объемы данных обрабатываемых для экспериментов на БАК за первые два года работы уже превышают сто пятьдесят петабайтов (РВ) и насчитывают сотни миллионов файлов. Объемы хранилищ данных будут расти очень быстро, и это может создать узкое место в разработках, когда потребности в информации будут ограничены возможностью её хранения и предоставления доступа к ней. Наборы данных экзабайтного масштаба уже сейчас планируются для основных перспективных научных проектов. Их анализ и визуализация являются ограничивающими факторами в достижении понимания результатов обработки и моделирования. Увеличивающиеся масштаб и сложность, как моделирования, так и наборов данных, которые при этом возникают, станут ключевым фактором программы исследований в сфере анализа данных и их визуализации. Это требует новых подходов к интеграции вычислений, анализу (включая интерактивный) и визуализации сверхбольших наборов данных. Постоянно растущие объёмы научных данных ставят новые задачи перед технологиями распределённых вычислений и Грид [55]. Набирающая размах революция Больших Данных (Big Data) ведёт к открытиям в самых различных областях науки, включая нанотехнологии, астрофизику, физику высоких энергий, биологию и медицину. Новые проекты и разработки преображают исследования, основанные на данных, расширяя границы применения Больших Данных и требуя массивной обработки данных новыми методами [56]. Таким образом, задача совершенствования системы управления сверхбольшими хранилищами данных в гетерогенной распределенной вычислительной среде приобретает все более высокую актуальность [57]. На начальных этапах внедрения грид-систем этой проблеме не уделялось достаточного внимания, в результате чего были разработаны и внедрены только отдельные ее компоненты (системы передачи данных, различные модели каталогов). V ' М и' ml ,), \ >• t' I | U ' lv i I JI - W ' V >• « I « Практическое использование грид-систем показало недостаточность разработанных компонент, возник целый ряд нерешенных задач: отсутствие систем автоматической репликации данных, отсутствие или усложнённые системы учета и мониторинга. Таким образом, возникает актуальная проблема, связанная с необходимостью разработки методологии функционирования и развития ресурсных центров глобальной грид-инфраструктуры, для повышения их эффективности при постоянном увеличении потоков задач и управления сверхбольшими объемами данных. Цель диссертационного исследования Целью диссертационной работы является разработка методологии развития научного информационно - вычислительного комплекса в составе глобальной грид-инфраструктуры для повышения эффективности и надежности его функционирования с учетом требований проектов, связанных с обработкой и хранением больших и сверхбольших объемов информации. Основными задачами, решаемыми в работе, являются: 1. Обоснование концепции организации научно-исследовательского информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры. 2. Разработка архитектуры, структурной схемы построения крупного информационно-вычислительного комплекса, являющего ресурсным центром глобальной грид-инфраструктуры. 3. Развитие модели компьютинга крупных научных проектов, связанных с хранением и обработкой больших объемов информации (БАК, НИКА). 4. Разработка интегральной оценки эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры с учетом основных показателей качества работы. о 5. Разработка универсальной архитектуры системы мониторинга и статистического учета ресурсов, сервисов, задач, пользователей, виртуальных организаций для повышения эффективности и надежности функционирования глобальной грид-инфраструктуры и ресурсных центров. Научная новизна работы 1. Разработаны концепция, архитектура, структурная схема научно-исследовательского высокопроизводительного вычислительного комплекса, который является ресурсным центром глобальной грид-инфраструктуры и сочетает новые возможности для локальных пользователей и пользователей виртуальных организаций различных грид-сред. 2. В рамках эволюции модели компьютинга для экспериментов на Большом адронном коллайдере проработана архитектура нового инфраструктурного слоя Т1егЗ, который расширяет возможности для анализа данных пользователям крупных коллабораций. 3. Создана базовая модель компьютинга экспериментов на коллайдере НИКА, позволяющая осуществлять различные стратегии управления потоками данных и задач. 4. Разработана интегральная оценка эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры. 5. Впервые разработана многоуровневая система грид-мониторинга ресурсов, сервисов, задач, виртуальных организаций и пользователей, представляющая инструментальные средства для повышения эффективности, качества и надежности распределенных систем. Защищаемые положения 1. Разработанные концепция, архитектура, структурная схема научного вычислительного комплекса снимают противоречия в требованиях разных групп пользователей, улучшают функциональные характеристики комплекса. 2. Развитая модель компьютинга Большого адронного коллайдера с введением нового инфраструктурного слоя Tier3 расширяют возможности для анализа данных пользователями крупных коллабораций 3. Базовая модель компьютинга проекта НИКА позволяет выполнить анализ различных сценариев и выбрать наиболее эффективное решение для построения распределенной системы обработки и хранения информации экспериментов на коллайдере НИКА. 4. Разработанная интегрированная оценка эффективности функционирования ресурсного центра в составе глобальной грид-инфраструктуры позволяет повысить объективность принятия решений по устранению недостатков в работе ресурсного центра и его развитию. 5. Разработанная архитектура и созданная на ее основе комплексная система грид-мониторинга (ресурсов, сервисов, задач, виртуальных организаций, пользователей) повышают эффективность и надежность функционирования грид-инфраструктур и служит основой для прогнозирования их развития. Практическая значимость 1. На основе разработанной в диссертации концепции, архитектуры, структурной схемы научно-исследовательского высокопроизводительного вычислительного комплекса создан ресурсный центр в составе грид-инфраструктуры, активно востребованный пользователями грид: только за 8 месяцев 2012 года в ОИЯИ было выполнено более 5 миллионов задач, а потребление процессорного времени при этом составило более 100 миллионов часов в единицах HEPSpec06. 2. Развитая модель компьютинга БАК использована в ОИЯИ при создании программно-аппаратной среды для пользователей экспериментов ATLAS, CMS и ALICE, что обеспечило участие специалистов в работах по массовому моделированию физических событий, обработке и анализу реальных данных с действующих установок БАК. i у > , W С I Y ¡1 и Л » M ill. J'V M i'1 f'hl "il y> pW ,4 3. На базе разработанной архитектуры создан комплекс систем грид-мониторинга и статистического учета (ресурсов, сервисов, задач, виртуальных организаций, пользователей), включающий: • мониторинг и учет ресурсов Российской грид-инфраструктуры РДИГ; • мониторинг сервиса передачи файлов (FTS); • мониторинг вычислительного комплекса ОИЯИ; • мониторинг функционирования глобальной инфраструктуры WLCG в реальном масштабе времени с применением интерфейса Google Earth; • мониторинг и учет национальной нанотехнологической сети ГридННС; • мониторинг ресурсов проекта «СКИФ-ГРИД»; • мониторинг и учет ресурсов Российской грид-сети (РГС); • мониторинг центров анализа информации уровня Tier3 в модели компьютинга БАК; • мониторинг передачи данных в инфраструктуре проекта WLCG. Реализация результатов работы Результаты диссертации были получены под руководством и личном участии соискателя в следующих международных проектах: EDG (проект Европейской DataGrid-инфраструктуры), WLCG: проект грид для Большого адронного коллайдера (Worldwide LHC Computing Grid), EGEE: развертывание грид-систем для научных исследований (The Enabling Grids for E-sciencE), СКИФ-Грид (программа развития высокопроизводительных вычислений союзного государства Россия - Беларусь), EGI-InSPARE (проект развития европейской грид-инфраструктуры). Автор диссертации внес определяющий вклад при выполнении ряда национальных российских проектов, из которых как наиболее значительные можно выделить: «Разработка компьютинговой системы для развития грид-комплекса ЯиТ1ег2/РДИГ для проведения российскими институтами распределенного анализа данных экспериментов на Большом адронном коллайдере ЦЕРН в составе глобальной грид-системы WLCG/EGEE» (НИР), «Создание прототипа центра базовых грид-сервисов нового поколения для интенсивных операций с распределенными данными в федеральном масштабе» (ОКР), «ГридННС - инфраструктура региональных центров программы развития нанотехнологий и наноиндустрии» (ОКР). Основные направления работ по созданию и развитию информационно-вычислительного комплекса ОИЯИ и глобальной системы распределенных вычислений были поддержаны в период с 1995 года по 2012 год девятнадцатью грантами РФФИ. В настоящее время автор является руководителем двух международных проектов РФФИ: «Глобальная система мониторинга передачи данных в инфраструктуре проекта WLCG» и «Обработка данных в Т2-центрах ЛИТ ОИЯИ и ННЦ ХФТИ грид-инфраструктуры эксперимента CMS в условиях быстрого увеличения светимости Большого адронного коллайдера». Базовая модель компьютинга НИКА реализуется в проекте «Модель распределенной системы коллективного пользования для сбора, передачи и обработки сверхбольших объемов информации на основе технологии грид для ускорительного комплекса НИКА», а развитие модели компьютинга для экспериментов на БАК - в проекте «Создание автоматизированной системы обработки данных экспериментов на Большом адронном коллайдере (БАК) уровня Tierl и обеспечения грид-сервисов для распределенного анализа этих данных». Оба проекта реализуются в рамках федеральной целевой программы (ФЦП) Министерства образования и науки РФ "Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы", причем автор диссертации является руководителем в первом проекте и координатором от ОИЯИ во втором. Результаты диссертации используются при реализации совместных проектов ОИЯИ с организациями стран-участниц. Vb'^'f I I1 1 1 ' f ' ' II 1,1 I I'1' li • 1 ' l' V ri" ' .1 ' ' 1 t Апробация диссертации: Результаты работы являются итогом более чем 20-летней научной и организационной деятельности соискателя. Основные результаты диссертации докладывались и обсуждались на научных семинарах JIBTA (ЛИТ) и других подразделений ОИЯИ, университета «Дубна», на Международных совещаниях и конференциях в научных центрах и университетах России, Армении, Беларуси, Болгарии, Венгрии, Испании, Италии, Казахстана, Молдовы, Монголии, Польши, Румынии, Словакии, Украины, Узбекистана, Франции, ФРГ, Чехии, Швейцарии, в том числе: - Международные конференции "Computing in High Energy Physics» (CHEP): 1997 (Берлин, ФРГ), 2004 (Интерлакен, Швейцария), 2009 (Прага, Чехия); - Международные конференции "Математика. Компьютер. Образование", Дубна: 2000, 2002, 2004, 2006, 2008, 2010, 2012; - Международные конференции "Modem Trends in Computational Physics", Дубна (2000, 2009), Словакия (2011); - Всероссийская конференция "Научный сервис в сети ИНТЕРНЕТ", Новороссийск, 2000, 2002; - Всероссийская конференция "Высокопроизводительные вычисления и их приложения", Черноголовка, 2000; - Международная конференция "Решения по управлению данными в научных исследованиях", Дубна, 2001; - Международный конгресс по математическому моделированию, Дубна, 2002; - Международная конференция «Advanced computing and analysis techniques in physics research» (ACAT-2002), Москва, 2002; - Всероссийские конференции "Электронные библиотеки: перспективные методы и технологии, электронные коллекции" (RCDL), Дубна: 2002, 2008, 2012; - Сессия отделений информатики и математики РАН, Москва, 2003; - Международные конференции RDMS CMS: Дубна (2003), Минск, Беларусь (2004), Варна, Болгария (2006), Дубна (2009), Варна, Болгария (2010); - Конференция «Телематика-2006», Санкт-Петербург, 2006; - Международная конференция «GRID Activities within Large Scale International Collaborations», Синая, Румыния, 2006; - Международная конференция Open Grid Forum и EGEE User Forum, Манчестер, Англия, 2007; - Международное совещание "Physics and Computing at ATLAS", Дубна, 2008; - Международная конференция "Distributed Computing before and during LHC data-taking", Москва, 2008; - Международная конференция «Украинский академический грид» (УАГ-2009), Киев, 2009; - Международная конференция «Annual Meeting of the Romanian LCG Federation», Бухарест, Румыния: 2009, 2010; - Международная конференция "Telecommunications, Electronics and Informatics" (ICTEI 2010), Кишинев, Молдова, 2010; - Международное совещание по компьютингу коллаборации эксперимента ATLAS, Дубна, 2011; - Международное совещание "Perspectives on Physics on CMS at Very High Luminosity, HL-LHC", Алушта, 2012. Соискатель являлся сопредседателем оргкомитета шести международных симпозиумов по ядерной электронике и компьютингу (Варна, Болгария) в 2001, 2003, 2005, 2007, 2009 и 2011 году, а также заместителем председателя пяти международных конференций «Распределенные вычисления и Грид-технологии в науке и образовании» (Дубна) в 2004, 2006, 2008, 2010 и 2012 году, на которых представлялись результаты настоящей диссертации. Публикации и личный вклад автора Изложенные в диссертации результаты получены соискателем в результате его многолетней научной и организационной работы по развитию и совершенствованию информационно-вычислительного комплекса ОИЯИ и внедрению современных систем распределенных вычислений в масштабе России и стран-участниц ОИЯИ. Все исследовательские работы и разработки по теме диссертации - от постановки задачи и выбора методики до получения результатов - были выполнены под непосредственным руководством соискателя, и его вклад является определяющим. Немаловажным при принятии решений о развитии информационно-вычислительного комплекса ОИЯИ как базового сегмента глобальной системы распределенных вычислений являлось активное участие соискателя в работе ряда международных и российских комитетов и рабочих групп, занимающихся выработкой концептуальных решений в сфере вычислительной техники и сетевых коммуникаций. По теме диссертации автором опубликовано 87 печатных работ, в том числе 41 работа по основным результатам (из них 13 работ в изданиях из перечня ведущих рецензируемых научных изданий, рекомендованного ВАК РФ для публикации основных результатов диссертаций). Также результаты работы опубликованы в отчетах по руководимым автором инфраструктурным проектам в рамках Федеральных целевых программ и проектам, поддержанных РФФИ. Структура и объем диссертации Диссертация состоит из введения, пяти глав, заключения, списка литературы из 202 наименований; полный объем работы составляет 260 страниц. Научная библиотека диссертаций и авторефератов disserCat http://www.dissercat.com/content/metodologiya-razvitiya-nauchnogo-informatsionno-vychislitelnogo-kompleksa-v-sostave-globalno#ixzz4IGU7fXtgoai:cds.cern.ch:22096002016-08-23T09:24:40Z
spellingShingle Korenkov, Vladimir
Методология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры
title Методология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры
title_full Методология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры
title_fullStr Методология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры
title_full_unstemmed Методология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры
title_short Методология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры
title_sort методология развития научного информационно-вычислительного комплекса в составе глобальной грид-инфраструктуры
url http://cds.cern.ch/record/2209600
work_keys_str_mv AT korenkovvladimir metodologiârazvitiânaučnogoinformacionnovyčislitelʹnogokompleksavsostaveglobalʹnojgridinfrastruktury