Концепции Grid-технологии

4.1. Основные понятия метакомпьютинга

и «сеточных» вычислений

      

  Начало XXI века ознаменовано существенным прогрессом в сетевых технологиях. К настоящему времени гигабитные линии связи между компьютерами, разнесенными на сотни километров, становятся обычной реальностью. Объединение различных вычислительных систем в рамках единой сети позволяет сформировать специальную вычисли­тельную среду, которая с точки зрения пользователя представляет собой виртуальный высокопроизводительный компьютер (или единый метакомпьютер). Работая в такой среде, пользователь может лишь выдавать задание на решение задачи, а остальные действия метакомпьютер должен выполнять сам: подыскивать доступные вычислительные ресурсы, загружать их решением задачи и отслеживать работоспособность, осуществлять передачу данных, преобразование данных в требуемые форматы и т. п. При этом пользова­телю совершенно не важно знать, ресурсы какого именно компьютера или компьютеров вычислительной среды были ему предоставлены.

  Метакомпьютер по определению должен обладать набором важных специфических особенностей, отличающих его от традиционного, пусть и очень мощного компьютера:

  1) Метакомпьютер должен иметь огромные ресурсы, которые несравнимы с ресурсами обычных компьютеров. Это касается практически всех пара­метров: число доступных процессоров, объем памяти, число активных приложений, пользователей и т. п.

2) Метакомпьютер должен быть распределенным по своей природе. Компоненты метакомпьютера могут быть удалены друг от друга на сотни и тысячи ки­лометров, что неизбежно вызовет большую латентность и, следовательно, скажется на оперативности их взаимодействия.

  3) Метакомпьютер должен иметь возможность динамического изменения своей конфигурации. При этом какие-то ком­пьютеры могут к нему подсоединяться и делегировать права на использование своих ресурсов, а какие-то – отключаться и становиться недоступными. Но для пользователя работа с метакомпьютером должна оставаться прозрачной, а штатное функционирование метакомпьютера должно поддерживаться вне зависимости от его текущей конфигурации в целом.

  4) Метакомпьютер в общем случае неоднороден. При распределении заданий нужно учиты­вать особенности операционных систем, входящих в его состав. Разные системы поддерживают различные системы команд и форматы представ­ления данных. Различные системы в разное время могут иметь различ­ную загрузку, связь с вычислительными системами идет по каналам с различной пропускной способностью. Наконец, в состав метакомпьютера могут входить системы с принципиально различной архитектурой, начи­ная с домашних персональных компьютеров, заканчивая мощнейшими вычислительными системами – так называемыми суперкомпьютерами.

  5) Метакомпьютер объединяет ресурсы различных организаций. Политика дос­тупа и использования конкретных ресурсов может сильно меняться в зависимости от их принадлежности к той или иной организации. Мета­компьютер может не принадлежать никому, поэтому политика его администри­рования может быть определена лишь в самых общих чертах. Вместе с тем согласованность работы огромного числа составных частей метаком­пьютера предполагает обязательную стандартизацию работы всех его служб и сервисов.

  Говоря о метакомпьютере, следует четко представлять, что речь идет не только и не столько об аппаратной части, сколько о его инфраструктуре. В комплексе должны рассматриваться такие вопро­сы, как средства и модели программирования, распределение и диспетчери­зация заданий, технологии организации доступа к метакомпьютеру, интер­фейс с пользователями, безопасность, надежность, политика администрирования, средства доступа и технологии распределенного хранения данных, мониторинг состояния различных подсистем метакомпьютера и многие другие.

  У метакомпьютера как распределенной сетевой вычислительной среды существует почти полная аналогия с электрической сетью, объединяющей энергопроизводящие генераторы и передающей электроэнергию на большие расстояния. В результате появления электрических сетей был предложен универсальный, прозрачный и удобный способ доступа пользователей к электроэнергии. По аналогии именно с электрической сетью распределенная вычислительная среда в англоязычной литературе получила название Grid («грид» – от англ. «сеть», «сетка»), а вычисления в такой среде называют Grid-вычислениями или «сеточными» вычислениями. Обычно термины Grid и метакомпьютер исполь­зуют как синонимы. Синонимами считаются и понятия Grid-вычислений и метакомпьютинга.

  Электрические сети в свое время предоставили человечеству всепроникающий доступ к источникам электроэнергии и оказали огромное воздействие на развитие общества. Разработчики Grid-технологий предполагают, что обеспечение надежного, согласованного и недорогого доступа к ресурсам вычислительных сетей инициирует похожий преобразовательный эффект и стимулирует появление новых классов сетевых компьютерных приложений.   

  Конструктивные идеи использования распределенных вычислительных ресур­сов для решения сложных задач появились относительно недавно, однако уже сейчас известно немало удачных примеров использования идей метакомпьютинга для решения практических задач. Реальная работа по созданию и апробации систем метакомпьютинга идет по многим направлениям. В настоящее время активно обсуждаются различные стратегии по­строения метакомпьютера. К сожалению, на пути реализации этих работ возникает огромное количество серьезных проблем. Часть проблем касается во­просов политического и экономического характера. Без решения и урегули­рования таких вопросов не обойтись и их надо обязательно учитывать, по­скольку масштаб работ по метакомпьютингу быстро выходит на межгосударственный уровень. Большой спектр проблем лежит перед созда­телями самого метакомпьютера и поддерживающих его работу систем. Многие вопросы до сих пор недостаточно проработаны, часть предложенных технологий еще находится на стадии апробации, не всегда используется единая терминология. Однако ситуация в данной области развивается в положительном направлении чрезвычайно стремительно.

  Реальной моделью самого крупного метакомпьютера является сеть Интернет. Никакая вычислительная система не может сравниться ни по пиковой производительности, ни по объему оперативной или дисковой памяти с теми суммарными ресурсами, которыми обладают компьютеры, подключенные к Интернет. В принципе, совершенно не обязательно рассматривать именно Интернет в качестве коммуникационной среды метакомпьютера – эту роль может выполнять любая сетевая технология. Однако на сегодняшний день именно инфраструктура глобальной сети Интернет имеет наибольшие потенциальные возможности для практической реализации метакомпьютинга. В отличие от понятия Web-сети, которая является средством для совместного использования информации посредством Интернет, Grid-сеть – это средство для совместного использования вычислительных мощностей и хранилищ данных посредством Интернет. Таким образом, Grid позволяет выйти за рамки простого обмена данными между компьютерами и, в конце концов, превратить глобальную сеть компьютеров в единый практически неограниченный вычислительный ресурс.

  Итак, Grid – географически распределенная инфраструктура, объединяющая множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения. Grid предполагает коллективный разделяемый режим доступа к ресурсам и к связанным с ними услугам в рамках глобально распределенных виртуальных организаций, состоящих из предприятий и отдельных специалистов, совместно использующих общие ресурсы.

  Grid – растущая инфраструктура, которая в скором будущем, видимо, фундаментально изменит наше представление о вычислительных сетях и их возможностях. Grid призвана объединить множество региональных и национальных сетей, создав, таким образом, универсальный источник вычислительных ресурсов, доступных широкому кругу пользователей.

  Фундаментом Grid-технологий является требование обеспечения надежности услуг. Пользователи должны быть уверены в надежности, предсказуемости и высоком уровне сервиса. Отсутствие этого основополагающего качества приведет к отказу от использования ресурсов. Требования к производительности ресурсов существенно зависят от используемого приложения, однако требования к ширине полосы пропускания, допустимым задержкам, безопасности и надежности среды остаются неизменными.

  Другим фундаментальным требованием является согласованность. Для нормальной эксплуатации системы Grid необходимо существование стандартных сервисов, стандартных интерфейсов и стандартных параметров. Без наличия подобных стандартов интеграция в инфраструктуру Grid является бессмысленной. Использование стандартов позволит обеспечить высокий уровень гетерогенности системы Grid.

  Всепроникающая особенность Grid-технологий позволяет рассчитывать на то, что отдельные сервисы существующих ресурсов будут постоянно доступны. Это не означает всеобщий доступ ко всем ресурсам одновременно или универсальность доступа, но требует схожести механизмов доступа и способов управления ресурсами. Таким образом, предполагается обеспечить одинаковый подход к представлению ресурсов в рамках окружения Grid.

  Невысокая стоимость доступа позволит увеличить область охвата сетей, а также увеличить их востребованность всеми, начиная с домашних пользователей и заканчивая крупными производственными компаниями. Схема доступа к вычислительным сетям должна быть экономически приемлемой большинству пользователей.

  Выполнение этих требований должно привести к серьезному пересмотру и трансформации способов реализации вычислений. Постепенное увеличение количества возможностей вызовет ещё большее расширение вариантов и способов их использования.

       Может бытьвыделено пять основных классов приложений для Grid-вычислений:

  1) Для распределенных супервычислений возможные подходы к Grid-архитектуре включают необходимость планирования и объединения разнородных ресурсов, масштабируемости протоколов и алгоритмов до сотен тысяч узлов, устойчивость приложений, достижение высокого уровня производительности и управление им при использовании гетерогенных компьютерных систем.

  2) В вычислениях с высокой пропускной способностью Grid позиционируется для выполнения и распределения большого числа слабосвязанных или независимых задач с возможностью задействования неиспользуемых циклов процессоров (особенно часто для неиспользуемых какое-то время рабочих станций). В результате возможно (так же как в случае распределенных супервычислений) сосредоточить ресурсы для решения единственной проблемы (квази­независимая структура подзадач приводит к большому числу разнообразных способов решения).

  3) Возможные подходы к вычислениям по запросу определяются преимущественно динамической природой требований к ресурсам, потенциально большим числом охватываемых пользователей и ресурсов.

  4) Подходы к вычислениям с активным обменом данными сосредоточены на планировании и конфигурации сложного объемного пространства данных, распределенного по нескольким иерархическим уровням.

  5) Аспекты совместных вычислений для Grid-архитектуры определяются требованиями к выполнению разнообразного количества различных вариантов взаимодействий в реальном масштабе времени (в соответствии с человеческими возможностями).

  Современное состояние проблемы Grid – реализация контролируемого и координируемого разделения ресурсов в динамически развивающемся пространстве виртуальных организаций.

  Распределенные вычислительные технологии масштаба предприятия, такие как CORBA или J2EE, позволяют разделять ресурсы только в рамках одной организации. Провайдеры сервисов хранения данных SSP (Storage Service Provider) и провайдеры сервисов приложений ASP (Application Service Provider) допускают хранение данных и выполнение вычислений на третьей стороне, но со значительными ограничениями (например, SSP-ресурсы доступны покупателям лишь через частные виртуальные сети VPN – Virtual Private Network). Таким образом, существующие вычислительные технологии либо не позволяют объединить разнообразные типы ресурсов, либо не предоставляют гибкости в управлении разделяемыми связями. Возможности преодоления современных трудностей и ограничений в построении гетерогенных крупномасштабных распределенных систем связаны с развитием и внедрением Grid-технологии.

  Основная задача Grid-технологии заключается в построении гибкого, защищенного, скоординированного пространства для совместного использования ресурсов между динамически меняющимися сообществами пользователей, организаций и ресурсов (виртуальными организациями). В этом пространстве должны быть сосредоточены универсальные средства аутентификации, авторизации и доступа к ресурсам, средства поиска необходимых ресурсов и так далее. Практическая реализация Grid-технологии связана с решением сложных проблем, находящихся на стыке множества современных научно-технических направлений.

4.2. Архитектура протоколов Grid

  В результате деятельности Grid-сообщества созданы протоколы, сервисы и средства, необходимые виртуальным организациям, а также сформулированы базовые принципы технологии Grid – архитектура протоколов Grid.     

  Виртуальные организации пользователей при выполнении вычислений и решении проблем опираются на подходы, построенные на взаимодействии в рамках вычислительных и информационных пространств. Эти организации могут существенно отличаться по целям, размерам, материальному снабжению, продолжительности существования, структуре, социальному составу. Однако изучение их требований к информационно-вычислительным технологиям приводит к формулированию функционального набора, однотипного для всех виртуальных организаций. Вне зависимости от размера и иных характеристик виртуальных организаций существует необходимость:

  • в гибких разделяемых связях, ранжируемых от клиент-серверных до «точка-точка»;

  • в сложных и точных уровнях контроля за используемыми ресурсами, включая доступ к хранилищам, делегирование прав, применение локальных и глобальных политик;

  • в разделении разнообразных ресурсов (программ, файлов, данных для компьютеров, датчиков, сетей);

  • в разнотипных пользовательских группах;

  • в планировании, совместном выделении ресурсов, учете.

  Архитектура Grid задает требования для основных классов компонент технологии (протоколов, сервисов, API), однако она не предоставляет строгий набор спецификаций, оставляя возможность их свободного развития в рамках представленной концепции. Архитектура Grid-протоколов разделена на уровни. Компоненты на каждом уровне могут использовать возможности и компоненты любого из нижерасположенных уровней.

  Рассмотрим отдельные уровни архитектуры Grid-протоколов подробнее.

  Базовый уровень Grid, или уровень «фабрикатов» (Fabric layer), описывает службы, непосредственно работающие с ресурсами, к которым предоставляется разделяемый доступ посредством Grid-протоколов. Термин «ресурсы» достаточно широк и включает как аппаратные, так и программные средства: вычислительные ресурсы, хранилища данных, каталоги, сетевые ресурсы и т.п. Ресурсом может быть любая логическая единица, например, распределенная файловая система, компьютерный кластер или распределенный компьютерный пул. В таких случаях ресурс может использовать внутренние протоколы (например, протокол сетевой файловой системы или протоколы управления кластером), которые не являются компонентами Grid-архитектуры.

  Сервисы базового уровня реализуют локальные, специфические для каждого конкретного ресурса операции. Они позволяют организовать совместное использование ресурса на более высоких уровнях Grid-архитектуры. Иногда базовые компоненты могут сами поддерживать некоторые функции совместного использования ресурса, тогда качество операций, производимых на верхних уровнях, повышается, а функции разделения ресурсов становятся более гибкими. Однако обычно большинство базовых компонент уже имеют определенные сложившиеся характеристики.

  Исходя из практических требований, на базовом уровне должны быть реализованы, как минимум, следующие сервисы:

  1) механизм опроса ресурсов, позволяющий описать структуру, состояние, возможности ресурсов;

  2) механизм управления, обеспечивающий контроль качества поставляемых услуг.

  Представим требования к этим сервисам в зависимости от специфики ресурсов.

  Для вычислительных ресурсов требуются механизмы управления, обеспечивающие запуск программы, мониторинг и контроль выполнения порождаемых процессов, желательно наличие контроля распределения ресурсов по процессам и расширенное резервирование. Функции опроса должны предоставлять характеристики программного и аппаратного обеспечения, информацию о текущей загрузке, состоянии очередей и пр.

  Для ресурсов хранения необходимы механизмы работы с файлами (получение/отправление). Другими полезными механизмами управления являются высокоскоростная передача файлов, передача файлов через серверы третьей стороны, механизмы чтения и записи частей файла, удаленный выбор данных, функции понижения (сбор и рассылка информации по нескольким источникам), механизмы контроля ресурсов, влияющих на передачу данных (дисковое пространство, ширина пропускания сети, мощность процессора и т.п.). В данном случае функции опроса требуются для определения характеристик программного и аппаратного обеспечения, получения информации о доступной ёмкости систем хранения, использовании полосы пропускания и т.д.

  Для сетевых ресурсов механизмы управления должны обеспечивать контроль за выделением ресурсов во время передачи по сети (приоритет передачи данных, резервирование дополнительных каналов). Функции опроса сетевых ресурсов позволяют определить характеристики и загрузку сети.

  Репозитарии (хранилища) кода (специальная форма ресурсов хранения) нуждаются в механизмах управления версиями и хранимыми объектами.

  Каталоги, представляющие собой ещё одну форму ресурсов хранения, должны быть оснащены механизмами поддержки запросов и средствами обновления информации, такими, как реляционные базы данных.

  Связывающий уровень (Connectivity layer) определяет основные положения для протоколов коммуникации и протоколов аутентификации, выполняющих специфические Grid-транзакции. Протоколы коммуникации обеспечивают обмен данными между компонентами базового уровня. Протоколы аутентификации, основываясь на средствах коммуникации, предоставляют механизмы криптографической защиты для идентификации и верификации пользователей и ресурсов.

  Коммуникации должны обеспечивать транспорт и маршрутизацию сообщений, присвоение имен объектам сети. Несмотря на существующие альтернативы, в настоящее время протоколы коммуникации предполагают использование только стека протоколов TCP/IP, в частности, на сетевом уровне – IP, на транспортном уровне – TCP и UDP. Однако с учетом бурного развития сетевых технологий в будущем весьма вероятна зависимость коммуникаций Grid и от других протоколов.

  Исходя из практического опыта (а также учитывая сложности проблем безопасности) решения Grid на связывающем уровне придерживаются существующих стандартов безопасности. Как и в случае с коммуникациями, используются стандарты защиты, разработанные для Internet. Аутентификационные решения для сред виртуальных организаций должны обладать следующими свойствами:

  1) Единый вход. Пользователь должен регистрироваться и аутентифицироваться только один раз в начале сеанса работы, получая доступ ко всем разрешенным ресурсам базового уровня Grid.

  2) Делегирование прав. Пользователь должен иметь возможность запуска программ от своего имени. Таким образом, программы получают доступ ко всем ресурсам, на которых авторизован пользователь. Пользовательские программы могут, при необходимости, делегировать часть своих прав другим программам.

  3) Доверительное отношение к пользователю. Если пользователь запросил одновременную работу с ресурсами нескольких поставщиков, то при конфигурации защищенной среды пользователя система безопасности не должна требовать непосредственного взаимодействия между поставщиками ресурсов. Например, пользователь авторизован на сайтах А и В, тогда он может работать на сайтах А и В одновременно без дополнительного разрешения администраторов А и В.

  Решения Grid по безопасности должны предусматривать гибкий подход к безопасности коммуникаций (в том числе контроль уровня защиты, обеспечение независимой безопасности для ненадежных протоколов, поддержка нескольких надежных транспортных протоколов) и предоставлять возможность контроля сервисов авторизации, в том числе возможность ограничения делегирования прав разными способами.

  Ресурсный уровень (Resource layer) надстроен над протоколами коммуникации и аутентификации связывающего уровня Grid. Ресурсный уровень реализует следующие протоколы для работы с каждым ресурсом, включенным в Grid: согласование политик безопасности использования ресурса, процедура инициации ресурса, мониторинг состояния ресурса, контроль ресурса, учет ресурса, оплата операций совместного использования ресурса.

  Протоколы этого уровня опираются на функции базового уровня для доступа и контроля над локальными ресурсами. На ресурсном уровне протоколы взаимодействуют с каждым ресурсом как с единым целым, игнорируя при этом глобальное состояние системы, существующие кросс-связи, которые входят в зону ответственности коллективного уровня Grid.

  Различают два основных класса протоколов ресурсного уровня:

  1) Информационные протоколы, которые получают информацию о структуре и состоянии ресурса, например, о его конфигурации, текущей загрузке, политике использования.

  2) Протоколы управления, которые используются для согласования доступа к разделяемым ресурсам, определяют требования и допустимые действия по отношению к ресурсу (например, поддержка продвинутого резервирования, возможность создания процессов, доступ к данным). Протоколы управления должны проверять соответствие запрашиваемых действий политике разделения ресурса, включая учет и оплату. Они могут поддерживать функции мониторинга статуса и управления операциями.

  Список требований к функциональности протоколов ресурсного уровня близок к списку для базового уровня Grid. Добавляется лишь требование единой семантики для различных операций с поддержкой надежной системы сообщения об ошибках.

  Если ресурсный уровень сфокусирован на работе с отдельно взятыми ресурсами, то следующий уровень – коллективный (Collective layer) – по своей природе глобален и отвечает за интеграцию различных наборов ресурсов. В коллективном уровне различают общие и специфические (для приложения) протоколы. К общим протоколам относятся, в первую очередь, протоколы обнаружения и выделения ресурсов, системы мониторинга и авторизации сообществ. Специфические протоколы создаются для различных приложений Grid, как, например, протокол архивации распределенных данных или протоколы управления задачами сохранения состояния и т.п.

  Компоненты коллективного уровня предлагают огромное разнообразие методов совместного использования ресурсов, не добавляя новых требований к разделяемым ресурсам. К функциям и службам, реализуемым в протоколах данного уровня, относятся:

  • службы каталогов, которые позволяют виртуальным организациям обнаруживать свободные ресурсы, выполнять запросы по именам и атрибутам ресурсов, таким как тип, доступность и загрузка (для построения структуры каталогов используются протоколы ресурсного уровня);

  • cлужбы совместного выделения, планирования и распределения ресурсов, которые обеспечивают выделение одного или более ресурсов для определенной цели, а также планирования выполняемых на ресурсах задач;

  • cлужбы мониторинга и диагностики, которые отслеживают аварии, атаки, перегрузку и т.п.;

  • cлужбы дублирования данных, которые организуют управление хранилищами ресурсов виртуальных организаций, обеспечивая повышение скорости доступа к данным в соответствии с выбранными метриками, такими как время ответа, надежность, стоимость и т.п.;

  • системы программирования, которые реализуют модели программирования, поддерживающие Grid-службы для поиска ресурсов, системы безопасности, системы выделения ресурсов и т.п.;

  • системы управления рабочей загрузкой, которые применяются для описания, использования и управления многошаговыми асинхронными многокомпонентными рабочими потоками;

  • службы поиска свободно-распространяемого программного обеспечения, которые позволяют обнаруживать и выбирать наиболее подходящую конфигурацию программного обеспечения для соответствующей платформы, основываясь на параметрах решаемой задачи;

  • службы авторизации сообществ, которые способствуют улучшению правил доступа к разделяемым ресурсам, а также определяют возможности использования ресурсов сообщества (подобные службы позволяют формировать политики на основе информации о ресурсах, протоколах управления ресурсами и протоколах безопасности связывающего уровня);

  • службы учета и оплаты, которые обеспечивают сбор информации об использовании ресурсов для контроля обращений пользователей;

  • cлужбы координации, которые поддерживают обмен информацией в потенциально большом сообществе пользователей.

  Последний уровень Grid-архитектуры – прикладной (Application layer) – описывает пользовательские приложения, работающие в среде виртуальной организации. Приложения собираются с участием cлужб, определенных на нижележащих уровнях. На каждом из уровней имеются определенные протоколы, обеспечивающие доступ к необходимым службам, таким как службы управления ресурсами, доступа к данным, обнаружения ресурсов и т.п. На любом уровне также могут быть определены интерфейсы прикладного программирования API (Application Program Interface), протоколы обмена которых общаются с соответствующими сервисами. Сами интерфейсы API реализуются при помощи наборов инструментальных средств для разработки программного обеспечения SDK (Software Development Kit). Высокоуровневые наборы инструментальных средств SDK могут обеспечивать функциональность, которая напрямую не соотносится с определенным протоколом. Но эти наборы инструментальных средств могут комбинировать операции протокола с вызовами дополнительных интерфейсов API, а также реализовывать локальную функциональность.

  Архитектура Grid-протоколов описывается моделью «песочных часов». Такой же моделью описывается и классический стек протоколов TCP/IP. «Узкое горлышко» таких часов содержит минимальный набор протоколов (для TCP/IP «узкое горлышко» представляют транспортные протоколы TCP, UDP). В рассматриваемой модели через «узкое горлышко» объединяется максимально большое количество сервисов, расположенных на дне песочных часов, с максимально большим количеством сервисов на их вершине. Технологии, разработанные в рамках модели «песочных часов», обеспечивают надежность, качество совместимости разнообразных сервисов. В архитектуре Grid «горлышко часов» расположено в области ресурсного и связывающего уровней, упрощающих разделение ресурсов. Протоколы этих уровней, с одной стороны, могут являться вершиной большого количества типов ресурсов, определенных на базовом уровне (уровне локального управления), а с другой стороны, могут быть использованы как базовые для широкого спектра глобальных сервисов и приложений на коллективном уровне. Набор протоколов, реализующих ресурсный и связывающий уровни, должен быть небольшим и достаточным. Протоколы набора должны реализовывать лишь фундаментальные механизмы разделения различных ресурсов, не сдерживая развития других высокоуровневых протоколов.

  На рис. 4.1. представлены уровни протоколов и служб архитектуры Grid, показаны прямые вызовы (сплошные линии) и вызовы, осуществляемые в формате протоколов Grid (пунктирные линии). 

 

 

Рис. 4.1. Уровни протоколов и служб в логической архитектуре Grid

      

     Отметим, что «приложения», обозначенные на рис. 4.1 как один уровень, на практике могут вызываться через достаточно сложные оболочки и библиотеки. Эти оболочки сами могут определять протоколы, службы и API. Однако подобные надстройки не относятся к фундаментальным протоколам и сервисам, необходимым для реализации Grid.

 

4.3. Практическая реализация архитектуры Grid-протоколов

 в проекте Globus Toolkit

 

  Практическую реализацию архитектуры Grid-протоколов иллюстрируют протоколы, определенные в программном обеспечении Globus Toolkit проекта Globus. Целью этого проекта яв­ляется создание средств для организации глобальной информационно-вычислительной среды. В рамках проекта разработан целый ряд програм­мных средств и систем, в частности, единообразный интерфейс к различным локальным системам распределения нагрузки, система аутентификации, коммуникационная библиотека Nexus, средства контроля и мониторинга и др. Разработанные средства распространяются свободно в виде пакета Globus Toolkit вместе с исходными текстами. Проект Globus получил широкое признание во всем мире. В настоящее время Globus взят за основу во множестве других масштабных Grid-проектах, таких как National Technology Grid, Information Power Grid, European DataGrid, GriPhyN, NEESgrid, Particle Physics Data Grid.

  Современная реализация Globus Toolkit разработана таким образом, чтобы использовать существующие сервисы, соответствующие базовому уровню, включая протоколы и интерфейсы производителей. Если эти сервисы не предоставляют необходимый набор механизмов управления и функций опроса базового уровня, Globus Toolkit восполняет пробелы в функциональности. Например, в Globus Toolkit был создан механизм опроса, обеспечивающий сбор информации для самых разнообразных и наиболее распространенных типов ресурсов, таких как компьютеры (включая тип операционной системы, аппаратные конфигурации, загрузку и состояние очередей), хранилища данных (доступность свободного пространства), сети (текущую загрузку и предсказание состояния). Управление ресурсами на этом уровне оставлено в зоне ответственности локальных систем. Исключение составляет многофункциональная архитектура резервирования и выделения ресурсов GARA (General-purpose Architecture for Reservation and Allocation). Она предоставляет так называемый «менеджер слотов» для выполнения продвинутого резервирования тех ресурсов, которые не обеспечены изначально подобной возможностью. Другие разработки Globus Toolkit касаются усовершенствования уже существующих систем, которые сами поддерживают возможности продвинутого резервирования.

  Связывающий уровень Globus Toolkit реализован на базе стандартных Internet-протоколов. Аутентификация, безопасность коммуникаций и авторизация обеспечивается специальными протоколами инфраструктуры безопасности. Для того, чтобы соответствовать критериям, описанным выше (единый вход, делегирование прав, интеграция с локальными системами защиты, доверительное отношение к пользователю), протоколы инфраструктуры безопасности надстраивают и расширяют протоколы защиты транспортного уровня. Контроль авторизации выполняется через интерфейс общей авторизации и доступа.

       Ресурсный уровень Globus Toolkit выполнен на основе небольшого набора стандартных протоколов:

  • протокола информации Grid ресурсов GRIP (Grid Resource Information Protocol), который определяет стандарт представления информации и соответствующую информационную модель (для учета ресурсов в индексах информационных серверов используется протокол регистрации ресурсов GRRP (Grid Resource Registration Protocol));

  • протокола доступа и управления ресурсами GRAM (Grid Resource Access and Management), который выполнен на основе протокола HTTP и используется для выбора вычислительных ресурсов, а также для мониторинга и контроля выполняемых вычислений;

  • расширенной версии протокола передачи файлов GridFTP (Grid File Transfer Protocol), который обеспечивает доступ к данным (cпециальные расширения включают использование протоколов защиты уровня коммуникаций, частичного доступа к файлам и управления параллельной высокоскоростной передачей данных)

  Для каждого из перечисленных протоколов Globus Toolkit предлагает клиентскую часть и SDK. Помимо этого для каждого из протоколов созданы SDK серверной части и серверы, которые служат для упрощения интеграции разнообразных сетевых и вычислительных ресурсов в Grid.

  В дополнение к примерам описанных сервисов, многие из которых построены на базе протоколов Globus Toolkit связывающего и ресурсного уровней, в Globus Toolkit имеется метакаталог. Метакаталог предоставляет информационные индекс-серверы Grid GIIS (Grid Information Index Server) для поиска произвольных наборов ресурсов, поддерживает доступ к специфическому протоколу GRIP, содержащему информацию о состоянии ресурса, и протокол GRRP для регистрации ресурсов. В Globus Toolkit также существуют каталог дубликатов и служба управления дублированием, используемые для поддержки контроля наборов данных в среде Grid.

       Разрабатывая про­граммную инфраструктуру для своих платформ, многие ведущие мировые компании выбрали Globus Toolkit в качестве стандарта для реализации Grid-приложений. Создаются глобальные полигоны, объединяющие в рамках супервысокоскоростных сетей значи­тельные распределенные вычислительные ресурсы. Проводятся серии экс­периментов, направленных на отработку новых сетевых технологий, методов диспетчеризации и мониторинга в распределенной вычислительной среде, интерфейса с пользователем, моделей и методов программирования. Уже сейчас сформирован существенный потен­циал для практического внедрения и реального использования эффективных Grid-вычислений.

 

Резюме

      

  Распределенные вычислительные технологии масштаба предприятия, такие как CORBA или J2EE, позволяют разделять ресурсы только в рамках одной организации. Провайдеры сервисов хранения данных и провайдеры сервисов приложений допускают хранение данных и выполнение вычислений на третьей стороне, но со значительными ограничениями. Таким образом, существующие вычислительные технологии либо не позволяют объединить разнообразные типы ресурсов, либо не предоставляют гибкости в управлении разделяемыми связями. Возможности преодоления современных трудностей и ограничений в построении гетерогенных крупномасштабных распределенных систем связаны с развитием и внедрением концепций метакомпьютинга и Grid-технологии.

  Объединение различных вычислительных систем в рамках единой сети позволяет сформировать специальную вычисли­тельную среду, которая с точки зрения пользователя представляет собой единый виртуальный высокопроизводительный компьютер – метакомпьютер. Метакомпьютер по определению должен обладать набором важных специфических особенностей, отличающих его от традиционного, пусть и очень мощного компьютера. Реальной моделью самого крупного метакомпьютера является сеть Интернет.

  Grid – географически распределенная инфраструктура, объединяющая множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения. Grid предполагает коллективный разделяемый режим доступа к ресурсам и к связанным с ними услугам в рамках глобально распределенных виртуальных организаций, состоящих из предприятий и отдельных специалистов, совместно использующих общие ресурсы. Современное состояние проблемы Grid – реализация контролируемого и координируемого разделения ресурсов в динамически развивающемся пространстве виртуальных организаций.

  В результате деятельности Grid-сообщества разработаны базовые принципы архитектуры Grid и сформулированы функции ее основных уровней. Базовый уровень Grid отвечает за доступ к физическим ресурсам. Связывающий уровень отвечает за проведение надежных и безопасных транзакций между распределенными ресурсами. Ресурсный уровень обеспечивает прием запросов и предоставление общего доступа к ресурсам для приложений. Коллективный уровень отвечает за координирование распределенных ресурсов. Прикладной уровень Grid включает приложения, которые используют нижележащие уровни для доступа к распределенным ресурсам. На любом уровне также могут быть определены интерфейсы прикладного программирования API, протоколы обмена которых общаются с соответствующими сервисами. Сами интерфейсы API реализуются при помощи наборов инструментальных средств для разработки программного обеспечения.

  Практическую реализацию архитектуры Grid-протоколов иллюстрируют протоколы, определенные в программном обеспечении Globus Toolkit проекта Globus.

Контрольные вопросы и задания

1. Дайте определение понятия «метакомпьютер» и представьте его характерные особенности.

2. Изложите основные концепции Grid-технологии.

3. Перечислите и дайте описание основных классов приложений для Grid-вычислений.

4. В чем состоят главные ограничения глобального использовании распределенных вычислительных технологий масштаба предприятия?

5. Представьте и охарактеризуйте основную задачу Grid-технологии.

6. Опишите базовый уровень архитектуры Grid-протоколов.

7. Каково назначение связывающего уровня архитектуры Grid-протоколов?

8. Какие типы протоколы реализует ресурсный уровень архитектуры Grid?

9. Перечислите основные функции и службы, реализуемые в протоколах коллективного уровня архитектуры Grid.

10. Какие преимущества при построении стека Grid-протоколов дает использование модели «песочных часов»?

11. Охарактеризуйте практическую реализацию архитектуры Grid-прото-колов в проекте Globus Toolkit.

Заключение

         

  Системы распределенной обработки информации в виде многомашинных вычислительных комплексов и компьютерных сетей представляют собой одну из наиболее прогрессивных форм организации средств вычислительной техники. Возможность взаимодействия вычислительных систем при реализации распределенной обработки информации определяют как их способность к совместному использованию данных или к совместной работе с использованием стандартных интерфейсов. Целью распределенной обработки информации является оптимизация использования ресурсов и упрощение работы пользователя.

  Распределенная система позволяет скрыть от пользователя аспекты своей внутренней организации, физические места размещения ресурсов, вопросы реализации и взаимодействия процессов, обслуживающих запросы пользователя. Распределенная система способна увеличиваться в масштабах путем подключения к системе дополни­тельных компонентов без принципиального влияния на работу существующих приложений и пользователей.

  Прикладное программное обеспечение в общем случае может быть представлено в виде композиции трех логических слоев: слоя логики представления, слоя бизнес-логики и слоя логики доступа к данным. Послойное разделение прикладного программного обеспечения минимизирует взаимодействие между составными элементами и служит основой для выделения компонентов, которые могут быть распределены для работы на нескольких вычислительных машинах.

  Децентрализованная обработка информации основывается на архитектурной модели клиент/сервер, где клиентами считаются вычислительные машины, нуждающиеся в получении тех или иных услуг, а серверами – вычислительные машины, которые эти услуги предоставляют. Под общим концептуальным названием модели клиент/сервер скрывается несколько вариантов архитектурного построения вычислительных систем, а именно архитектуры однозвенные, двухзвенные, трехзвенные и многозвенные.

  Промежуточное программное обеспечение позволяет осуществить связь и взаимодействие между разнородными компонентами распределенных систем, предоставляет стандартные интерфейсы програм­мирования, реализует переносимость программ и прозрачность функционирования систем распределенной обработки информации.

      

  Наибольшее практическое распространение получили следующие механизмы реализации распределенной обработки информации: удаленный вызов процедур, объектно-ориентированный подход на основе удаленного обращения к методам, транзакционное взаимодействие на базе мониторов обработки транзакций, использование моделей обмена сообщениями и моделей согласования.

  К новой категорий прикладных систем для распределенных вычислений относятся серверы приложений, разработка которых нацелена на создание объектно-ориентированных распределенных систем и построение прикладных программ из готовых компонентов. Одним из наиболее эффективных примеров такого подхода является сервер приложений на платформе Java.

  Развитие глобальной сети Интернет привело к появлению новых стандартов и организации распределенной обработки информации на основе сетевых служб. Сетевые службы играют ту же роль, что и традиционные промежуточные слои программного обеспечения, но имеют гораздо более широкий масштаб.

  Координация и композиция работы сетевых служб позволяет нескольким службам осуществлять одновременный обмен информацией между разными службами.

  В последнее время достаточно успешно продвигается разработка концепции Grid – географически распределенной инфраструктуры, объединяющей множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения. Объединение различных вычислительных систем в рамках единой сети позволяет сформировать специальную вычисли­тельную среду, которая с точки зрения пользователя представляет собой единый виртуальный высокопроизводительный метакомпьютер.

  Grid-технология предполагает коллективный разделяемый режим доступа к ресурсам и услугам в рамках глобально распределенных виртуальных организаций, состоящих из совместно взаимодействующих предприятий и отдельных специалистов. В результате деятельности ряда международных компаний сформулированы базовые принципы Grid-архитектуры, имеющие важное практическое значение для построения еще более эффективных и масштабных систем распределенной обработки информации.