В этой главе представлены основные концепции, проекты и опыт реализации систем поиска пространственных данных. Ее содержание может служить хорошим ориентиром для тех, кто интересуется вопросами разработки и использования систем поиска географической информации в мультимедийной Web-среде

Окончание. Начало в № 4 за 2005 г.

Редактор Д. Неберт, FGDC (США)
Перевод ГИС-Ассоциация
Научный консультант В.Ю. Андрианов (ДАТА+)

Разработка действующих распределенных каталогов уже осуществлена в ряде стран, в частности в США, Канаде, Мексике, Австралии и Южной Африке. Программные системы для реализации стандарта ISO 23950 и Web-служб каталогов создавались в основном при поддержке государства, что позволило разработать решения как коммерческие, так и с открытым кодом. Дальнейшее развитие протоколов и отраслевой практики предсказать трудно, но попытаемся дать обзор уже имеющихся решений.
Рассмотрим пример технической реализации следующего сценария доступа к распределенному каталогу:
1. Пользователь с помощью своего программного обеспечения выясняет, что существует служба поиска в распределенном каталоге. Адрес может быть получен в результате поиска Web-ресурсов, из закладки, по ссылке, устно и т. д.

2. Пользователь открывает пользовательский интерфейс и определяет критерии для сужения диапазона поиска доступной информации.

3. Запрос поступает на один или более серверов через шлюз. Поиск может быть итерационным, повторным или уточняющим, в зависимости от предыдущего общения с пользователем.

4. Результаты с серверов объединяются и представляются пользователю. Типы ответов могут быть следующими: список совпадений с указанием названий и ссылок на ресурс, краткое описание каждого ресурса или же полное представление метаданных. Визуализация множественного результата может выполняться в виде абрисов наборов данных на общей карте, тематических групп или на временной шкале.

5. Пользователь выбирает подходящую запись метаданных по имени или ссылке и для дальнейшего просмотра вид представления информации (краткий, полный или иной) и формат (HTML, XML, текст, другой).

6. Проанализировав метаданные, пользователь решает приобрести какой-то набор данных. Указав соответствующий URL, он может перейти на страницу заказа или страницу загрузки данных в зависимости от указанных способов распространения.

Распределенный каталог имеет трехуровневую архитектуру программных средств: клиентский, шлюзовой и серверный уровни.
На клиентском уровне используется Web-браузер или специальное клиентское поисковое приложение. Обычный браузер использует протокол HTTP, а клиентское поисковое приложение ISO 23950 для непосредственной связи с группой серверов. Отметим, что на схеме можно также представить два уровня вместо трех, если функции среднего уровня реализованы в клиентском.
Шлюзовой уровень содержит шлюз для доступа к службе каталога из Всемирной паутины (WWW). В шлюзе, по сути, происходит преобразование HTTP-запроса POST или GET в несколько виртуальных клиентов, работающих друг за другом или параллельно. Решения на этом уровне обеспечивают параллельный распределенный поиск по группе каталожных серверов в рамках одного сеанса клиентского подключения. В настоящее время такие шлюзы созданы в США, Канаде, Мексике, Южной Африке и Австралии для обеспечения региональных точек доступа. Формы и интерфейсы, имеющиеся на каждом из них, идентичны, и каждый поддерживает параллельный поиск по всем серверам. Для отслеживания большого числа серверов распределенного каталога необходимо также вести реестр доступных совместимых серверов («Directory of Servers» или «Registry»). Этот реестр содержит метаданные серверов и коллекций данных, и в нем самом может выполняться поиск как в специальном каталоге. Таким образом можно обеспечить интеллектуальный, в один проход, поиск, вместо того чтобы требовать от пользователя выбора серверов из списка для самостоятельного обращения к ним или переадресовывать запросы на все серверы.

Уровень каталожных серверов. На эти серверы можно обращаться с помощью профиля GEO протокола ISO 23950, применяется также и CORBA. Профиль GEO ISO 23950 используется в ГИС-сообществе как расширение набора полей традиционного библиографического описания, доступных для поиска. GEO включает пространственные (широта, долгота) и временные поля в дополнение к произвольному тексту (поиск слова во всех элементах записи метаданных). Серверы ISO 23950 могут создаваться на основе баз данных XML-документов, объектно-реляционных или реляционных СУБД, в которых структурированные метаданные хранятся для поиска и представления.

Протокол ISO 23950 был выбран для применения в распределенных каталогах пространственных данных по нескольким причинам. Во-первых, он уже использовался в сообществе служб библиотечных каталогов с соответствующим программным обеспечением и стандартами, которые могли быть расширены для поиска пространственных данных. При наличии совместимых терминов, в библиотечных каталогах может выполняться поиск из каталогов GEO. Во-вторых, ISO 23950 определяет только действия клиента и способ поиска, но не исходные структуры данных или язык запросов, использующийся на сервере для управления метаданными. Это дает возможность на каждом сервере конвертировать запросы по общепринятым полям в местные эквиваленты, что позволяет сохранять внутренние структуры баз данных и имена, обеспечивая при этом публичный доступ для поиска пространственных данных через формы XML или HTML. Такая организация, реализованная на многих серверах, является условием обеспечения распределенного поиска. Она обеспечивает автономность управления локальным ресурсом и, в то же время, поддержку общего поиска. В-третьих, этот протокол независим от компьютерной платформы. Поисковые клиенты и серверы на основе ISO 23950 существуют на многих платформах UNIX и Windows, а Java-библиотеки дают возможность дополнительного программирования клиентских и серверных приложений.

Такое разделение между внутренними и публичными полями метаданных позволяет выполнять поиск по стандарту ISO 23950 в коллекциях метаданных различных типов, поддерживающих профиль GEO, даже если они основаны на разных моделях метаданных. Например, имена элементов метаданных ANZLIC (Австрало-Новозеландский совет по пространственной информации) отличаются от имен элементов метаданных FGDC (США). С помощью таблиц стандартного преобразования запрос к полю ANZLIC «Data Set Name» на сервере будет связан с публичным полем «Title». В результате обеспечивается возможность поиска по австралийским каталожным серверам через шлюзы FGDC (Clearinghouse Gateways), хотя найденные записи метаданных будут иметь иную структуру. Такой подход может применяться к метаданным других сообществ, например, представленным в формате DIF, используемом в ряде областей, связанных с космическими исследованиями и анализом глобальных изменений окружающей среды, а также к другим стандартам метаданных аналогичного содержания. В идеале форматы метаданных должны иметь такую структуру, которая позволяет конвертировать или транслировать их в унифицированное представление, даже если они берутся из разных информационных сообществ. В настоящее время уже существуют конверторы XML-документов, позволяющие преобразовывать их структуру из одной схемы в другую.

Разработка серверов и служб каталогов
Для стимулирования участия в распределенном каталоге было разработано специальное программное обеспечение под руководством FGDC и ряда координирующих организаций других стран. Созданы эталонные бесплатные или недорогие примеры программ для управления метаданными и создания служб распределенных каталогов. Эти программы могут применяться компаниями для проверки функциональных возможностей и совместимости своих продуктов, а также для разработки на их основе продуктов с дополнительными возможностями.

Служба каталога, предназначенная для участия в распределенном каталоге, должна отвечать следующим требованиям:
1. Поддержка стандартного протокола (предпочтительно ISO 23950) для поиска и получения информации через сервер, подключенный к Интернет. Как только проверка на соответствие требованиям Open Geospatial Consortium, Inc. (OGC) к каталожным службам станет возможной, серверы должны будут сертифицироваться на соответствие этим требованиям (по состоянию на февраль 2000 г. методология такого тестирования еще не была разработана).

2. Связь с системой управления индексированными метаданными, которая может обрабатывать запросы по нескольким полям текстового, численного и расширенного (пространственный экстент) типа, поддерживает логические операторы AND и OR, способна выдавать результаты в структурированной форме, которая уже является или может быть конвертирована в текстовое сообщение или в форматы HTML, XML. Такой системой может быть реляционная, объектно-реляционная или основанная на XML база данных, или даже передача запроса к удаленному каталогу в рамках каскадирования каталожных служб.

3. Способность транслировать публичные поля и атрибуты в идентификаторы и структуры, используемые в системе управления метаданными с применением национального или международного словаря (предпочтительно ISO 19115).

4. Возможность добавлять, обновлять и удалять записи метаданных в системе управления ими.

Существующие программные реализации
Пакет Isite эталонная реализация сервера каталога, которая включает в себя базу данных XML-документов и сервер ISO 23950, поддерживающий профиль GEO для использования на Windows- и UNIX-платформах. FGDC является одним из спонсоров, которые поддерживают разработку этого продукта с открытым кодом. Isite поддерживает все типы документов, соответствующие требованиям ANZLIC, формату обмена между реестрами (DIF), стандарту FGDC для метаданных и ISO 19115/19139, и уже используется в ряде стран, принявших перечисленные стандарты.

Кроме того, на рынке имеются коммерческие программы, отвечающие Спецификации Web-службы каталога (CS-W) OGC версии 1.0 и ISO 23950 (ссылки на эти коммерческие решения см. на http://www.fgdc.gov/clearinghouse). Когда будет утверждена версия 2.0 CS-W и разработана методика проверки на соответствие, программы, успешно прошедшие это тестирование, будут перечислены на сайте OGC (http://www.opengis.org).

Шлюзы каталогов и интерфейсы доступа
Как можно видеть на рис. 4, во многих случаях нужен некий посредник, интегрирующий приложения для конечного пользователя. Обычно такие решения называют серверами приложений, они предназначены для создания, хранения и предоставления конечным пользователям необходимых им интерфейсов, а также для одновременной связи с несколькими серверами каталогов, что невозможно реализовать с помощью большинства Web-браузеров из-за параметров настройки безопасности.

Рис. 4. Реализация услуг распределенного каталога

Программные системы, такие как серверы приложений, которые интегрируют запросы к каталогам с картографическими и другими ГИС-функциями, базируются на разработках ГИС-сообщества, основанных на стандартах, которые доступны в виде пакетов разработчика (SDK). Эти пакеты включают клиентские и серверные библиотеки для поиска в каталогах и другие службы, основанные на стандартных интерфейсах. Компонентная архитектура SDK дает возможность разрабатывать мощные программы, объединяя нужные программные элементы и сводя к минимуму усилия программистов на изучение особенностей каждой службы.

Основанная на UNIX эталонная реализация шлюза из Web на множество серверов ISO 23950 (ZAP) разработана датской компанией IndexData и доступна для некоммерческого использования (http://www.indexdata.dk). Клиентская библиотека на Perl для ISO 23950 разработана в Италии (http://perlz.jrc.it/download). FGDC опубликовал клиентский Java-модуль с открытым кодом для распределенного поиска на нескольких серверах ISO 23950 для наиболее распространенных Web-серверов.

Регистрация каталожных серверов
Функционирование постоянно растущей сети серверов распределенного каталога требует централизованного управления информацией о серверах. Сервер реестра, показанный на рис. 4, хранит метаданные о серверах или коллекциях для обеспечения поиска и выдачи, а также для поддержки распределенного поиска. В этом случае служба реестра сначала выполняет поиск в реестре серверов, чтобы отобрать подходящие из них, а затем, в качестве посредника, передает клиенту список совпадений для последующего выбора на основе географических, временных и других поисковых критериев. Реестр серверов значительно повышает масштабируемость национальных, региональных и глобальных сетей каталогов.

В контексте Глобальной ИПД необходим координированный реестр каталожных (и других) служб. Если все каталоги будут включены в общий и распределенный реестр, аналогичный службе доменных имен (DNS), то тогда появится возможность глобального поиска серверов пространственной информации.
GSDI имеет глобальный и доступный для поиска реестр каталожных серверов, использующих программу Isite, которая работает с XML-данными, сгенерированными из баз данных Access. В этом реестре могут регистрироваться все каталоги пространственных данных, отвечающие требованиям FGDC, ISO и ANZLIC для метаданных. В ближайшее время планируется создать отвечающее требованиям OGC решение для поддержки каталогов метаданных стандарта ISO (http://registry.gsdi.org/
registry). Координируемый между США и Канадой реестр каталогов предложен межведомственным соглашением между FGDC, секретариатом CSDI и Geomatics Canada в качестве модели, демонстрирующей управление национальными каталогами и их координацию с глобальной системой.

Рекомендации
Авторы рекомендуют организациям публиковать свои метаданные, пользуясь спецификацией службы каталога OGC.
Использование этой спецификации и стандарта ISO 23950 находит все большую поддержку в инициативах по поиску информации в WWW. Существующее эталонное программное обеспечение позволяет организациям подключиться к этой работе с минимальными затратами, а коммерческие реализации дают возможность наращивать коллекции данных и приложений.

Авторы рекомендуют организациям регистрировать свои каталожные серверы в координированном реестре каталожных служб GSDI.
Функционирование глобального реестра серверов не является задачей отдельной национальной организации или консорциума типа OGC. По логике, GSDI является подходящим координатором для такого реестра и форумом для выработки правил, связанных с ним. Помещая ссылки на свои каталоги в такую систему, организации получают возможность заявить о себе на международном уровне. Следующим этапом в координации глобальных средств поиска пространственных служб должна стать разработка инструкций по использованию UDDI в качестве каталога этих служб.

Список литературы
1. Catalog Services Specification Version 1.1.1. Open GIS Consortium, Inc., 2002: http://www.opengis.org/specs/?page=specs [электрон. ресурс].
2. Z39.50 International Standard Agency Home Page: http://
lcweb.loc.gov/z3950/agency [электрон. ресурс].