Главная страница REPOX и аутентификация в программе
Открываем главную страницу программы Repox: http://localhost:8085/repox/
Если данная страница не открывается, проверьте, запущена ли служба JettyService. Проверить это можно, открыв окно «Управление компьютером». Для этого нажимаем правой кнопкой мыши на значке «Мой компьютер» и выбираем из меню пункт «Управление». Далее выбираем вкладку «Службы и приложения» - > «Службы». Подробнее о запуске JettyService см. в инструкции Установка REPOX в разделе Служба JettyService.
При первом действии, которые вы попытаетесь сделать после входа в программу, будет выведено окно аутентификации, в котором необходимо ввести логин и пароль, которые вы вводили при установке программы и нажать кнопку «Submit»:
Основные понятия и интерфейс программы REPOX
Data Provider
В качестве Data Provider’a обычно выступает юридическое лицо, например, библиотека, для которого будут созданы хранилища данных. В REPOX Repository может быть создано несколько Data Provider’ов. Подробнее об этом смотри здесь.
Data Source Set
Data Source Set – хранилище данных (сет, набор данных)
Хранилища данных могут быть созданы из данных, содержащихся в папках вашего компьютера, загружены по протоколам ftp и http или загружены с других oai-серверов. Хранилища данных создаются для выбранного Data Provider’a. Для каждого Data Provider’a может быть создано несколько хранилищ данных, загруженных как из локальных папок, так и с других серверов. Подробнее об этом смотри здесь.
Меню программы REPOX
В верхней части окна программы находится меню, при помощи которого можно осуществить переход в нужный раздел программы:
Для просмотра всех существующих хранилищ данных существует краткая и расширенная форма просмотра.
Краткая форма просмотра хранилищ данных
Перейти к данной форме можно при помощи кнопки «HOME» из меню программы:
Каждая строка таблицы содержит информацию об одном хранилище данных. На краткой форме мы можем увидеть следующую информацию:
Страна хранилища данных
Data Provider к которому относится данное хранилище. Кнопка  означает, что данные хранилища загружены с другого OAI-сервера.
Data Source Set - Название хранилища
OAI-PMH Schemas – схема трансформации формата, выбранная при создании хранилища. Подробнее смотри здесь.
Ingest – поле содержит информацию о способе создания хранилища (из локальной папки - Folder или с OAI-сервера – OAI-PMH) и формате данных.
Last Ingest - Дата последней загрузки данных
Next Ingest - Дата следующей загрузки, если это задано в планировщике задач. Подробнее об этом смотри здесь.
Records – количество данных в данном хранилище
При помощи кнопки  расположенной в верхней строке таблицы можно создать нового Data Provider’a. Подробнее смотри здесь.
Просмотр, редактирование и удаление Data Provider’a
Для просмотра хранилищ данных одного провайдера нужно щелкнуть по названию интересующего вас провайдера во втором столбце таблицы, расположенной на главной странице программы. В результате откроется следующая форма:
Таблица содержит информацию о хранилищах данных выбранного Data Provider’a (в данном случае RSL).
При помощи кнопок  можно отредактировать данные выбранного Data Provider’a или удалить его:
При помощи кнопки  можно создать нового Data Provider’a.
При помощи кнопки  можно обновить информацию о хранилищах данных текущего Data Provider’a.
Кнопки управления хранилищем данных
Для каждого хранилища данных имеется набор кнопок для управления:
Кнопки  и  -осуществляет переключение между краткой и расширенной формами просмотра хранилища данных,
 - позволяет редактировать хранилище;
 - позволяет удалить все записи данного хранилища (очистить хранилище);
 - позволяет удалить хранилище
Расширенная форма просмотра хранилища данных
Для перехода к расширенной форме просмотра хранилища нажимаем кнопку  :
Расширенная форма содержит полную информацию о хранилище данных - данные, которые мы вводим при создании хранилища (подробнее см. здесь), информацию о заданиях на загрузку и экспорт данных - Scheluled Tasks (подробнее см. планировщик задач), лог файлы, содержащие информацию о процессе загрузки данных.
Кнопка  служит для немедленного запуска процесса загрузки данных.
Кнопка  служит для вызова планировщика загрузки данных.
Кнопка  служит для немедленного запуска процесса экспорта данных
Кнопка  служит для вызова планировщика экспорта данных.
При помощи кнопки  можно обновить данные формы. Эта кнопка используется при загрузке данных.
Для возврата к краткой форме просмотра нажимаем кнопку 
Быстрый переход Go To
Для быстрого перехода к необходимому хранилищу данных используйте поле Go To, которое находится в меню программы. Введите первые символы названия хранилища данных, в которое вы хотите войти, и выберите нужное из выпадающего меню или введите полное имя хранилища и нажмите «Enter»:
Перед вами откроется расширенная форма выбранного вами хранилища данных:
При осуществлении каких-либо действий – создании провайдеров, хранилищ данных, загрузки данных, создании заданий планировщика задач и др. - под названием текущего окна будет выводиться сообщение о результате выполнения этих действий (зеленый текст) или об ошибках (красный текст):
Документация
В раздел документация можно перейти при помощи кнопки  из меню программы:
Документация доступна только на английском языке.
-
Создание Data Provider
Для начала работы необходимо создать Data Provider’a..
Для создания Data Provider’a переходим на главную страницу программы и нажимаем кнопку
Открывается окно создания Data Provider’a. В нем мы выбираем страну, вводим имя Data Provider’a (имя должно начинаться с буквы, и может содержать буквы, цифры и символ подчеркивания «_») и описание:
В результате выполнения этой операции получаем сообщение о том, что Data Provider RSL удачно создан:
При помощи кнопок можно отредактировать или удалить созданного Data Provider’a.
Для создания других Data Provider’ов необходимо повторить вышеописанные шаги.
-
Создание Data Source
Для каждого Data Provider’a может быть создано несколько хранилищ данных - Data Source.
Есть следующие доступные типы хранилищ данных:
Folder – данные загружаются из локальной папки, хранящейся на вашем компьютере, или по ftp или http протоколу. Загружаемые записи могут храниться в файлах в формате ISO2709, MarcXchange, oai_dc (или zip файл) и будут импортированы в REPOX в формате MarcXchange.
OAI-PMH – данные загружаются с другого OAI-сервера. Данный вид загрузки возможен только для записей в формате oai.
Z39.50 – данные загружаются по протоколу Z39.50.
Folder
Рассмотрим пример создания хранилища данных из папки, расположенной на вашем компьютере.
Для создания хранилища данных переходим на страницу выбранного провайдера и нажимаем кнопку «here» или «…Create Data Source…»:
Далее выбираем тип хранилища – Folder:
Набор полей формы может отличаться в зависимости от выбранного формата данных. Мы рассмотрим создание хранилища данных на примере формата ISO2709. Заполняем поля в соответствии с картинкой (или с вашими данными) поля «Schema» и «Metadata Namespace» заполняются автоматически при выборе формата:
Заполняем поле Retrieve Variant – в нашем случае Folder и вводим путь к папке, из которой будут загружены данные:
Также возможны варианты загрузки через ftp и http протоколы:
В данной инструкции эти варианты не рассматриваются.
В поле ID Policy мы задаем способ, которым будут формироваться ID записей, загруженных в REPOX. Если мы выбираем ID Gegerated, то REPOX будет генерировать свои (новые) ID для загруженных записей:
Этот способ будет неудобным в том случае, если мы будем в дальнейшем обращаться к данной папке и проверять наличие новых записей в ней при помощи планировщика задач. При выборе ID Generated каждый раз будут загружаться все записи, а не только новые. Если количество записей не очень большое, то это не имеет значения. При большом количестве записей лучше использовать другой способ – ID Extracted:
При выборе способа ID Extracted для записей, загруженных в REPOX, будут сохранены их ID, т.е. REPOX заберет ID из описаний загруженных записей. В этом случае при повторном обращении к папке с записями в REPOX будут загружаться только новые записи. Подробнее об этом см. Планировщик загрузки данных.
При выборе способа ID Extracted в форме добавляется поле Identifier XPath, вводим в это поле следующую фразу: /mx:record/mx:controlfield[tag="001"]
и поле Namespaces. Нажимаем кнопку «Add»:
И заполняем появившиеся поля как показано далее:
Namespace Prefix: mx
Namespace Uri: info:lc/xmlns/marcxchange-v1
Далее вводим название для создаваемого хранилища данных, описание и, при необходимости преобразовать данные в другой формат, заполняем поле Transformation:
Если вы не нашли нужного способа трансформации формата, то вы можете создать свой, для этого нажмите кнопку «New». Подробнее об этом в см. Schema Mapper.
После заполнения всех полей нажимаем кнопку «Save»:
Далее мы получаем сообщение, что хранилище данных Pamyat для Data Proveder’a RSL удачно создано:
Для загрузки данных в хранилище существует два способа: немедленно загрузить данные при помощи кнопку «Ingest Now» или при помощи планировщика задач (кнопка «Schedule Ingest»). Рассмотрим первый способ загрузки данных. Нажимаем кнопку «Ingest Now»:
Видим сообщение 
Через некоторое время, если в поле Number of Records не появилось количество загруженных записей, нажмите кнопку обновить: 
Видим результат выполнения операции, в хранилище загружены 4 записи:
Мы можем посмотреть Log-файл, который содержит информацию о выполнении загрузки данных. Этот же файл будет отправлен на e-mail администратора, который был указан при установке программы REPOX.
Также для загрузки данных можно использовать планировщик задач, который вызывается кнопкой «Schedule Ingest». Подробнее см. раздел Tasks.
Данные, загруженные в REPOX, могут быть экспортированы в XML-файл. Для этого необходимо заполнить поля строки Export на расширенной форме хранилища. Вводим путь, куда будут экспортированы данные, задаем число записей, которые будут добавлены в один файл, возможны варианты – по 1, 10, 100, 250, 1000 записей в файл или все записи в один файл. Т.о, если мы выбираем по1-ой записи в файл, то будет создано количество XML-файлов соответствующее количеству загруженных записей. После заполнения всех полей нажимаем кнопку «Export Now»:
Также может быть задано расписание экспорта записей в XML-файлы при помощи планировщика задач экспорта, который вызывается кнопкой «Schedule Export». Подробнее см. раздел Tasks
Для создания других хранилищ данных для данного Data Provider’a нужно нажать кнопку  , которая находится внизу окна, и повторить описанные выше шаги. Для создания хранилищ данных для других Data Provider’ов нужно перейти на главную страницу при помощи кнопки  выбрать нужного Data Provider’a (или создать нового) и создать для него новые хранилища.
На главной странице REPOX можно просмотреть все созданные хранилища данных:
OAI-PMH
При создании данного типа хранилища данные загружаются с других OAI-серверов. На этих серверах может быть установлено различное программное обеспечение, позволяющее отдавать OAI-данные, т.е. выступать в роли Data Provider’a, например, Repox, Rescarta, GreenStone и др. Процесс загрузки данных с OAI-серверов не зависит от программного обеспечения, установленного на удаленном oai-сервере.
OAI-PMH хранилища могут быть созданы для тех же Data Provider’ов для которых были созданы Folder хранилища или для новых Data Provider’ов. Рассмотрим создание OAI-PMH хранилища для Data Provider’а RSL.
Заходим с главной страницы программы в Data Provider’а RSL:
На странице Data Proveder RSL нажимаем ссылку :
В открывшемся окне выбираем тип хранилища OAI-PMH:
Далее заполняем поле OAI URL – URL OAI-сервера, с которого мы будем загружать данные. Рассмотрим создание OAI-PMH хранилища на примере OAI-сервера http://www.nature.com/oai/request, который был найден в Yandex по запросу OAI-сервер. Вводим URL OAI-сервера и нажимаем кнопку  - проверить адрес:
Через некоторое время в поле OAI Set появляется список сетов (наборов данных) доступных на этом сервере. На данном сервере доступны 182 сета. Более подробную информацию об этих сетах и формате предоставляемых данных можно узнать на oai-сервере, с которого мы собираемся загрузить данные:
Выбираем нужный нам сет (в нашем случае abm), вводим формат метаданных, поля «Schema» и «Metadata Namespace» заполняются автоматически при выборе формата:
Далее вводим название сета (как он будет называться у нашего Data Provider’a RSL), описание и, при необходимости преобразовать данные в другой формат, заполняем поле Transformation:
Если вы не нашли нужного способа трансформации формата, то вы можете создать свой, для этого нажмите кнопку «New». Подробнее об этом в разделе Schema Mapper.
После заполнения всех полей нажимаем кнопку «Save»:
Далее мы получаем сообщение, что хранилище данных abm_rsl для Data Proveder’a RSL удачно создано:
При помощи кнопки  переходим к расширенной форме созданного хранилища и загружаем данные при помощи кнопки  (или при помощи кнопки  Подробнее см. Планировщик загрузки данных)
:
Видим сообщение
Через некоторое время, если в поле Number of Records не появилось количество загруженных записей, нажмите кнопку обновить:
Видим результат выполнения операции, в хранилище загружены 295 записей:
Теперь рассмотрим создание нового хранилища данных для нового Data Provider’a.
Создаем нового Data Provider’a. Для этого перейдем на главную страницу программы и нажмем кнопку :
Заполняем форму создания Data Provider’a и нажимаем кнопку «Save»:
Далее создаем хранилище для RGB Data Provider’a при помощи кнопки  :
Выбираем тип хранилища OAI-PMH, вводим URL OAI-сервера и нажимаем кнопку «check» и выбираем сет для загрузки, заполняем поля формы и нажимаем кнопку «Save»:
Далее нажимаем кнопку «Ingest Now» для загрузки выбранных данных:
Загружено 1492 записи:
Переходим на главную страницу и видим все, созданные нами хранилища для двух Data Provider’ов – RSL и RGB:
Так же мы можем загрузить сразу все сеты, доступные на OAI-сервере. Рассмотрим эту возможность:
Можно использовать существующие Data Provider’ы или создать нового. Мы создали нового – Test. Теперь создадим для него хранилища данных. Рассмотрим загрузку всех сетов с сервера на примере OAI-сервера http://10.2.5.76:8085/repox/OAIHandler/ В форме создания Oai-PMH-хранилища заполняем поле OAI URL и нажимаем кнопку «Add All»:
Через некоторое время получаем сообщение о том, что хранилища данных были успешно созданы. Было создано 9 хранилищ, но данные в них еще не загружены. Переходим к расширенной форме просмотра первого хранилища данных – Pam_new при помощи кнопки :
Просматриваем описание хранилища, при необходимости редактируем его, нажав кнопку . Для загрузки данных, нажимаем кнопку  и через некоторое время кнопку :
Получаем результат – загружено 4 записи. Сворачиваем расширенную форму при помощи кнопки :
Далее последовательно повторяем описанные выше действия для всех 9-ти созданных хранилищ данных. Если данные не загружаются в хранилище, то, скорее всего, неправильно выбран формат данных. Измените его, перейдя на форму редактирования при помощи кнопки . Информацию о формате данных можно посмотреть на oai-сервере, с которого мы скачиваем данные. Получаем следующий результат:
  
|
