Быстрый старт работы на суперкомпьютерах нивц мгу
|
Скачать 168.82 Kb.
|
|
Быстрый старт Быстрый старт работы на суперкомпьютерах НИВЦ МГУ В данном документе мы не будем касаться вопросов программирования - только компиляция, запуск, использование готовых пакетов. Суперкомпьютерный комплекс НИВЦ МГУ включают в себя суперкомпьютеры “Ломоносов” и “Чебышёв”. На них установлены разные комплекты ПО и работать с ними в общем случае надо по-разному. Если явно не указано к какому суперкомпьютеру имеет отношение инструкция, значит она применима ко всем суперкомпьютерам комплекса. Все суперкомпьютеры комплекса используют системы управления задачами. Это значит, что для того, чтобы ваша задача запустилась, её необходимо сначала поставить в очередь. Когда задача дойдёт до головы очереди и для неё будут готовы ресурсы, она запустится. На каждом суперкомпьютере есть несколько типов узлов, все они разделены на независимые очереди (разделы), в каждой очереди установлены свои ограничения. В таблицах ниже перечислены все очереди наших суперкомпьютеров с их параметрами. “max ядро-часов” означает лимит ядро-часов на пользователя. Ядро-часы для задачи - произведение числа занятых ядер и затребованного времени для задачи в часах. Сумма ядро-часов запущенных пользователем задач не может превышать этот лимит. “max задач” - максимальное число задач пользователя в очереди, включая запущенные. “max запущенных” - максимальное число запущенных задач пользователя. “max ядер одновременно” - максимальное число одновременно занятых ядер пользователем. Если у Вас есть необходимость использовать все ресурсы, или временно повысить приоритет, обратитесь с заявкой к Вл.В. Воеводину (voevodin (at) parallel.ru). На каждом суперкомпьютере есть раздел test, предназначенный для отладочных запусков. Время работы задач на нём сильно ограничено, поэтому для реального счёта их использовать не рекомендуется. На суперкомпьютере Ломоносов также есть раздел gputest для отладки GPU-приложений. Конфигурацию разделов суперкомпьютеров комплекса смотрите на странице справки. Файловая система На всех суперкомпьютерах НИВЦ МГУ используются сетевые файловые системы, поэтому на вычислительные узлы не требуется ничего копировать. Однако, скорость работы сетевой файловой системы намного ниже, чем локальной на жёстком диске, поэтому для хранения временных файлов мы настоятельно рекомендуем использовать каталог /tmp. На большинстве узлов этот каталог расположен в оперативной памяти и работает очень быстро, но его размер ограничен. Если требуется создавать большие временные файлы, используйте узлы с локальными дисками (см. таблицу). На суперкомпьютере “Чебышёв” домашние каталоги располагаются на общей файловой системе и все файлы домашнего каталог доступны на вычислительных узлах. На суперкомпьютере “Ломоносов” домашние каталоги располагаются на выделенной файловой системе и не доступны на вычислительных узлах. На вычислительных узлах вместо домашнего каталога пользователя видится содержимое каталога ~/_scratch. Поэтому перед запуском программы скопируйте её и все нужные ей файлы в каталог ~/_scratch (или его подкаталоги). Содержимое каталогов ~/_scratch периодически очищается, поэтому не храните там данные в течении длительного времени и копируйте их обратно в домашний каталог. Как на “Чебышёве”, так и на “Ломоносове” есть разделы с жёсткими дисками. Эти диски примонтированы в каталог /tmp, поэтому временные файлы стоит хранить именно там. На разделах без жёстких дисков каталоги /tmp расположены в оперативной памяти, поэтому их размер ограничен. Состав системного ПО Ломоносов На суперкомпьютере “Ломоносов” установлена система управления задачами SLURM. Перед началом работы выполните команду module add slurm. В очередь разрешается ставить только скрипты, которые, собственно, производят запуск задачи. Для облегчения запуска мы создали три варианта скриптов:
Постановка задачи в очередь осуществляется командой sbatch, например, так: sbatch -n 128 ompi ./mytask В этом примере будет запущена задача, для которой требуется 128 MPI-процессов. По умолчанию будет выделено столько узлов, чтобы в сумме они содержали не менее 128 ядер - по одному на MPI-процесс. Ключ -n задаёт число MPI-процессов. Количество нитей или GPU-карт опциями sbatch нельзя - все ресурсы выделенных задаче узлов (память, диски, ядра процессора, GPU и т.п.) будут ей доступны. Если требуется запустить на каждом узле не по одному MPI-процессу на ядро, а меньше, например, для запуска гибридного приложения, можно использовать ключ –ntasks-per-node, который задаёт число процессов на узел. Например: sbatch -n128 --ntasks-per-node 2 ompi ./mytask В этом случае задаче будет выделено 64 узла и на каждом будет запущено 2 MPI-процесса (в сумме - 128). Изменить лимит времени для задачи можно так: sbatch -n128 --time=1-10:30:00 ompi ./mytask Для задачи будет затребован один день, 10 часов и 30 минут. Более подробно смотрите в справке (man sbatch). Для запуска интерактивных приложений используйте вместо sbatch команду srun. Для того, чтобы поставить задачу в раздел, отличный от раздела по умолчанию, например, test или gpu, используйте ключ -p. например: sbatch -p test -n8 ./my_test_task Для просмотра задач в очереди используйте команду squeue [-p имя_очереди] Для удаления задачи используйте команду scancel TASK_ID, где TASK_ID - номер задачи. Командой sinfo пожно получить общую информацию об очереди. Компиляция осуществляется на отдельном хосте, попасть туда можно командой ssh compiler. После завершения компиляции выйдите с него, нажав Ctrl-D или введя команду exit. Можно зайти на него непосредственно из internet, указав в ssh-клиенте адрес compiler.lomonosov.parallel.ru. Для управления конфигурациями ПО на “Ломоносове” используется пакет Environment Modules. С помощью команды module available можно посмотреть список доступных модулей, командой module add МОДУЛЬ [МОДУЛЬ …] - загрузить его. Подробнее смотрите в справке (man module). Все компиляторы, реализации MPI, MKL и некоторые программные пакеты имеют свои модули, которые необходимо загрузить перед использованием. На суперкомпьютере “Ломоносов” доступны следующие компиляторы:
На суперкомпьютере “Ломоносов” доступны следующие реализации MPI:
Обратите внимание на то, что перед запуском программы, также нужно загрузить соответствующие модули. Для компиляции параллельных программ используйте команды: mpicc, mpicxx, mpif77, mpif90 для программ на Си, С++, фортране и фортране-90 соответственно. Например: mpicc mytest.c -o mytest mpif90 test2.fort -o test2 mpicxx mytest.cpp -o mytest_cpp Кроме MPI можно использовать технологии OpenMP и CUDA. Для использования OpenMP в программе используйте соответствующие ключи компилятора:
Для использования CUDA используется компилятор nvcc. Поддержка CUDA также есть в компиляторе PGI. Кроме прямого использования CUDA, PGI поддерживает технологию OpenACC, с помощью которой можно использвать GPU. Подробнее смотрите в документации на OpenACC и компилятор PGI (например, в каталоге /opt/pgi/linux86-64/12.9/doc/). Чебышёв На суперкомпьютере “Чебышёв” установлена система управления задачами Cleo. Для постановки задачи в очередь можно использовать команду mpirun, либо команду cleo-submit. Ключ -np задаёт число MPI-процессов, ключ -q - имя очереди, если оно отлично от очереди по умолчанию. Например: mpirun -np 10 ./my_program cleo-submit -np 16 -q test ./mytest Для явного указания числа MPI-процессов на узле используйте ключ -t ppn=X, где X - число процессов на узле. Например: cleo-submit -np 8 -t ppn=2 ./myprog В этом примере задаче будет выделено 4 узлоа и на каждом запустится по 2 MPI-процесса. Для просмотра состояния очереди используйте команду tasks. Чтобы явно задачть имя очереди используйте ключ -q. Для удаления задачи используйте команду tasks [-q имя_очереди] -d TASK_ID Здесь TASK_ID - номер задачи. Для выбора варианта MPI используется пакет mpi-selector:
По умолчанию команды mpicc/mpicxx, mpif77/mpif90 работают с компилятором Intel и вариантом MPI mvapich. После вызова mpi-selector –set необходимо открыть новую сессию на суперкомпьютер - новые настройки заработают только в новой сессии. На суперкомпьютере “Ломоносов” доступны следующие компиляторы:
На суперкомпьютере “Ломоносов” доступны следующие реализации MPI:
Для компиляции параллельных программ используйте команды: mpicc, mpicxx, mpif77, mpif90 для программ на Си, С++, фортране и фортране-90 соответственно. Например: mpicc mytest.c -o mytest mpif90 test2.fort -o test2 mpicxx mytest.cpp -o mytest_cpp Кроме MPI можно использовать технологию OpenMP. Для использования OpenMP в программе используйте соответствующие ключи компилятора:
Подключение библиотек ## Чебышёв На суперкомпьютере доступен комплект библиотек Intel MKL. Все необходимые переменные окружения прописываются автоматически, указывать полные пути к include-файлам и библиотекам не нужно, за исключением статических библиотек. Ломоносов На суперкомпьютере доступен комплект библиотек Intel MKL, а также библиотека CUDA. Для подключения MKL используйте команду module add mkl. Для подбора набора опций командной строки линкера используйте MKL Link Advisor http://software.intel.com/en-us/articles/intel-mkl-link-line-advisor При использовании CUDA с Intel Fortran указывайте ключи -assume nounderscore -names uppercase, для корректного преобразования имён функций. Не забудьте подключить модуль cuda. |
Похожие:
 |
Тематический сервер нивц мгу по численному анализу |
|
Инструкция по безопасности 4 Быстрый старт 5 Для получения дополнительной информации о функциях и пользовательском интерфейсе конвектомата, см. Руководство по Обслуживанию и... |
|
Как пользоваться этим руководством ... |
|
Руководство по интеграции. Быстрый старт. Содержание Битрикс: Управление сайтом. В документе подробно рассматривается процедура интеграции продукта в новый или уже существующий сайт.... |
|
Акционерное общество Научно-производственное предприятие «Старт»... |
 |
Инструкция по применению лахта ® быстрый ремонт Лахта® быстрый ремонт применяется для восстановления поверхностей (сколов, выбоин, эрозии) бетонных, железобетонных, кирпичных, пенобетонных... |
|
О проведении котировочной сессии в электронной форме на право заключить договор Наименование: Открытое акционерное общество «Научно-производственное предприятие «Старт» (оао «нпп «Старт») |
|
О проведении котировочной сессии в электронной форме на право заключить договор Наименование: Открытое акционерное общество «Научно-производственное предприятие «Старт» (оао «нпп «Старт») |
|
Инструкция пользователя геопортала мгу (2014 год) Уважаемые пользователи... Доступ к архивным снимкам итц «СканЭкс» spot2, spot4, Formosat-2, Radarsat-1 за период с 2010 по 2012 гг без ограничений |
|
Инструкция по оформлению заявки на проведение процедуры закупки март,... Отдел планирования и организации закупок товаров, выполнения работ, оказания услуг для физического факультета мгу |
|
Документация на проведениЕ котировочной сессии в электронной форме... Наименование: Открытое акционерное общество «Научно-производственное предприятие «Старт» (оао «нпп «Старт») |
|
Положение регата с пересадкой в классе "Луч" 2009 Я/к мгу Мгу клязьминского водохранилища. Регата проводится инициативной группой выпускников мгу с целью развития и популяризации парусного... |
|
14 (четырнадцати) рабочих дней с момента подписания Договора обеими сторонами Муниципальное бюджетное учреждение «Физкультурно-оздоровительный комплекс «Старт» (мбу «фок «Старт»), именуемое в дальнейшем «Покупатель»,... |
|
Тема урока Кол-во часов Оздорови-тельный бег, низкий старт(н/с), высокий старт(в/с), стартовый разбег(с/р), многоскоки. Упражнение восстанав-ливающее дыхание... |
|
1назначение 3 2технические данные 4 3комплектность 7 4общие указания по эксплуатации 7 Пу 019-1-3 "Старт-8" (в дальнейшем – пу) и предназначено для изучения его технических характеристик, принципа работы, порядка размещения... |
|
Спортивно-игровой комплекс «Ранний старт эконом» Инструкция по эксплуатации Поздравляем Вас! Спорткомплексы «Ранний старт» подходят для детей от рождения до 6 лет. Автором спортивных комплексов и приложений к ним является... |