Charisma first half
This commit is contained in:
parent
b606038efe
commit
8549b6ab5f
1 changed files with 130 additions and 0 deletions
130
pages/charisma.md
Normal file
130
pages/charisma.md
Normal file
|
|
@ -0,0 +1,130 @@
|
||||||
|
# Подключение к суперкомпьютеру cHARISMa
|
||||||
|
|
||||||
|
Вычислительные эксперименты с высокими требованиями к вычислительным ресурсам можно запускать на суперкомпьютере cHARISMa. Процесс подключения и запуска включает в себя следующие шаги:
|
||||||
|
|
||||||
|
1. Получить доступ к суперкомпьютеру
|
||||||
|
2. Создать в пространстве имён приложения секрет с реквизитами доступа.
|
||||||
|
3. Создать MLDev-пайплайн вычислительного эксперимента
|
||||||
|
1. Создать в MLDev-пайплайне объект класса `CharismaStage` на основе `ContainerStage` этапа, запускаемого на суперкомпьютере.
|
||||||
|
4. Собрать MLDev-пайплайн, получив в результате:
|
||||||
|
1. ExperimentPipeline
|
||||||
|
2. Sif-образ docker
|
||||||
|
5. Загрузить sif-образ docker в файловое хранилище S3
|
||||||
|
6. Запустить пайплайн
|
||||||
|
|
||||||
|
|
||||||
|
## Настройка доступа к суперкомпьютеру
|
||||||
|
|
||||||
|
Для получения реквизитов доступа к суперкомпьютеру cHARISMa нужно зарегистрироваться - https://hpc.hse.ru/users/registration
|
||||||
|
|
||||||
|
После успешного прохождения регистрации, вы получите логин и пароль для ssh-доступа к суперкомпьютеру. Чтобы фреймворк мог загружать задачи на суперкомпьютер, нужно добавить эти реквизиты в модуль.
|
||||||
|
|
||||||
|
Если у вас есть доступ к фреймворку средствами kubernetes, реквизиты можно добавить, применив следующий манифест
|
||||||
|
|
||||||
|
```yaml
|
||||||
|
apiVersion: v1
|
||||||
|
data:
|
||||||
|
credentials: dXNlcjpwYXNzd29yZA==
|
||||||
|
kind: Secret
|
||||||
|
metadata:
|
||||||
|
name: charisma-ssh-credentials
|
||||||
|
namespace: pu-{username}-pa-{appname}
|
||||||
|
type: Opaque
|
||||||
|
```
|
||||||
|
|
||||||
|
Главная информация здесь в поле `data.credentials` - это строка `user:password`, закодированная в base64. Имя `metadata.name` можно указать любое. Пространство имён `metadata.namespace` - это название приложения, такое же как в базовых компонентах, размещённых в папке app.
|
||||||
|
|
||||||
|
Альтернативно, в манифесте `ExperimentPipeline` который будет содержать этап подключения к суперкомпьютеру, можно указать переменные окружения `UNIP_MLDEV_CHARISMA_USERNAME` и `UNIP_MLDEV_CHARISMA_PASSWORD`:
|
||||||
|
|
||||||
|
```yaml
|
||||||
|
apiVersion: "unified-platform.cs.hse.ru/v1"
|
||||||
|
kind: ExperimentPipeline
|
||||||
|
metadata:
|
||||||
|
name: my-pipeline
|
||||||
|
...
|
||||||
|
stages:
|
||||||
|
- name: my-charisma-stage
|
||||||
|
...
|
||||||
|
entryPoint:
|
||||||
|
cmd:
|
||||||
|
- python
|
||||||
|
- main.py
|
||||||
|
env:
|
||||||
|
- name: UNIP_MLDEV_CHARISMA_USERNAME
|
||||||
|
value: "user"
|
||||||
|
- name: UNIP_MLDEV_CHARISMA_PASSWORD
|
||||||
|
value: "password"
|
||||||
|
```
|
||||||
|
|
||||||
|
## Создание MLDev-пайплайна эксперимента с подключением к суперкомпьютеру
|
||||||
|
|
||||||
|
Для подключения к cHARISMa необходимо создать этап типа `CharismaStage` в пайплайне MLDev, взяв за основу сущестующий этап `ContainerStage`.
|
||||||
|
|
||||||
|
При этом, в `ContainerStage` вместо лимитов `cpu`, `memory`, `gpu` нужно указывать в разделе лимитов:
|
||||||
|
|
||||||
|
- `time` - время, которое бронируется на суперкомпьютере, строка в формате `D-HH:MM:SS` - `Дни-Часы:Минуты:Секунды`.
|
||||||
|
- `nodes` - целое число, количество узлов
|
||||||
|
- `cpus` - целое число, количество CPU
|
||||||
|
- `gpus` - целое число, количество GPU
|
||||||
|
- `node_type` - строка, тип вычислительного узла в формате `type_a`. Возможные типы - https://hpc.hse.ru/hardware/hpc-cluster
|
||||||
|
|
||||||
|
В `UnipPipeline` нужно включить `CharismaStage`, не включая соответствующий `ContainerStage`.
|
||||||
|
|
||||||
|
```yaml
|
||||||
|
stage: !BasicStage &stage
|
||||||
|
name: stage
|
||||||
|
inputs:
|
||||||
|
- !StageVar
|
||||||
|
name: my_data
|
||||||
|
outputs:
|
||||||
|
- !StageVar
|
||||||
|
name: my_result
|
||||||
|
script:
|
||||||
|
- python main.py
|
||||||
|
|
||||||
|
my_container_stage: !ContainerStage &my_container_stage
|
||||||
|
name: my-stage
|
||||||
|
base_image: platform-reg.stratpro.hse.ru/my_lab/project:9b6adde
|
||||||
|
stage: *stage
|
||||||
|
build:
|
||||||
|
<<: *build
|
||||||
|
code: *code
|
||||||
|
resource_limits:
|
||||||
|
time: 0-01:00:00 # ЧЧ:ММ:СС
|
||||||
|
nodes: 1
|
||||||
|
cpus: 4
|
||||||
|
gpus: 1
|
||||||
|
node_type: type_a # или type_b, type_c, ...
|
||||||
|
|
||||||
|
|
||||||
|
my_charisma_stage: !CharismaStage &charisma_stage_train
|
||||||
|
name: my-charisma-stage
|
||||||
|
sif_input: charisma_sif
|
||||||
|
stage: *my_container_stage
|
||||||
|
```
|
||||||
|
|
||||||
|
## Сборка MLDev-пайплайна
|
||||||
|
|
||||||
|
В качестве результата работы пайплайна будет собран SIF-образ, который можно запускать на вычислительных узлах. Он собирается с помощью платформы Singularity, которую нужно установить. Инструкция по установке - https://docs.sylabs.io/guides/4.3/admin-guide/installation.html
|
||||||
|
|
||||||
|
Помимо определения самого эксперимента и общей настройки MLDev, для сборки пайплайна с `CharismaStage` нужно добавить дополнительные переменные окружения в `.mldev/config.yaml`
|
||||||
|
|
||||||
|
```yaml
|
||||||
|
environ:
|
||||||
|
... # остальные переменные
|
||||||
|
UNIP_MLDEV_CHARISMA_OUTPUT: ./build/sif
|
||||||
|
UNIP_MLDEV_CHARISMA_SSH_SECRET: charisma-ssh-credentials
|
||||||
|
UNIP_MLDEV_CHARISMA_PIPELINE_SECRET: myapi-internal-cred
|
||||||
|
```
|
||||||
|
|
||||||
|
- `UNIP_MLDEV_CHARISMA_OUTPUT` - Локальный путь к папке, куда будет загружен SIF-образ
|
||||||
|
- `UNIP_MLDEV_CHARISMA_SSH_SECRET` - Название секрета с реквизитами доступа к cHARISMa в пространстве имён приложения
|
||||||
|
- `UNIP_MLDEV_CHARISMA_PIPELINE_SECRET` - Название внутреннего секрета, используемого API-компонентом пайплайна подключения к cHARISMa. В формате `{apicmp_name}-internal-cred`
|
||||||
|
- Для доступа к пайплайну нужен соответствующий API-компонент. При создании API-компонента в пространстве имён приложения также создаются несколько объектов Secret с разными видами реквизитов. Их имена генерируются автоматически на основе имени API-компонента.
|
||||||
|
|
||||||
|
|
||||||
|
После этого сборку можно начать такой же командой, как для обычного MLDev эксперимента: `mldev run -f experiments/experiment-unip-pipeline.yaml`
|
||||||
|
|
||||||
|
Сборка SIF-образа может занимать много вычислительных ресурсов и оперативной памяти.
|
||||||
|
|
||||||
|
|
||||||
Loading…
Reference in a new issue