mlops_platform/documentation
7
0
Fork 0
Code Issues 3 Pull requests Projects Releases Packages Wiki Activity

Уточнения по charisma

Browse source
This commit is contained in:
Georgii Zhulikov 2025-08-20 17:50:00 +03:00
parent 8e0ca08813
commit e13bcd81c7
1 changed files with 10 additions and 6 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

16
pages/charisma.md
View file

@ -19,7 +19,7 @@
После успешного прохождения регистрации, вы получите логин и пароль для ssh-доступа к суперкомпьютеру. Чтобы фреймворк мог загружать задачи на суперкомпьютер, нужно добавить эти реквизиты в модуль. После успешного прохождения регистрации, вы получите логин и пароль для ssh-доступа к суперкомпьютеру. Чтобы фреймворк мог загружать задачи на суперкомпьютер, нужно добавить эти реквизиты в модуль.
Если у вас есть доступ к фреймворку средствами kubernetes, реквизиты можно добавить, применив следующий манифест Чтобы у приложения был доступ к реквизитам, можно добавить в git-репозиторий приложения следующий манифест:
```yaml ```yaml
apiVersion: v1 apiVersion: v1
@ -32,7 +32,7 @@ metadata:
type: Opaque type: Opaque
``` ```
Главная информация здесь в поле `data.credentials` - это строка `user:password`, закодированная в base64. Имя `metadata.name` можно указать любое. Пространство имён `metadata.namespace` - это название приложения, такое же как в базовых компонентах, размещённых в папке app. Главная информация здесь в поле `data.credentials` - это строка `user:password`, закодированная в base64. Имя `metadata.name` можно указать любое. Пространство имён `metadata.namespace` - это название приложения, такое же как в остальных базовых компонентах, размещённых в папке app.
Альтернативно, в манифесте `ExperimentPipeline` который будет содержать этап подключения к суперкомпьютеру, можно указать переменные окружения `UNIP_MLDEV_CHARISMA_USERNAME` и `UNIP_MLDEV_CHARISMA_PASSWORD`: Альтернативно, в манифесте `ExperimentPipeline` который будет содержать этап подключения к суперкомпьютеру, можно указать переменные окружения `UNIP_MLDEV_CHARISMA_USERNAME` и `UNIP_MLDEV_CHARISMA_PASSWORD`:
@ -134,13 +134,13 @@ environ:
UNIP_MLDEV_CHARISMA_PIPELINE_SECRET: myapi-internal-cred UNIP_MLDEV_CHARISMA_PIPELINE_SECRET: myapi-internal-cred
``` ```
- `UNIP_MLDEV_CHARISMA_OUTPUT` - Локальный путь к папке, куда будет загружен SIF-образ - `UNIP_MLDEV_CHARISMA_OUTPUT` - Локальный путь к папке, куда будет сохранён SIF-образ
- `UNIP_MLDEV_CHARISMA_SSH_SECRET` - Название секрета с реквизитами доступа к cHARISMa в пространстве имён приложения - `UNIP_MLDEV_CHARISMA_SSH_SECRET` - Название секрета с реквизитами доступа к cHARISMa в пространстве имён приложения
- `UNIP_MLDEV_CHARISMA_PIPELINE_SECRET` - Название внутреннего секрета, используемого API-компонентом пайплайна подключения к cHARISMa. В формате `{apicmp_name}-internal-cred` - `UNIP_MLDEV_CHARISMA_PIPELINE_SECRET` - Название внутреннего секрета, используемого API-компонентом пайплайна подключения к cHARISMa. В формате `{apicmp_name}-internal-cred`
- Для доступа к пайплайну нужен соответствующий API-компонент. При создании API-компонента в пространстве имён приложения также создаются несколько объектов Secret с разными видами реквизитов. Их имена генерируются автоматически на основе имени API-компонента. - Для доступа к пайплайну нужен соответствующий API-компонент. При создании API-компонента в пространстве имён приложения также создаются несколько объектов Secret с разными видами реквизитов. Их имена генерируются автоматически на основе имени API-компонента.
После этого сборку можно начать такой же командой, как для обычного MLDev эксперимента: `mldev run -f experiments/experiment-unip-pipeline.yaml`. Сборка SIF-образа может занимать много вычислительных ресурсов и оперативной памяти. После этого сборку можно начать командой `mldev run -f experiments/experiment-unip-pipeline.yaml`. Сборка SIF-образа может занимать много вычислительных ресурсов и оперативной памяти.
После завершения сборки в корневой папке проекта должна появиться следующая структура: После завершения сборки в корневой папке проекта должна появиться следующая структура:
@ -156,7 +156,7 @@ environ:
   └── platform-reg.stratpro.hse.ru_my_lab_my-stage_0d00739.sif    └── platform-reg.stratpro.hse.ru_my_lab_my-stage_0d00739.sif
``` ```
Как и для обычного MLDev-пайплайна, создаются наборы файлов сборки контейнеров для каждого этапа в `build/containers/` и сгенерированный манифест `ExperimentPipeline` в `build/pipelines/`. Здесь создаются наборы файлов сборки контейнеров для каждого этапа в `build/containers/` и сгенерированный манифест `ExperimentPipeline` в `build/pipelines/`.
Помимо этого, собранный SIF-контейнер помещается в `build/sif/`. Помимо этого, собранный SIF-контейнер помещается в `build/sif/`.
@ -199,4 +199,8 @@ environ:
} }
] ]
} }
``` ```
Если запуск был успешен, в [личном кабинете](https://lk.hpc.hse.ru/) отдела суперкомпьютерного моделирования должна появиться соответствующая вычислительная задача.
Результаты работы контейнера на суперкомпьютере будут автоматически скопированы по указанному пути расположения выходной переменной. В примере это `test1/outputs/my_result/`. Получить доступ к этим результатам можно через файловый API.