第 2 章

HPC高性能计算平台使用方法

·约 2 分钟

一、代码打包上传

  1. 在服务器上将代码打包：
tar -czvf HIPTrack.tar.gz HIPTrack

  1. 从服务器传到可以访问学校服务器的Windows端，从官网登入学校服务器。

  2. 在学校服务器右键点击文件需要上传到的目录，点击启动WebDav，复制链接，按 ctrl+v 粘贴到WinSCP，回车，连接服务器目录。

  3. 将需要上传的文件拖进传输队列中。

  4. 上传到服务器后解压：

tar -xvzf HIPTrack.tar.gz
  1. 检查配置文件：
# 检查路径
python tracking/create_default_local_file.py --workspace_dir . --data_dir ./data --save_dir ./output

注意：

  1. 手动检查 lib/train/admin/local.py 与 lib/test/evaluation/local.py
  2. 手动检查 experiments/*.yaml 文件

二、Conda环境搭建

加载conda环境：

source /share/apps/anaconda3/etc/profile.d/conda.sh

如果安装环境需要代理：

export HTTP_PROXY=http://211.67.63.75:3128
export HTTPS_PROXY=http://211.67.63.75:3128

例如：

pip install numpy==1.26.4 --proxy=http://211.67.63.75:3128

三、sbatch提交任务

1. 创建脚本

vim创建脚本，如 submit_HIPTrack.sh

2. 多卡训练脚本示例

#!/bin/bash
#SBATCH -J pytorch
#SBATCH -p gpu
#SBATCH -N 1
#SBATCH -n 16
#SBATCH --gres=gpu:2
#SBATCH -o /share/home/u241506xxxx/log_HIPTrack.txt

export PYTHONPATH=/share/home/u241506xxxx/code_lzq/HIPTrack:$PYTHONPATH
source /share/apps/anaconda3/etc/profile.d/conda.sh
conda activate HIPTrack
python -m torch.distributed.launch --nproc_per_node 2 --master_port 12312 \
/share/home/u241506xxxx/code_lzq/HIPTrack/lib/train/run_training.py --script hiptrack_seq --config \
hiptrack_seq --save_dir /share/home/u241506xxxx/code_xxx/HIPTrack/output --use_lmdb 0 --script_prv \
None --config_prv baseline --use_wandb 0 --distill 0 --script_teacher None --config_teacher None

3. 常用命令

# 提交任务
sbatch submit_HIPTrack.sh

# 查看任务队列，包括task_id、任务状态
squeue

# 终止任务
scancel [task_id]
← 上一章FRP内网穿透