数据传输方案和传输节点

交我算HPC+AI集群包含两个存储池,其中 lustre 存储用于 small, cpu, huge, 192c6t, dgx2, arm128c256g 以及相应的debug队列,对应的home目录路径为/lustre/home/acct-主帐号/主帐号或子帐号; gpfs 存储用于 64c512g, a100 以及相应的debug队列,对应的home目录路径为/dssg/home/acct-主账号/主帐号或子帐号。

传输方案

对于数据传输,我们为您提供如下解决方案:

  1. 少量数据传输,集群提供了专门用于数据传输的节点 (data.hpc.sjtu.edu.cn, sydata.hpc.sjtu.edu.cn),可以直接使用 putty, filezilla 等客户端,或在本地使用 scp, rsync 命令向该节点发起传输请求(因安全策略升级,在集群的终端上不支持 scp/rsync 的远程传输功能,所以需要从用户本地终端使用 scp/rsync 命令)。

  2. 1TB-1PB数据传输,强烈建议您联系我们,将硬盘等存储设备送至网络信息中心进行传输。

  3. 超过1PB的数据,请您与我们联系,由计算专员根据具体情况为您解决数据传输问题。

数据传输节点

思源一号传输节点地址为sydata.hpc.sjtu.edu.cn

π 2.0/AI/ARM 集群传输节点地址为data.hpc.sjtu.edu.cn

注意:

  1. 推荐使用数据传输节点(而不是登录节点)进行数据传输,不会占用登录节点资源并且多进程或多用户同时传输不会受限于 CPU。

  2. 数据传输节点仅用于批量数据传输,请勿在此节点上运行与数据传输无关的应用,如编译程序、管理作业等。如果发现此类行为,平台将视情况取消相关帐号使用数据传输节点的权利。


最后更新: 2024 年 11 月 19 日