更新时间:2025-03-04 gmt 08:00

使用pycharm toolkit插件连接notebook-九游平台

由于ai开发者会使用pycharm工具开发算法或模型,为方便快速将本地代码提交到modelarts的训练环境,modelarts提供了一个pycharm插件工具pycharm toolkit,协助用户完成ssh远程连接notebook、代码上传、提交训练作业、将训练日志获取到本地展示等,用户只需要专注于本地的代码开发即可。

本章节介绍了使用pycharm toolkit如何连接notebook。

视频介绍

使用限制

  • 当前仅支持2019.2-2023.2之间(包含2019.2和2023.2)版本,包括社区版和专业版。
  • 使用pycharm toolkit远程连接notebook开发环境,仅限pycharm专业版。
  • 使用pycharm toolkit提交训练作业,社区版和专业版都支持,pycharm toolkit latest版本仅限提交新版训练作业。
  • pycharm toolkit工具仅支持windows版本的pycharm。
表1 toolkit(latest)功能列表

支持的功能

说明

对应操作指导

ssh远程连接

支持ssh远程连接modelarts的notebook开发环境。

配置pycharm toolkit远程连接notebook

训练模型

支持将本地开发的代码,快速提交至modelarts并自动创建新版训练作业,在训练作业运行期间获取训练日志并展示到本地。

使用pycharm toolkit创建并调试训练作业

obs上传下载

上传本地文件或文件夹至obs,从obs下载文件或文件夹到本地。

使用pycharm上传数据至notebook

前提条件

本地已安装2019.2-2023.2之间(包含2019.2和2023.2)版本的pycharm专业版。ssh远程开发功能只限pycharm专业版。单击下载并完成安装。

step1 下载并安装pycharm toolkit

在pycharm中选择“file > settings > plugins”,在marketplace里搜索“modelarts”,单击“install”即可完成安装。

step2 创建notebook实例

创建一个notebook实例,并开启远程ssh开发,配置远程访问ip白名单。该实例状态必须处于“运行中”,具体参见创建notebook实例章节。

step3 登录插件

使用访问密钥完成登录认证操作如下:

  1. 打开已安装toolkit工具的pycharm,在菜单栏中选择“modelarts > edit credential”
    图1 edit credential

    如果菜单栏中找不到“modelarts > edit credential”,可能是pycharm版本过高,pycharm toolkit未适配2023.2之后版本的pycharm工具。请下载2019.2-2023.2之间(包含2019.2和2023.2)版本的pycharm专业版工具。

  2. 在弹出的对话框中,选择您使用的modelarts所在区域、填写ak、sk(获取方式参考链接),然后单击“ok”完成登录。
    • “region”:从下拉框中选择区域。必须与modelarts管理控制台在同一区域。
    • “project”:region选择后,project自动填充为region对应的项目。
    • “access key id”:填写访问密钥的ak。
    • “secret access key”:填写访问密钥的sk。
    图2 填写区域和访问密钥
  3. 查看认证结果。

    在event log区域中,当提示如下类似信息时,表示访问密钥添加成功。

    16:01validate credential success: the huawei cloudcredential is valid.

step4 插件自动化配置

  1. 在本地的pycharm开发环境中,单击modelarts > notebook > remote config...,配置插件。
    图3 配置插件
  2. 此时,会出现该账号已创建的所有包含ssh功能的notebook列表,下拉进行选择对应notebook。
    图4 notebook列表
    • keypair: 需要选择保存在本地的notebook对应的keypair认证。即创建notebook时创建的密钥对文件,创建时会直接保存到浏览器默认的下载文件夹中。
    • pathmappings: 该参数为本地ide项目和notebook对应的同步目录,默认为/home/ma-user/work/project名称,可根据自己实际情况更改。
  3. 单击“apply”,配置完成后,重启ide生效。

    重启后初次进行update python interpreter需要耗费20分钟左右。

step5 使用插件连接云上notebook

与notebook断开连接的状态下,单击notebook名称,根据提示启动本地ide与notebook的连接(默认启动时间4小时)。

图5 启动连接notebook

连接状态下,单击notebook名称,根据提示断开本地ide与云上notebook的连接。

图6 停止连接notebook

step6 同步上传本地文件至notebook

本地文件中的代码直接复制至本地ide中即可,本地ide中会自动同步至云上开发环境。

初始化同步

在本地ide的project目录下,单击右键,选择“deployment”,单击“upload to xxx”(notebook名称),将本地工程文件上传至指定的notebook。

图7 同步本地文件至notebook

后续同步:

只需修改代码后保存(ctrl s),即可进行自动同步。

插件安装完成后在本地ide中开启了“automatic upload”,本地目录中的文件会自动上传至云端开发环境notebook。如果未开启,请参考下图开启自动上传。

图8 开启自动上传

step7 远程调试

单击本地ide右下角interpreter,选择notebook的python解释器。

图9 选择python解释器

像本地运行代码一样,直接单击运行按钮运行代码即可,此时虽然是在本地ide点的运行按钮,实际上运行的是云端notebook里的代码,日志可以回显在本地的日志窗口。

图10 查看运行日志

也可以单击本地ide右上角的run/debug configuration按钮来设置运行参数。

图11 设置运行参数(1)

选择远程连接到云上开发环境实例对应的python解释器。

图12 设置运行参数(2)

当需要调试代码时,可以直接打断点,然后使用debug方式运行程序。

图13 使用debug方式运行程序

此时可以进入debug模式,代码运行暂停在该行,且可以查看变量的值。

图14 debug模式下查看变量值

相关文档

网站地图