文章主题:ModelArts, AI开发平台, Tensorflow, PyTorch

666AI工具大全,助力做AI时代先行者!

摘要:PyCharm在AI项目开发提供了优秀的代码编辑、调试、远程连接和同步能力,在开发者中广受欢迎。

使用PyCharm插件配合ModelArts:

一键帮助用户配置远程ModelArts Notebook,免去用户手工配置按需使用Notebook资源,启动停止,随心所欲本地代码提交至ModelArts训练任务,沉浸式AI开发体验

ModelArts是华为云的一体化AI开发平台,其“一站式”特性涵盖了AI开发的各个方面,包括数据处理、算法开发、模型训练和模型部署。在技术层面上,ModelArts能够支持各种不同的计算资源,使得开发者可以根据实际需求选择最适合自己的计算方式,而无需过多关注底层的细节和技术实现。此外,ModelArts也兼容多种主流的开源AI开发框架,如TensorFlow、PyTorch和MindSpore,同时也允许开发者使用自定义的算法框架,以满足个性化的使用需求。

AI模型开发的过程,称之为Modeling,一般包含两个阶段:

开发阶段:准备并配置环境,调试代码,使代码能够开始进行深度学习训练,推荐在ModelArts开发环境中调试。实验阶段:调整数据集、调整超参等,通过多轮实验,训练出理想的模型,推荐在ModelArts训练中进行实验。

在软件开发的流程中,有两个关键环节是可以互相转换的。首先,当软件开发过程中的代码稳定性得到保证后,项目就会进入到实验阶段。在这个阶段中,开发人员会通过不断的试验与调整,对超参数进行迭代,以优化模型的性能。其次,如果在实验阶段,开发人员提出了一种能够优化训练性能的新思路,那么他们可能会选择回到开发阶段,以便重新编写代码,将这种新思路融入到软件开发过程中。总的来说,这两个过程是相互关联、相互影响的,共同推动着软件开发向前发展。

1. 实操体验 How to Use

1.1 插件安装和登录

1.1.1 插件安装

为了进行ModelArts插件的安装,您可以在软件界面中选择“文件”>“设置”>“插件”,然后在Marketplace页面中输入“ModelArts”进行搜索,找到相应的插件后,点击“安装”按钮即可完成安装过程。

1.1.2 插件登录

在成功安装插件之后,您将在IDE的菜单栏中看到“ModelArts”选项。点击该选项,您将进入一个名为“Edit Credential”的页面。

要获取AK/SK,您可以点击插件中的”How to get AK/SK”选项,这将会引导您前往华为云文档。在那里,按照提供的指导信息,您可以轻松地获取AK/SK。接下来,只需将获取到的AK/SK输入到登录框中,并点击”OK”按钮,便可成功完成登录操作。

1.2 训练代码和数据准备

在本博客中,通过附件进行下载获取。

获取完代码和数据中,需要把训练数据上传至OBS中,为下一步提交训练作业做好准备。

在进入OBS控制台之前,我们需要确保已经创建了一个OBS桶。如果没有现有的桶,那么我们需要手动创建一个新的桶。接下来,在已有的桶下,我们需要新建一个名为“data”的文件夹。然后,将已经下载好的训练数据上传到这个新建的“data”文件夹中。

和data文件夹同级,创建一个job文件夹,用来存放提交的训练作业。

首先获取OBS桶地址,在网页端进行点击获取,地址类似为obs://3xdata

通过拼接获取到data和job文件夹OBS地址分别为:

data:obs://3xdata/data/

job:obs://3xdata/job/

1.3 提交训练作业

通过PyCharm把下载好的训练文件打开,点击插件的Training Job进行训练作业提交

在打开的页面中,选择和填入如下参数:

Engine必须选择tensorflow_2.1.0启动文件和目录必须位于当前打开项目OBS Path为上一步获得地址Specifications可以选择免费规格或者CPU/GPU规格

填写无误后,点击Apply and Run, 等待训练作业运行完成即可看到如下图日志输出

点击日志中的网站链接地址,可以在网页端看当训练作业相关详情,完成网页端信息截图即可

恭喜大家,至此,我们的在ModelArts上进行模型开发的体验就顺利完成了。

2. 更多探索 Learn More

如果拥有PyCharm专业版,还可以体验更多丰富功能,使用Notebook进行开发调试后,再进行训练作业提交,可以参考https://support.huaweicloud.com/devtool-modelarts/devtool-modelarts_0016.html

本文作者小马老师将在10月11日直播详细介绍【试驾PyCharm“混动”AI开发初体验】,欢迎各位点击此处参与。

点击关注,第一时间了解华为云新鲜技术~

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!

Leave a Reply

Your email address will not be published. Required fields are marked *