文章主题:ModelArts, AI开发平台, Tensorflow, PyTorch
摘要:PyCharm在AI项目开发提供了优秀的代码编辑、调试、远程连接和同步能力,在开发者中广受欢迎。
使用PyCharm插件配合ModelArts:
一键帮助用户配置远程ModelArts Notebook,免去用户手工配置按需使用Notebook资源,启动停止,随心所欲本地代码提交至ModelArts训练任务,沉浸式AI开发体验ModelArts是华为云的一体化AI开发平台,其“一站式”特性涵盖了AI开发的各个方面,包括数据处理、算法开发、模型训练和模型部署。在技术层面上,ModelArts能够支持各种不同的计算资源,使用户可以根据实际需求自由选择并无需担心底层的复杂技术。此外,ModelArts也兼容多种主流的开源AI开发框架,如TensorFlow、PyTorch和MindSpore,同时还提供了自定义算法框架的选项,以满足不同用户的使用习惯。
AI模型开发的过程,称之为Modeling,一般包含两个阶段:
开发阶段:准备并配置环境,调试代码,使代码能够开始进行深度学习训练,推荐在ModelArts开发环境中调试。实验阶段:调整数据集、调整超参等,通过多轮实验,训练出理想的模型,推荐在ModelArts训练中进行实验。在软件开发的流程中,有两个关键环节是可以互相转换的。首先,当开发阶段的代码经过严格的测试和稳定性验证后,项目会进入到实验阶段。在这个阶段中,开发人员会通过大量的实验尝试调整超参数,以此來優化模型的性能。而如果实验阶段出现了某种可以优化训练性能的新思路,那么开发人员则会再次回到开发阶段,利用新的思路重新优化代码,以便更好地实现模型的改进。这种灵活的切换过程,既能够保证模型的质量,也能够提高开发效率,使得整个软件开发流程更加高效有序。
1. 实操体验 How to Use
1.1 插件安装和登录
1.1.1 插件安装
为了进行ModelArts插件的安装,您可以在软件界面中选择“文件”>“设置”>“插件”,然后在Marketplace页面中输入“ModelArts”进行搜索,找到相应的插件后,点击“安装”按钮即可完成安装过程。
1.1.2 插件登录
在成功安装插件之后,您将在IDE的菜单栏中看到“ModelArts”选项。点击该选项,您将进入一个名为“Edit Credential”的页面。
要获得AK/SK,您可以点击插件中的”如何获取AK/SK”选项,进而跳转至华为云文档。根据文档中的指南,轻松获取AK/SK,并将其填写到登录框内。最后,点击”OK”按钮,即可成功完成登录操作。
1.2 训练代码和数据准备
在本博客中,通过附件进行下载获取。
获取完代码和数据中,需要把训练数据上传至OBS中,为下一步提交训练作业做好准备。
在进入OBS控制台之前,需确保OBS桶已经存在。若尚未创建,请先一步完成此操作。若已有桶,接下来在桶下方新建一个名为“data”的文件夹。然后,将已下载好的训练数据导入到新创建的“data”文件夹中。
和data文件夹同级,创建一个job文件夹,用来存放提交的训练作业。
首先获取OBS桶地址,在网页端进行点击获取,地址类似为obs://3xdata
通过拼接获取到data和job文件夹OBS地址分别为:
data:obs://3xdata/data/
job:obs://3xdata/job/
1.3 提交训练作业
通过PyCharm把下载好的训练文件打开,点击插件的Training Job进行训练作业提交
在打开的页面中,选择和填入如下参数:
Engine必须选择tensorflow_2.1.0启动文件和目录必须位于当前打开项目OBS Path为上一步获得地址Specifications可以选择免费规格或者CPU/GPU规格填写无误后,点击Apply and Run, 等待训练作业运行完成即可看到如下图日志输出
点击日志中的网站链接地址,可以在网页端看当训练作业相关详情,完成网页端信息截图即可
恭喜大家,至此,我们的在ModelArts上进行模型开发的体验就顺利完成了。
2. 更多探索 Learn More
如果拥有PyCharm专业版,还可以体验更多丰富功能,使用Notebook进行开发调试后,再进行训练作业提交,可以参考https://support.huaweicloud.com/devtool-modelarts/devtool-modelarts_0016.html
本文作者小马老师将在10月11日直播详细介绍【试驾PyCharm“混动”AI开发初体验】,欢迎各位点击此处参与。
ModelArts, AI开发平台, Tensorflow, PyTorch
AI时代,拥有个人微信机器人AI助手!AI时代不落人后!
免费ChatGPT问答,办公、写作、生活好得力助手!
搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!