文章主题:ModelArts, AI开发平台, Tensorflow, PyTorch

666AI工具大全,助力做AI时代先行者!

摘要:PyCharm在AI项目开发提供了优秀的代码编辑、调试、远程连接和同步能力,在开发者中广受欢迎。

使用PyCharm插件配合ModelArts:

一键帮助用户配置远程ModelArts Notebook,免去用户手工配置按需使用Notebook资源,启动停止,随心所欲本地代码提交至ModelArts训练任务,沉浸式AI开发体验

ModelArts,作为华为云的一站式AI开发平台,具备强大的功能,能够满足一站式的AI开发需求。其“一站式”特性涵盖了AI开发的各个关键环节,如数据处理、算法开发、模型训练以及模型部署,全部都可以在ModelArts上轻松完成。在技术层面上,ModelArts底层兼容各种异构计算资源,让开发者可以依据实际需求,灵活选用并无需担心底层的复杂技术。此外,ModelArts亦具有广泛的支持能力,不仅能够运行Tensorflow、PyTorch、MindSpore等主流的开源AI开发框架,同时也允许开发者使用自有的算法框架,以适应个性化的使用习惯。

AI模型开发的过程,称之为Modeling,一般包含两个阶段:

开发阶段:准备并配置环境,调试代码,使代码能够开始进行深度学习训练,推荐在ModelArts开发环境中调试。实验阶段:调整数据集、调整超参等,通过多轮实验,训练出理想的模型,推荐在ModelArts训练中进行实验。

在软件开发的流程中,有两个关键环节是可以互相转换的。首先,当开发阶段的代码经过严格的测试和稳定性验证后,项目会进入到实验阶段。在这个阶段中,开发人员会通过大量的实验数据和参数调整,不断优化和迭代模型,以期达到最佳的性能表现。另一方面,如果在实验阶段,开发人员有任何关于如何优化训练性能的新的想法或建议,他们可以直接回到开发阶段,并将这些新的理念融入到代码的优化中,以期望获得更好的结果。这种灵活的转换机制使得开发团队能够更加高效地完成项目,同时也保证了项目的最终性能能够满足用户的需求。

1. 实操体验 How to Use

1.1 插件安装和登录

1.1.1 插件安装

为了进行ModelArts插件的安装,您可以在软件界面中选择“文件”>“设置”>“插件”,然后在市场搜索框内输入“ModelArts”并点击“安装”按钮。这样就可以顺利地完成ModelArts插件的安装过程了。

1.1.2 插件登录

在成功安装插件之后,您将在IDE的菜单栏中看到“ModelArts”选项。点击该选项,您将进入一个名为“Edit Credential”的页面。

要获取AK/SK,您可以点击插件中的”How to get AK/SK”选项,这将会引导您前往华为云文档。在那里,您将根据提供的指导步骤轻松地获取AK/SK。接下来,只需将AK/SK信息填入相应的登录框,并点击”OK”按钮,便可成功完成登录操作。

1.2 训练代码和数据准备

在本博客中,通过附件进行下载获取。

获取完代码和数据中,需要把训练数据上传至OBS中,为下一步提交训练作业做好准备。

在进入OBS控制台之前,我们需要确保已经创建了一个OBS桶。如果没有现有的桶,那么我们需要手动创建一个新的桶。接下来,在已有的桶下,我们需要新建一个名为“data”的文件夹。然后,将已经下载好的训练数据上传到这个新建的“data”文件夹中。

和data文件夹同级,创建一个job文件夹,用来存放提交的训练作业。

首先获取OBS桶地址,在网页端进行点击获取,地址类似为obs://3xdata

通过拼接获取到data和job文件夹OBS地址分别为:

data:obs://3xdata/data/

job:obs://3xdata/job/

1.3 提交训练作业

通过PyCharm把下载好的训练文件打开,点击插件的Training Job进行训练作业提交

在打开的页面中,选择和填入如下参数:

Engine必须选择tensorflow_2.1.0启动文件和目录必须位于当前打开项目OBS Path为上一步获得地址Specifications可以选择免费规格或者CPU/GPU规格

填写无误后,点击Apply and Run, 等待训练作业运行完成即可看到如下图日志输出

点击日志中的网站链接地址,可以在网页端看当训练作业相关详情,完成网页端信息截图即可

恭喜大家,至此,我们的在ModelArts上进行模型开发的体验就顺利完成了。

2. 更多探索 Learn More

如果拥有PyCharm专业版,还可以体验更多丰富功能,使用Notebook进行开发调试后,再进行训练作业提交,可以参考https://support.huaweicloud.com/devtool-modelarts/devtool-modelarts_0016.html

本文作者小马老师将在10月11日直播详细介绍【试驾PyCharm“混动”AI开发初体验】,欢迎各位点击此处参与。

点击关注,第一时间了解华为云新鲜技术~

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号aigc666aigc999或上边扫码,即可拥有个人AI助手!

Leave a Reply

Your email address will not be published. Required fields are marked *