文章主题：人工智能, 语言模型, ChatGPT, 网络安全
当OpenAI推出具有颠覆性人工智能语言模型ChatGPT时，引起了许多用户的广泛关注和惊叹。但随着时间的推移，很多人开始对这项技术可能带来的负面影响产生担忧，尤其是针对那些可能被利用来推动不良行为者议程的潜在风险。具体而言，ChatGPT为黑客提供了可能破坏当前先进网络安全软件的新途径。在全球数据泄露量在2022年增加了38%的行业中，领导层认识到了人工智能日益增强的影响力，并采取了相应的措施，这对于确保未来的网络安全显得尤为重要。
一、ChatGPT的局限性
GPT-3，由OpenAI和Microsoft共同管理，采用了多种方式以确保其生成的内容合法且无害。其中一项关键策略是，当AI检测到潜在的恶意或非法 query 时，它会毫不犹豫地拒绝回答，以此确保其遵循OpenAI的应用案例政策，避免助力任何有害或非法行为。
虽然采取了一系列保护措施，但我们仍需认识到，这些措施并不能完全阻止违规行为的发生。正如关于直接攻击的相关内容所揭示的，可能会出现错误或导致其他不良后果。因此，我们需要持续关注并加强这些措施，以确保信息系统的安全性和稳定性。
ChatGPT 可以被比喻为一个实习生的形象，他充满热情地希望提供援助，但在某些情况下，他可能会面临领域特定知识（DSK）或专业知识的短缺。此外，ChatGPT 的 DSK 可能存在不准确或过时的现象，这与 Stack Overflow 等平台上那些过时的答案有相似之处。
ChatGPT 的局限性表现在其对文本某些方面的过度依赖上。特别是在查询表述不准确的情况下，AI 可能会过分关注这些方面。此外，查询框架的方式也会对输出结果产生重要影响。
除了在处理简单任务上表现出色外，ChatGPT在执行复杂计算时存在明显的局限性。尽管它能够轻松完成诸如将文本转换为Base64编码等基本操作，但在涉及更高层次的计算任务，例如哈希算法计算时，其结果往往不准确。
ChatGPT在脚本生成方面也可能会出现基本错误，例如在Python脚本中未包含必要的导入语句（import），导致代码无法正常运行。因此，建议将ChatGPT视为辅助技术而非替代技术。
微软以2022年制定的“负责任AI标准V2”管控对Azure OpenAI服务的访问。公司必须通过特殊的访问请求表格申请，安全框架采用内容过滤器并保留提示信息30天，以方便负责任的AI团队调查。微软还为制药业和金融服务等高度监管行业的客户提供了一个单独的流程，可以选择退出某些功能，从而引发了有关渗透测试用例的潜在问题。
二、ChatGPT用于网络攻击
2.1人工智能生成的网络钓鱼诈骗
虽然基于语言的人工智能的更原始版本已经开源（或向公众开放）多年，但ChatGPT无疑是迄今为止最先进的迭代。特别是，ChatGPT能够与用户无缝交谈，不会出现拼写、语法和动词时态错误，让人感觉聊天窗口的另一边很可能有一个真人。从黑客的角度来看，ChatGPT是一个游戏规则改变者。
大多数网络钓鱼诈骗很容易识别，因为它们经常充斥着拼写错误、语法错误和普遍尴尬的措辞，尤其是那些来自坏人的母语不是英语的其他国家的诈骗。ChatGPT将为来自世界各地的黑客提供近乎流利的语言描述，以支持他们的网络钓鱼活动。
理想情况下，IT基础设施将集成人工智能检测软件，自动筛选和标记人工智能生成的电子邮件。此外，对所有员工来说，定期接受最新网络安全意识和预防技能的培训和再培训非常重要，特别要注意人工智能支持的网络钓鱼诈骗。然而，该行业和更广泛的公众都有责任继续倡导先进的检测工具，而不仅仅是奉承人工智能不断扩展的能力。
2.2欺骗ChatGPT编写恶意代码
ChatGPT擅长生成代码和其他计算机编程工具，但人工智能被编程为不会生成它认为是恶意的或旨在用于黑客目的的代码。如果需要黑客代码，ChatGPT将告知用户其目的是“协助完成有用且符合道德的任务，同时遵守道德准则和政策”。
据安全报告显示，最近在一个著名的地下黑客论坛上发现了一名黑客的帖子，该黑客声称正在测试聊天机器人以重现恶意软件菌株。如果这样的一条线索已经被发现，那么可以肯定地说，全球范围内的“黑暗”网络上还有更多这样的线索。网络安全专业人员需要适当的培训（即持续提升技能）和资源来应对不断增长的威胁（无论是人工智能生成的威胁还是其他威胁）。
还有机会为网络安全专业人员配备自己的人工智能技术，以更好地发现和防御人工智能生成的黑客代码。虽然公众言论首先是哀叹ChatGPT为不良行为者提供的权力，但重要的是要记住，良好的行为者同样可以使用同样的权力。除了试图防止与ChatGPT相关的威胁之外，网络安全培训还应包括有关ChatGPT如何成为网络安全专业人员武器库中的重要工具的说明。随着技术的快速发展创造了网络安全威胁的新时代，我们必须研究这些可能性并创造新的培训来跟上。
2.3“多态”恶意软件
ChatGPT限制导致犯罪或侵犯隐私的问题和答案。不过，据报道，安全研究人员成功规避了这一限制，并成功从具有与键盘记录器和勒索软件相同功能的AI中提取源代码。Cyber Ark发布了一份报告，指出ChatGPT可用于轻松创建多态恶意软件。
多态恶意软件是能够更改可识别数据（例如文件名、加密格式和源代码）以避免安全产品检测的恶意软件。研究人员还创建了一个名为BlackMamba的恶意软件PoC，它将多态键盘记录器与AI链接起来。
其他潜在用途包括对滥用其编码能力的目标进行漏洞扫描，以及创建漏洞利用、恶意宏和Lolbin。
使用nmap及其脚本NSE通过向聊天机器人提问的SMB漏洞扫描命令输出的示例等。
2.4暗网趋势
暗网上的论坛发布了ChatGPT生成的Android恶意软件的源代码，以及后门工具、勒索软件等的源代码。OpenAI在其网站上发布了可使用算法API的国家/地区。俄罗斯、中国、伊朗和埃及等一些国家无法使用该API，但暗网上也正在讨论绕过此访问限制的方法。
目前，暗网上有一个活跃的运动，向ChatGPT访问受到地理围栏限制的国家/地区出售高级帐户。
网络犯罪世界日益分裂。例如，IAB提供未经授权访问目标的手段，RaaS为勒索软件提供运行环境，MaaS出售可用于各种目的的恶意软件，引导程序以订阅的形式提供DDoS攻击基础设施，提供专门从事专门技术的服务每个群体都广泛存在。通过使用这些服务，犯罪分子可以比以前更有效、更轻松地实施攻击。
ChatGPT作为一种无需黑客专业知识即可提供恶意软件和网络钓鱼攻击媒介的工具，有可能进一步降低网络犯罪的门槛。
2.5虚假信息传播
ChatGPT擅长根据互联网上的数据生成自然句子，从互联网新闻等可以看出，人们在被刁难问题欺骗后会做出令人发指的错误答案并找借口，但这并不一定意味着它是准确的。以简洁的句子形式呈现的答案通常包含错误和错误信息。
有人指出，如果此类虚假言论在未被注意到的情况下传播，可能会导致虚假信息的传播。
与网络钓鱼电子邮件的生成类似，网络攻击者和APT组织出于政治或国家安全动机可能会利用ChatGPT生成大量虚假信息和假新闻，并在社交媒体上传播。它还有望应用于在政治活动中使用机器人形成和操纵舆论，这现在几乎是司空见惯的。
三、数据泄露
每当您拥有流行的应用程序或技术时，威胁行为者瞄准它只是时间问题。就ChatGPT而言，该漏洞利用是通过Redis开源库中的漏洞实现的。这允许用户查看其他活跃用户的聊天历史记录。
开源库用于“通过存储易于访问和经常使用的例程和资源来开发动态接口，例如类、配置数据、文档、帮助数据、消息模板、预先编写的代码和子例程、类型规范和值”根据Heavy.AI的定义。OpenAI使用Redis缓存用户信息，以便更快地调用和访问。由于成千上万的贡献者开发和访问开源代码，因此很容易出现漏洞并被忽视。威胁行为者知道，这就是为什么自2019年以来针对开源库的攻击增加了742%。
总体而言，ChatGPT漏洞的影响很小，OpenAI在发现后几天内就修复了该漏洞。但即使是轻微的网络事件也可能造成很大的损害。
然而，这只是表面上的事件。随着OpenAI的研究人员深入研究，他们发现同样的漏洞很可能导致ChatGPT离线前几个小时内支付信息可见。
“一些用户有可能看到另一个活跃用户的名字和姓氏、电子邮件地址、付款地址、信用卡号的最后四位数字和信用卡到期日期。OpenAI在有关该事件的新闻稿中表示，完整的信用卡号码在任何时候都没有被泄露。
四、ChatGPT用于安全措施
除了对其在网络攻击和犯罪中的使用的担忧之外，人们还从其在网络安全中的使用角度进行了研究。特别是，最近的安全产品使用AI/ML（机器学习）进行恶意软件检测和行为检测，因此它也有望成为防御者的支持工具。
此外，自动化技术在处理大量警报和日志的安全操作中已变得不可或缺。ChatGPT预计还将为安全产品和工具的自动化做出贡献。
4.1IoC提取和测定
卡巴斯基已经验证是否可以通过ChatGPT获取攻击者使用的工具和恶意软件的哈希信息。主要方法：
1、mimikatz、Fast Reverse Proxy；
2、Process Hollowing代码注入；
3、恶意性判断及域判定。
通过创建Powershell模块，用于检索系统上的元数据，在远程计算机上运行它，并让ChatGPT确定是否存在IoC。该工具检测Empire和Meterpreter工具的IoC以进行渗透测试。该模块还检测可疑的ActiveX代码、LSASS转储、日志清除和跟踪隐藏。
4.2软件开发协助
许多作为网络攻击起点的软件和硬件漏洞源于开发过程中的设计和编码错误。人们相信，使用人工智能的安全编码方法的传播在防止网络攻击方面发挥着重要作用。因此，人们正在努力使用ChatGPT来检测和修复编程缺陷和错误。
根据相关测试及报告显示，ChatGPT具有通过设计简化软件开发和提高安全性的潜力。
4.3欺诈和网络钓鱼检测
ChatGPT的算法基于大量数据监控用户和帐户行为，以检测偏差和异常情况。例如，这些技术可用于检测和防止针对在线银行帐户的欺诈、帐户接管和可疑的网络钓鱼电子邮件。
4.4嵌入安全工具
使用人工智能进行实时系统和网络监控、风险调查和漏洞发现被认为是应对未来威胁的重要视角。此外，检测人工智能生成的文本的人工智能也正在开发中，预计它将成为针对使用ChatGPT的网络攻击的一种有前景的对策。
开发ChatGPT插件，用于链接逆向工程/代码分析工具IDA Pro和ChatGPT，以帮助检测二进制文件中的漏洞。
微软宣布开发GPT-4内置分析工具“Microsoft Security Copilot”，以支持安全分析师的SOC工作。该工具利用ChatGPT查询来支持事件识别、警报分析和代码分析。据报道，其他供应商已将其引入其CDR（云威胁检测和响应）产品中。
五、总结
ChatGPT的讨论空前高涨，随着技术的进步，技术领导者必须开始思考这对他们的团队、公司和整个社会意味着什么。如果不这样做，他们不仅会在采用和部署生成式人工智能以改善业务成果方面落后于竞争对手，而且还将无法预测和防御已经可以操纵这项技术谋取个人利益的下一代黑客。由于声誉和收入都受到威胁，整个行业必须齐心协力，采取适当的保护措施，让ChatGPT革命成为值得欢迎的事情，而不是令人恐惧的事情。
AI时代，拥有个人微信机器人AI助手！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
搜索微信号aigc666aigc999或上边扫码，即可拥有个人AI助手！
