江苏龙网

  1. 主页 > 生活百科 > >

《2024人工智能安全报告》：2023年AI深度伪造欺诈增长30倍

人工智能安全

近日 ， 奇安信集团发布《2024人工智能安全报告》（以下简称《报告》） 。《报告》显示，2023年基于AI的深度伪造欺诈增长了3000％ ， 基于AI的钓鱼邮件增长了1000％；目前已发现多个有国家背景的APT组织，利用AI实施了10余起网络攻击事件 ， 但目前 ， 业界对AI潜在风险的研究与重视程度仍远远不足，在积极拥抱大模型等人工智能技术之时，各界对其安全风险应保持警醒 。
“AI是一种通用技术，通用就意味着既可以用来做好事，也可以被用来干坏事” 。《报告》认为 ， 具有巨大潜力的AI技术同时带来两大挑战：一方面放大了现有威胁，比如钓鱼邮件、恶意软件等；另一方面引入了新型威胁，如AI自动化攻击、AI深度伪造等 。
奇安信威胁情报中心监测发现，各类基于AI的新型攻击种类与手段不断出现，包括深度伪造（Deepfake）、黑产大语言模型、恶意AI机器人、自动化攻击等 ， 在全球造成了严重危害 。
《报告》认为，AI与大语言模型本身伴随着安全风险 ， 业内对潜在影响的研究与重视程度仍远远不足 。全球知名应用安全组织OWASP发布大模型应用的十大安全风险，包括提示注入、数据泄露、沙箱不足和未经授权的代码执行等 。此外 ， 因训练语料存在不良信息，导致生成的内容不安全 ， 正持续引发灾难性的后果，危害国家安全、公共安全甚至个人安全 ， 这些都亟须业内高度重视和积极应对 。
《报告》从安全行业、监管机构、政企机构、网络用户等角度给出了应对AI威胁的建议 。安全行业需要继续发挥能力优势，确保人工智能本身的安全性，并积极将人工智能用于安全防护；监管机构需要对AI潜在风险与影响保持持续关注，在制度和法规上及时提供支持；政企机构需及时部署AI安全框架和解决方案，以及AI安全评估服务和检测工具，还要依托AI推动安全升级；网络用户在尝试最新人工智能应用时，需要更新安全知识，养成良好的使用习惯 。
面对AI网络攻击、AI武器化等日益严峻的安全威胁，《报告》认为，AI技术将推动安全领域发生范式变革 ， 新一代AI技术与大语言模型改变安全对抗格局，将会给地缘政治竞争和国家安全带来深远的影响，各国正在竞相加强在人工智能领域的竞争，以获得面向未来的战略优势 。全行业需启动人工智能网络防御推进计划，包括利用防御人工智能对抗恶意人工智能，扭转“防御者困境” 。
奇安信AI安全专家认为，一个影响深远的新技术的出现，人们一般倾向于在短期内高估它的作用 ， 而又在长期低估其影响 。所以，无论是监管机构、安全行业还是政企机构 ， 都需要积极拥抱潜力巨大的AI技术与大模型，同时审慎评估其影响的不确定性，确保监管与治理及时跟进 。（奇欣）

【《2024人工智能安全报告》：2023年AI深度伪造欺诈增长30倍】


    推荐阅读


    上一篇：手机投屏到电脑/电视的方法

    下一篇：AI程序员Devin：通过了面试，但不一定适合职场