AI可为工作注入强大动力，但若无防护措施，它也可能迅速带来误导——因此，人类、治理机制和智能框架仍需牢牢掌控全局。
鉴于AI的重要性，几个月来，我一直在深入探究这一话题，但始终保持谨慎，力求理解如何保护基于生成式AI的应用这一关键要点。
我们正处于这样一个时代：AI已成为所有能为企业及终端用户带来益处的领域的核心主题。除了在检测网络威胁方面增强防护与预判能力(无论是通过威胁情报、事件响应、端点检测与响应(EDR)、安全编排自动化与响应(SOAR)解决方案等)，AI还发挥着重要作用。
然而，我们必须思考的问题是，对于这项新兴技术所带来的风险，我们关注了多少。随着ChatGPT、Claude.ai、Meta.ai、Copilot、Gemini、Grok等基于SaaS的解决方案的广泛应用，AI正逐渐渗透并接管我们的日常生活。那些不适应这项技术的人，可能会被视为脱离时代。
无论是使用Hynote.ai记录会议并生成自动化摘要，还是制定网络安全风险管理计划，我们都必须承认AI为日常任务带来的速度与灵活性。我们已经看到，在一些公司中，如果员工决定离职，其岗位可能不再招聘新人填补，企业会考虑开展研究，评估用AI替代某些任务的可行性。
理解AI背后风险的重要性
现在，有一个令人担忧的问题，或许一些专业人士尚未察觉，我们是否正被AI所主导?答案或许是“是”“否”或“也许”，然而，这取决于我们对这项技术的了解程度，现实是，其背后潜藏着危险，因此我们的任务是了解如何做好准备以应对这些风险。
我们是否应该预设自己的职业定位，以及如何准备以保持自身的就业能力?鉴于AI解决方案中仍存在产生幻觉(指AI生成错误或误导性信息)的风险，且这种情况确实会发生，对于给定问题的答案可能并不准确。因为AI训练中所使用的扩散模型背后的现有方法，采用了代码生成技术，如大多数AI工具(如ChatGPT、Gemini和Claude)所使用的大语言模型(LLM)中的“变换器(transformers)”。目前，它们在为请求者(终端用户、应用程序编程接口(API)等)输入的问题提供答案之前，仍无法有效验证某些数据。
这意味着，在做出可能涉及企业及人类重大决策的决定之前，仍需考虑人为因素来评估某些回应，例如，医学诊断分析结果仍需专家评估，或者对关键系统进行定量风险评估的情况。事实上，这一点值得我们深思!
另一个需要提出的重要问题是：“我们应该在多大程度上限制并信任AI解决方案?”诚然，如前所述，许多结果可能是积极的，但请记住，每个企业都应谨慎考虑通过提供的数据所带来的隐私、偏见、公平性和透明度等风险，这些风险已引起信息安全专业人士的关注。
从本质上讲，AI模型的执行过程由三个阶段组成：
• 输入请求中的数据。
• 这些数据由涉及整个架构的训练模型进行评估。
• 交付信息结果。
从信息安全的角度来看，这正是我们信息安全专业人士必须从数据安全的角度在评估范围内进行判断的要点。
市场上已经出现了诸如美国国家标准与技术研究院(NIST)AI风险管理框架(RMF AI)、谷歌安全AI框架(SAIF)、国际标准化企业(ISO)42001、云安全联盟(CSA)的AI控制矩阵(AICM)和AI模型风险管理框架等框架，此外，还有针对威胁情报领域的MITRE ATLAS框架，以及针对AI应用开发安全的OWASP Top 10大语言模型(LLM)框架，该框架列出了AI/机器学习(AI/ML)领域已知的主要漏洞，我计划在另一篇文章中对此进行探讨。
我特别研究了NIST RMF AI和CSA的AI模型风险管理框架，在我看来，它们有助于将AI/机器学习解决方案纳入企业的网络安全风险管理计划范围，并进行有效映射，这些框架有助于理解并映射所使用的AI应用，应对在企业环境中使用这项技术可能带来的风险、影响和损害。
关于NIST AI RMF和AI控制矩阵(AICM)框架的使用
在制定最受欢迎的框架相关议程时，NIST AI RMF 1.0侧重于审视所涉及的人员群体、企业和生态系统。它们分为以下几个阶段：
• 治理(培育风险文化)
• 映射(已识别风险的背景及资产分类)
• 衡量(识别、评估和缓解风险)
• 管理(根据影响对风险进行优先级排序)
该模型允许与NIST网络安全框架(CSF)在网络安全控制层面进行整合。最有趣的是，该框架是免费的。
另一个不容忽视的模型是AI控制矩阵(AICM)，它包含243个控制目标，分为18个安全领域，能够评估AI解决方案的所有安全支柱，特别是在云环境中。
AICM与AI一致性评估问卷(AI-CAIQ)相集成，涵盖了包括英国标准协会(BSI)AIC4目录、NIST AI RMF和ISO 42001在内的多个框架。任何强大的AI解决方案都需要大量的处理能力和能源，这只能在数据中心找到。因此，我们看到大型科技公司在全球各地大规模投资扩建新的数据中心。
因此，深入理解云计算概念和共享责任模型，对于精准、安全地实施AI解决方案，并满足业务需求、提升企业竞争力至关重要。
因此，我一直在对生成式AI进行一些研究，特别是研究这些框架。有鉴于此，对我们网络安全专业人士而言，描绘并认清面临的巨大挑战，是确立AI项目所涉及团队之间关联性的重要性。因此，这种关联性是项目成功的关键，因此，我们不应忽视治理、网络风险、伦理、监管与合规、网络安全、数据科学家、AI和机器学习开发人员、人力资源、基础设施及信息技术运营等领域的参与。
网络安全专业人士需接受培训
我强调的另一个巨大挑战是，网络安全专业人士需要接受AI/机器学习技术的培训，了解所使用的架构、训练模型的技术方面，如检索增强生成(RAG)等技术(这些技术可改进模型)，以及需判断的网络安全策略的应用。CISO和网络安全团队以及其他相关团队必须关注以下领域内控制的重要性：
• 数据
• 基础设施
• 模型
• 应用
• 保障
• 治理
从云计算的共同责任视角审视
另一个需考虑的因素：我强调了云环境中AI应用的共同责任。生成式AI模型及其各自应用的安全原则，必须考虑AI应用模型的运行方式。
在此，我强调一些在云中确立共同责任的关键点：
• 生成式AI作为应用(公共、软件即服务)
• 生成式AI作为平台(IaaS或PaaS)
• 构建自己的AI应用(IaaS、本地部署)。
在该模型中，借助上述框架，将有可能针对所采用的AI策略，就数据和训练模型的访问控制、数据管理和训练、提示控制、模型开发、模型推理、模型监控和基础设施等方面的风险进行映射、排序和管理。
跳出常规思维
最后，我在本文中希望唤起读者思考的关键点是，引导他们思考我们网络安全专业人士如何观察周围环境中的风险和影响，以及如何准备评估现实世界中的这些生成式AI解决方案。
我特别在云环境(SaaS)中探索了一些已知模型，但我在使用Anthropic的解决方案(claude.ai)时获得了很多乐趣。在该模型中，可以使用代码构建强大的解决方案，你只需发挥创意。例如，我要求它创建一个完整的网络安全风险管理(GRC)解决方案，并建议将其与市场上的一些解决方案进行比较，且符合最佳实践，如支付卡行业数据安全标准(PCI-DSS)、NIST、网络安全风险指数(CRI)、国际标准化企业27001(ISO 27001)等。于是，该解决方案创建了整个后端，仅缺少前端创建。一个原本可能需要数月的项目，根据所投入的人力和努力程度，可缩短至数月或数周。
能为职业生涯增值的认证
总之，我有幸作为贡献者参与了云安全联盟(CSA)近期推出的新认证——可信AI安全专家(TAISE)的评审项目。我强烈推荐那些有兴趣了解并探索AI/机器学习解决方案架构及主要保护机制的人考取该认证。
然而，考虑到该领域的其他认证，我也一直在探索并推荐国际信息系统审计与控制协会(ISACA)的AI与机器学习安全治理(AAISM)认证材料，从AI/机器学习的风险治理和安全角度来看，该材料同样非常有趣。尽管如此，TAISE在技术范围内提供了更全面的基础，且还涵盖了云环境中的风险管理和治理，而这正是现实世界中的情况。AI需要大量的处理能力，而理想的运行环境是云。
然而，两者相辅相成，专业人士需评估最佳选择和发展方向。正如一句明智的谚语所说：“不要舍弃智慧和知识，它会守护你，爱它，它会保护你。”
文章来自：51CTO
