当我开始研究大语言模型时，我的目标并非打造一款产品，而是探究企业能否在负责任的前提下应用AI——既不会失去对成本、管理或透明度的掌控。

和许多尝试大语言模型的架构师一样，我越深入研究，就越发现其在企业环境中存在诸多局限，计算成本的增长速度常常超过业务价值的提升，延迟挑战破坏了实时响应能力，可解释性方面的不足使得合规和审计保障难以持续。

这些并非个别情况，而是系统性信号，表明企业技术栈需要一种不同的AI架构基础——这种基础应遵循我们在其他战略系统中应用的可靠性、风险管理和可观测性原则。

探寻模块化之路

这促使我探索整个行业中涌现的模块化方法，包括将小语言模型与检索增强生成相结合的语义层架构。这种方法并非期望一个大型模型理解并掌控一切，而是将智能分布到更小、更专注的组件中。每个组件都能对版本控制下的权威数据进行推理，并通过结构化的管理层交换结果。

通过独立的架构建模和分析，我发现这种方法并非消除复杂性，而是重新定义了复杂性。问责制成为架构的一部分，而非事后考虑。

大型模型面临的挑战

在我的研究早期，一个主题就已明确：许多人认为扩大AI规模意味着扩大模型规模，但在实践中，当单个模型负责所有功能时，模型能力与实际运营之间的差距会越来越大。

行业案例和技术评估一致指出了三个压力点：

1. 成本：大型模型会推动基础设施决策，而这些决策难以在各个领域实现可持续扩展。即使是资金充裕的组织，如今也会暂停聊天机器人的部署，直到建立起可靠的基础。

2. 性能：大型模型对延迟预算造成压力。当每次操作都必须在云端遍历数十亿参数时，用户信任就会受到侵蚀——尤其是在高流量系统中。

3. 管理：审计一个不透明、集中的模型一次就已经够难了;当数十个工作流程都依赖它时，审计就变得难以管理。

从这些观察中，一个结论脱颖而出：

问题不在于智能本身，而在于围绕智能的架构。

大语言模型虽令人瞩目，但它们并不天然与企业控制框架相契合。如果没有办法管理推理和检索路径，企业就会面临不可预测的输出——以及不可预测的新闻头条风险。

了解小语言模型和检索增强生成

我探索的模块化方法基于两个理念：小语言模型和检索增强生成。

小语言模型专注于特定领域，而非被训练成处理所有事务。由于它们紧凑且专业，可以在更常见的基础设施上运行，并提供可预测的性能。小语言模型不会强迫一个模型理解企业中的所有主题，而是专注于其负责的上下文。

在实践中，转向小语言模型显著降低了基础设施需求——企业报告称，与大语言模型通常所需的多百万美元GPU集群相比，小语言模型只需在几块GPU(数千美元)上即可进行训练。

检索增强生成则通过将模型输出建立在可信信息来源的基础上来补充这一点。

当智能体响应查询时，它会首先检索相关政策、文档或记录，并使用这些数据来塑造结果。这使得推理更加透明，并有助于确保决策反映最新知识。在一项行业研究中，添加检索增强生成使答案准确率提高了约5个百分点。

小语言模型和检索增强生成共同构成了一个既高效又可解释的智能系统，模型提供语言理解能力，而检索则确保准确性和与业务规则的一致性。

这种方法更注重控制和清晰度，而非盲目扩大规模——这正是大型企业在必须捍卫AI决策时所需要的。

模块化发展之路

分布式智能使企业能够以不同的方式扩展：横向扩展而非纵向扩展。每一项新功能都成为一个新组件，而非整个系统的新负担。

这种方法的核心是我所说的语义层：一个协调界面，智能体仅在其被分配的业务上下文和数据源上进行推理。这一层定义了三个关键要素：

• 智能体可以访问哪些信息

• 其决策如何得到验证

• 何时应升级或交由人类处理

在这种设计中，小型语言模型在专注度比规模更重要的地方发挥作用，客户服务摘要智能体无需了解合规例外情况，风险评分智能体无需产品营销文案。

每个智能体都基于实际控制其决策的数据：

• 支持智能体的产品文档

• 合规智能体的监管规则

• 风险评估人员的内部政策

当智能体达到边界条件或不确定性阈值时，它不会猜测，而是通过语义层将决策交给下一个合适的组件。

这使得故障行为可预测，而非神秘莫测。增长成为一种结构性属性：新需求会添加新智能体，而非为整体增加新的兆字节。能力通过局部学习提升，而非全局重新训练。这种方法与企业扩展技术的方式相契合：具有明确的责任、可控的扩展和可追溯的变化。

这一方向与行业报告一致，包括InfoQ的《2025年架构与设计趋势报告》，该报告将小语言模型和检索增强生成列为新兴企业技术。

将治理和清晰度作为架构重点

当AI承担决策责任时，了解这些决策是如何做出的就变得至关重要。传统软件在代码中使逻辑可视化，而大型模型则不然。

在模块化设计中，问责制被内置到系统中：

• 推理基于检索到的、可验证的信息。

• 分歧或不确定性会引发升级，而非无声猜测。

• 可观测性来自清晰的信号：检索新鲜度、决策置信度、异常事件和覆盖活动。

这并不能做到尽善尽美，但确实能带来清晰度——而清晰度使智能能够负责任地逐步发展，一项能力接着一项能力。

我们面前的机遇

最重要的是，模块化AI让人感到熟悉，它不像是一次冒险的飞跃，而更像是企业系统的下一次进化。进步并非由单一突破性时刻定义，而是随着智能体提升专业技能和检索基础不断改进而逐渐显现。

利益相关者更早看到价值，适应变得可控，智能可以融入工作流程，而不会破坏它们，从这个意义上说，模块化AI将故事从颠覆转向连续性，创新与控制相契合。

展望未来

这一方向虽处于早期阶段，但前景广阔。语义层模型可能使企业能够在不放弃监督的情况下扩展AI，同时保持适应性与业务战略相一致。随着模型变得更加专业化，核心问题将日益变为：我们如何将智能集成到我们已信任的系统中?

AI不会一直作为一种辅助能力存在，它将成为架构本身的一部分——可观测、可管理和可改进。无论采用是谨慎推进还是加速推进，模块化基础都能确保每一步新进展都加强透明度，而非削弱它。

这种平衡——由结构引导的雄心——正是如今值得探索这种方法的原因。并非因为它能解决所有挑战，而是因为它创造了一条路径，使智能能够负责任地逐步成熟，一次一个明确定义的决策界面。

文章来自：51CTO