以AIGC（生成式人工智能）和大模型为代表的新一代智能技术在全球引发了新一轮创新热潮。在大模型竞相涌现的背景下，如何让AIGC更加便捷、广泛地应用到垂直场景，成为业界重点关注的方向。

日前，在全球边缘计算大会上，网宿科技宣布已经推出了面向AIGC的一站式边缘智能解决方案，从Serverless GPU、AI网关、模型微调与推理服务三个层面，大大降低AIGC应用的落地门槛，旨在帮助用户以低成本、高效率的方式轻松实现AI应用创新。

                            网宿科技边缘智能平台资深架构师陈云辉

网宿科技边缘智能平台资深架构师陈云辉在会上指出，尽管国内基础大模型百花齐放，为用户提供了丰富的模型选择，但用户在实际落地中仍面临较高门槛。

具体而言，从0开始实现AI应用落地的过程中，企业用户必须综合考虑多个关键因素，包括对比开源模型和云服务商的推理成本与性能评估，重视系统的安全性、敏感词过滤等，特别是在与现有业务的改造整合中，更是问题多多。对于对数据隐私和模型控制有严格要求的应用场景，还需考虑针对特定垂直场景的私有模型微调。这些都使得整个实施周期漫长且成本高昂。

边缘计算拥有高效的数据处理能力、实时的响应速度、更低的带宽要求等优势，可以在AIGC应用过程中发挥关键价值。业界的普遍共识也是，未来AI模型的推理与内容生产将呈云侧、边缘侧、端侧的梯度分布。

网宿科技凭借在边缘计算领域的深厚积累，近年来对AIGC展开了持续探索，逐步形成了涵盖Serverless GPU、AI网关、模型微调与推理服务的一站式边缘智能解决方案。

据介绍，网宿Serverless GPU为用户提供高度可扩展、按需使用的GPU算力资源服务，主要适用于多种计算密集型任务，如AI模型推理、音视频加速生产、图形加速等。基于网宿丰富的GPU算力资源，结合Serverless K8S和GPU加速的优势，用户无需管理GPU服务器和K8S，只需上传容器镜像即可方便快捷运行AI应用。“Serverless GPU除了拥有免运维的特性外，相较集中部署，由于GPU资源是放在边缘侧，离用户更近，更贴近业务边缘，具有低时延优势。并且，通过按需分配和GPU虚拟化技术，大大提高GPU资源的利用率，可以有效降低用户的GPU使用成本。”陈云辉表示。

网宿AI网关则是一款针对大语言模型的统一API接口，可以用在应用程序和托管的大语言模型(LLM)之间，允许通过一个统一的API接口将API请求转发给各个云厂商以及自有部署的大模型。网宿AI网关可以用于个人开发者和企业级AI应用，帮助管理和整合多个后端大模型接口，提高AI应用的稳定性和可靠性，并降低后端模型的调用成本。

此外，对数据隐私、模型可控性有强要求的企业往往选择部署自有开源模型，对此，网宿边缘模型训练推理平台可以提供最经济可靠的模型推理服务。

网宿边缘模型训练推理平台不仅为用户提供一个全球性的边缘推理运行环境，还提供模型微调环境、配备所需的GPU资源和完整的工具链，并支持将微调好的模型一键部署到网宿全球的边缘节点上。通过不断优化的推理性能，边缘模型训练推理平台可以支撑用户高效地训练、推理和使用大模型。

会上，陈云辉还谈及了AIGC的发展，其判断，大模型未来会演变成基础设施，就像现在的操作系统、大数据平台一样，虽然用户感知不明显，但为各种应用提供基础性和通用性的支持。与此同时，开源能力也会越来越强。

值得一提的是，除了上述三大产品，网宿科技还在积极探索AIGC工作流引擎和AI营销创意平台两个新方向，以进一步丰富自身的边缘智能方案能力。

其中，AIGC工作流引擎旨在帮助用户更高效地管理和执行AI应用的工作流程，通过将当前复杂的业务流程分解成单个小任务，降低单一任务的复杂度，既可以减少对提示词以及大模型推理能力的依赖，还能提升大模型处理复杂任务的性能和容错能力，同时，在大模型性能不足的环节，AI工作流引擎还可以使用传统的处理方法。基于工作流引擎搭建的AI应用开发平台，能有效结合AIGC与传统方式，更好实现AI应用的落地。而AI营销创意平台则面向最终用户提供开箱即用的AI产品，旨在为用户的营销工作赋能。

“未来，我们希望能持续为客户提供更低成本模型推理、更高质量内容生成的边缘智能解决方案。”陈云辉表示。