界面新闻记者 |
界面新闻编辑 | 文姝琪
DeepSeek在今年春节期间走红之后 ,也成为了云计算厂商争夺的重点 。
据界面新闻了解,目前已有亚马逊云科技、阿里云 、腾讯云、移动云在内的十几家国内外云计算厂商上线了DeepSeek-R1和DeepSeek-V3模型。
实际上,类似的类似的剧情在过去一年中已屡见不鲜 ,虽然这次的角色身份略有不同,但模型争霸的本质依然没变。在普通用户端,使用新AI很简单 ,下载APP直接用起来就行了 。但在企业端,却并不简单,部署首先需要价格不菲的硬件,其次需要提供稳定的API ,再者还需要构建面向用户端的应用并实施托管,更不用说高阶的针对企业私有数据的定制优化了。同时,企业还需要考虑数据和模型的安全问题。
这些问题可以大致归纳为企业部署和使用模型中的工程化问题 ,具体包括成本、性能 、安全以及针对私有数据进行定制优化、不同尺寸的模型和日益增长的各种智能体的复杂调度等 。
以DeepSeek为例,其公开的模型V3和R1均有不同的型号。其中,DeepSeek-R1-Distill系列模型参数范围是15亿至700亿 ,而R1和R1-Zero的参数规模则达到6710亿。一方面,不同参数规模的模型对计算性能的要求不同,企业需要对部署的硬件和软件进行细致的调优 ,确保模型在实际运行中能够达到最佳的性能;另一方面,企业在应用实践中通常需要平衡“响应速度”与“推理能力 ”而采用多级模型混合部署模式,还会面临异构计算资源的管理、跨云部署等难题。
在这种情况下,降低企业部署大模型的门槛已经成为云计算厂商获得市场竞争力的又一个关键因素 。一位云计算厂商的售前技术人员对界面新闻表示,DeepSeek之后 ,大模型的迭代速度会加快,云计算厂商想要以更快地速度帮助企业应用性能更好 、成本更低的模型,还需要持续降低企业部署大模型的门槛。
低代码、多样化部署成趋势
灵活性和选择多样性企业选择是云平台部署大模型的重要因素之一。在降低企业部署大模型的门槛 ,云计算厂商依然在灵活性和多样性上进行探索 。
在上线DeepSeek-R1和DeepSeek-V3模型之后,阿里云PAI Model Gallery支持了云上一键部署两款模型,无需编写代码即可完成AI模型开发流程。
企业的相关工作人员登陆阿里云PAI控制台 ,在Model Gallery页面的模型列表中选择想要部署的DeepSeek系列模型,一键部署DeepSeek模型生成服务即可。
目前,DeepSeek-R1支持采用vLLM加速部署 ,DeepSeek-V3支持vLLM加速部署以及Web应用部署,DeepSeek-R1蒸馏小模型支持采用BladeLLM和vLLM加速部署 。简单来说,在不同计算资源和应用场景下 ,企业都可以更灵活地部署大模型。
同时,阿里云的机器学习平台还为企业提供了自动化的机器学习工具,通过自动搜索模型参数和训练超参数的最优组合、低代码可视化建模等方式降低了企业部署大模型的技术门槛。
亚马逊云着重探索的方向是助力企业客户进行多样化部署,这是基于其在大模型应用初期的洞察而来的 。亚马逊CEO Andy Jassy此前已多次在公开场合表达过其对大模型行业发展的判断:不会有一个模型一统天下。在基于大模型构建应用时 ,不同的应用场景需要的技术指标也各不相同,延迟、成本 、微调能力、知识库协调能力、多模态支持能力等等,都会因场景需求的不同而被取舍。
经过几年的发展 ,企业对大模型的应用越来越印证了这个判断 。以快速响应场景为例,DeepSeek R1的深层思考模式显然不太合适,其生成首个token的用时超过30秒 ,而Amazon Nova则只需要数百毫秒即可生成响应。而目前的DeepSeek-V3模型是文生文模型,并不支持图形等多模态信息的输入,也不是万能的。
其于这一理念 ,亚马逊云科技上线了DeepSeek 、AI21 Labs、Anthropic和poolside等100多个重点领先厂商的模型,并提供多样化的部署方式。比如,在DeepSeek的部署上 ,亚马逊云科技提供了4种方式,既可以满足一部分企业客户希望通过API快速集成预训练模型的需求,也可以满足另一部分企业客户追求高级定制或者性价比的需求 。
从整体的趋势上看,降低模型训练和部署门槛 ,使企业无需深厚AI经验即可调用大模型,是各家云计算厂商目前都在做的事。
模型蒸馏等AI工具变得越来越重要
DeepSeek-R1-Distill通过蒸馏优化,在推理速度、计算成本 、部署灵活性方面具有明显优势 ,它更适合需要低成本部署大模型的场景。
在DeepSeek-R1-Distill发布之前,亚马逊云科技还在Amazon Bedrock中推出模型蒸馏功能,帮助企业进一步降低大模型的使用成本 。根据亚马逊云科技CEO马特・加曼(Matt Garman)在演讲中透露的信息 ,经过蒸馏的模型相比被蒸馏的模型,运行速度能够快500%,成本还能降低75%。
在上述云计算厂商售前技术人员看来 ,在DeepSeek走红之后,企业客户通过模型蒸馏降本增效的需求越来越多,模型蒸馏功能对于云计算厂商也越来越重要。
据界面新闻了解 ,除了亚马逊云科技之外,阿里云、百度云等国内云计算厂商也已支持蒸馏功能 。其中,阿里云PAI的模型蒸馏功能支持将大模型的知识迁移到较小的模型中,从而在保留大部分性能的同时 ,大幅降低模型的规模和对计算资源的需求。比如,基于 Qwen2大模型开发的精简语言模型,通过知识蒸馏技术 ,提升了指令遵循能力,同时保持了较小的参数规模,便于部署和应用。
通过模型蒸馏满足企业客户低成本部署的需求 ,属于解决大模型落地使用中的工程化问题 。如果说基于场景选择合适的模型只是构建应用旅程的第一步,随着构建的深入,解决工程化难题的能力成为能否实现快速创新的关键。
除了模型蒸馏功能之外 ,云计算厂商在优化效果、减低延迟和成本上还可以通过低延迟优化推理 、提示词缓存等功能,大幅提升推理效率。比如,直接返回已缓存的结果比每次都调用大模型计算 ,推理延迟更短且计算成本更低 。
在企业落地大模型的过程中,还有一些需求推动着云计算厂商在更多工程化问题上进行创新,包括基于企业自有数据的定制优化、AI安全和审查以及实现复杂功能的多智能体等。
从实践来看,云计算厂商也在通过降低投入成本和技术门槛的方式来满足企业客户的这些需求。其中 ,亚马逊云科技把AI工具都集成在了Amazon Bedrock平台上,通过更便于操作的方式让企业经济实用地解决提取自由数据、提升回答问题准确性等问题。
马特・加曼(Matt Garman)在2024 re:Invent上分享亚马逊在部署大模型时的几个关键洞察时,特别强调了计算成本的问题 。在他看来 ,随着生成式AI应用规模的扩大,计算成本变得至关重要,人们非常渴望获得更高的性价比。
这也是驱动云计算厂商在大模型部署上持续创新的关键因素。可以预见 ,未来,云计算厂商还进一步结合AI硬件加速和自动化优化,推动企业客户使用上更快 、更低成本的大模型推理服务 。
科技早报|DeepSeek上线V3版本;红果短剧即日起排查所有剧集|界面新闻 · 科技
企业AI转型利器:中兴通讯AiCube助力DeepSeek高效部署|界面新闻
美股盘初:三大指数集体下挫,明星科技股普跌|界面新闻 · 快讯
胡润研究院发布中国人工智能企业50强,寒武纪、科大讯飞、商汤科技位居前三|界面新闻 · 科技
DeepSeek拉高三大运营商走势:中国电信涨停,股价创新高|界面新闻 · 科技
DeepSeek在海内外彻底爆发,但它不需要被神话|界面新闻 · 科技
豪鹏科技:已向某“AI+儿童陪伴”品牌厂商完成电池产品送样,预计今年进入产品量产阶段|界面新闻 · 快讯
还没有评论,来说两句吧...