游客发表
面向企业客户启动文心大模子4.0 API调用效率测试恳求,宣告效率逾越17000家客户,国内构建在各行各业的首个商铺近500个场景中妨碍大模子运用落地探究……自往年3月面世以来,baidu智能云千帆大模子平台作为全天下首个一站式企业级大模子平台 ,原生运用为业界交出了唯逐个份“满分成绩单”。全链
10月17日 ,模生baidu天下2023在北京首钢园召开。态系统baidu智能云在大会时期宣告:周全降级“云智一体”策略 ,宣告面向客户落地大模子的国内构建五类需要提供全栈效率妄想;面向AI原生运用开拓 ,重磅宣告“千帆AI原生运用开拓使命台” ,首个商铺减速企业AI原生运用落地;宣告国内首个AI原生运用商铺,原生运用以及国内首个大模子全链路生态反对于系统 ,全链赋能过错商业削减,模生共建、态系统同享兴隆的宣告大模子财富生态。
(baidu总体实施副总裁、baidu智能云事业群总裁沈抖)
知足企业大模子落地五大需要 :baidu智能云降级“云智一体”策略
自2020年起 ,baidu智能云在业界争先提出“云智一体”策略 ,并在技术架构与效率等方面妨碍了一再迭代降级。本届baidu天下大会,“云智一体”的策略外在周全降级为“云智一体,深入财富,生态兴隆 ,AI普惠” 。
baidu总体实施副总裁、baidu智能云事业群总裁沈抖展现,家养智能与云合计的深度散漫是企业快捷落地AI原生运用的关键,这也是baidu智能云不断倡讲以及践行的“云智一体”理念 。当初,baidu总体所有运用以及效率全副基于”云智一体“技术架构运行在baidu智能云上 。此外,面向客户落地大模子的五类需要 ,baidu智能云基于千帆大模子平台打造的“大模子超级工场”分说给出了最佳效率妄想 。
(大模子时期的云智一体)首先,针对于惟独算力需要的客户,千帆平台可能提供极致高效以及性价比的异构算力效率。在客户最体贴的大模子磨炼关键,经由火布式并行磨炼策略以及微秒级互联能耐,千帆平台可能实现万卡规模集群磨炼的减速比抵达95%;经由事条件防、事中实时发现 、定位、处置,最大限度防止集群因倾向等原因发生的实用运行,后退实用磨炼光阴占比,万卡集群实用磨炼光阴占比抵达96%,短缺释放集群实用算力,大幅飞腾客户算力与光阴老本 。
此外,千帆平台还兼容昆仑芯、昇腾 、海光DCU、英伟达 、英特尔等国内外主流AI芯片 ,反对于客户以最小的切换老本实现算力适配。
面壁智能携手知乎 ,基于baidu智能云提供的AI算力集群,磨炼出“知海图AI”大模子以及多模态大模子Luca,在千卡集群上的实用磨炼光阴占比高达99% ,在保障模子磨炼不断性的同时 ,可能实现模子磨炼下场的高效收敛。此外 ,知乎 、好未来、地平线等企业也正在基于baidu智能云提供的AI算力效率 ,以愈加晃动、高效以及经济的方式实现大规模集群的磨炼以及规画。
其次 ,在模子层面,对于愿望直接调用已经有大模子的客户,千帆平台纳管了42个国内外主流大模子,企业客户可能快捷调用搜罗文心大模子在内的种种大模子的API ,取患上大模子能耐。对于第三方大模子 ,千帆平台还针对于性地妨碍了中文增强 、功能增强、高下文增强等优化。当初千帆平台已经效率了逾越17000家客户,大模子API调用量不断高速俯冲 。
第三 ,对于愿望基于现有大模子妨碍二次开拓的客户,千帆平台为大模子的再磨炼 、微调、评估以及部署等关键提供全性命周期工具链、业界至多的41个高品质行业数据集,辅助客户针对于自己营业场景快捷优化模子下场 。当初 ,搜罗中国邮政蕴藏银行 、度小满 、金山办公 、河北高速总体在内的诸多行业头部客户 ,都正在经由千帆平台提供的工具链效率开拓出贴配合业需要的专属大模子 。
第四,在运用层面 ,一部份企业需要基于大模子效率去开拓AI原生运用 ,千帆平台上提供的一系列能耐组件与框架,可能辅助企业快捷实现运用开拓,锐敏地响运用户与市场需要 。
最后 ,另一部份客户则愿望直接、利便地选购成熟的AI原生运用产物,赋能营业睁开。
赋能企业高效开拓AI原生运用:宣告“千帆AI原生运用开拓使命台”
为了知足企业灵便、高效地妨碍AI原生运用开拓的需要,飞腾AI原生运用开拓门槛,baidu智能云重磅宣告“千帆AI原生运用开拓使命台”,将开拓大模子运用的罕有方式 、工具 、流程 ,积淀成一个使命台,辅助开拓者聚焦在自己营业 ,而无需为开拓历程关涉过剩肉体 。详细来说 ,千帆AI原生运用开拓使命台主要由运用组件 、运用框架两层效率组成。
运用组件效率由AI以及根基云两大类组件组成 ,是对于底层效率能耐的组件化封装,让每一个组件实现一个特定的功能 。“AI组件”中既搜罗诸如问答、脑子链(CoT,Chain of Thought)等狂语言模子组件,还搜罗文生图、语音识别等多模态组件 ,而“根基云组件”则搜罗向量数据库、工具存储等传统云效率能耐。
运用框架则是经由将上述这些组件有抉择地串联、组合起来,让它们可能比力残缺地实现一个特定场景的使命。当初,千帆平台上提供的检索增强天生(RAG)、智能体(Agent)便是罕用的AI原生运用框架。在每一个框架下 ,baidu智能云还提供丰硕的典型间 ,反对于开拓者灵便、高效地妨碍AI原生运用开拓。
(baidu智能云重磅宣告AI原生运用开拓使命台)检索增强天生(RAG ,Retrieval Augmented Generation)框架 ,可能更高效的运用企业专有规模内的知识 ,并在大模子的帮手下凭证无关下场做出精确回覆,是业余知识问答类AI原生运用的必备中间能耐。
大会现场还妨碍了若何基于RAG框架,为三一重工快捷开拓知识问答应用的实练习示 :惟独在千帆AI原生运用使命台中抉择预置的RAG框架 ,妨碍响应的参数配置装备部署等使命,就能快捷实现三一重工官网智能客服运用的开拓与上线。沈抖展现,搭建这样一个“小助手”,纵然需要处置多少千篇万字长文档,老本也惟独多少百块钱;而之后用户每一次咨询,老本仅需多少分钱