当前位置:首页 > 杂谈 > 正文内容

重大升级!百度CTO王海峰首谈文心大模型3.5-百度王海峰个人信息

2023-07-04 07:49:08TONY杂谈264

今年3月,基于文心大模型3.0打造的百度新一代知识增强大语言模型“文心一言”公开邀测。时隔三个多月,文心大模型3.5版本即取得了效果、功能和性能上的全面提升。近日,百度首席技术官王海峰接受采访,详细解读了文心3.5在技术和工程上的升级,展望了大模型在千行百业的落地前景。

据了解,与文心大模型3.0相比,3.5版本不仅在创作、问答、推理和代码能力上全面升级,安全性显著提升,训练和推理速度也大幅提升。对比数据显示,文心大模型3.5的训练速度提升2倍,推理速度提升17倍。这将大大提高模型迭代升级的效率,大幅降低训练及使用成本,进一步提升用户体验。

新增插件机制

文心3.5 扩增能力边界

功能方面,文心大模型最大的一个变化是新增了插件机制。“文心大模型3.5通过插件方式扩增了大模型的能力边界。”王海峰说,默认的内置插件“百度搜索”,使得文心一言具备生成实时准确信息的能力;长文本摘要和问答插件“ChatFile”支持超长文本输入等等。王海峰表示,下一阶段,文心一言将发布更多优质的百度官方和第三方插件,让用户能够更好地应用文心大模型。同时,文心一言也将逐步开放插件生态给第三方开发者,帮助开发者基于文心大模型打造自己的应用。

持续技术创新

文心3.5 学习和掌握更多知识

王海峰透露,文心大模型3.5在基础模型训练上采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,并采用多种策略优化数据源及数据分布,大大加快了模型的迭代速度,显著提升了模型效果和安全性。同时,百度文心大模型研发团队创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术,使模型效果及场景适配能力进一步显著提升。

王海峰说,在此前知识增强和检索增强的基础上,文心大模型3.5版本进一步提出了“知识点增强技术”。具体而言,知识点增强技术首先是对用户输入的查询、问题等进行分析理解,并解析出生成答案所需要的相关知识点;之后运用知识图谱和搜索引擎为这些知识点找到相应答案,最后再用这些知识点构造输入给大模型的提示。显然,知识点增强技术能为大模型注入更具体、更详细、更专业的知识点,显著提升大模型对世界知识的掌握和运用,从而使其在各项任务上都取得了显著的效果提升。此外,在推理方面,研发团队还通过大规模逻辑数据构建、逻辑知识建模、粗粒度与细粒度语义知识组合以及符号神经网络技术,显著提升文心大模型3.5在逻辑推理、数学计算及代码生成等任务上的表现。

文心大模型最新能力

时刻准备落地

面向公众邀测的文心一言自5月23日以来,已升级到文心一言2.0,最新版本为6月21日上线的文心一言V2.1.0。该版本的更新信息有“上线官方插件ChatFile,可基于长文档进行问答和摘要”、“优化了模型在数学计算和作文创作的能力”等,其背后,正是文心大模型3.5 提供的服务。王海峰说,已获得邀测资格的用户可以随时访问服务,体验文心大模型3.5的实际效果。“凡是要跟语言文字或程序代码打交道的应用场景,都可能有文心一言的用武之地。”他表示,已经有很多在积极应用文心一言的场景,包括智能办公、智能编程、智能营销、智能媒体、智能教育、智能金融等。例如,当前百度“如流”已经基于文心一言的能力上线了“智能总结”、“智能洞察”、“超级助理”等多个新功能,倾力打造企业办公的统一入口、重塑业务流程、打破系统边界,实现工作模式的范式变革;再如,在智能编程方面,百度智能编码助手Comate已可根据自然语言的描述,生成对应的代码片段,也支持在代码编辑区内根据注释自动生成代码,提升开发效率。王海峰表示,文心大模型时刻准备着落地千行百业,以高水平科技自立自强支撑高质量发展。文章来源:中国科学报记者:赵广立扫描二维码进入【百度文心一言】官方交流群

关注【百度文心一言】公众号获取更多技术内容~

相关阅读:

AI大模型落地背后,正带来一场智能制造的系统重构

百度CTO王海峰:文心一言落地水到渠成,带来三大产业机会

百度CTO王海峰:全栈AI技术加持,打造新一代大语言模型文心一言

“重大升级!百度CTO王海峰首谈文心大模型3.5-百度王海峰个人信息” 的相关文章

27年终落幕!微软宣布:IE浏览器正式退役!网友:考试报名咋办?

27年终落幕!微软宣布:IE浏览器正式退役!网友:考试报名咋办?

记者 | 吴羽 又是一个传奇时代的结束!微软最新宣布,微软IE浏览器6月16日正式退役! 网友纷纷感叹,这是几代人的青春见证者! 微软IE浏览器6月...

云恒制造:PCB使用盲孔和埋孔的优点有哪些

云恒制造:PCB使用盲孔和埋孔的优点有哪些

盲孔技术和埋孔技术是PCB制造中常用的技术,主要用于提高PCB板的密度、可靠性、稳定性和耐热性。它们都有各自的优点和适用场景,云恒小编为大家详细介绍PCB使用盲孔和埋孔的优点有哪些。一、盲孔的优点盲孔是指在PCB板上通过钻孔的方式形成的孔洞,但是这些孔洞是不可见的。盲孔的优点主要有以下几点:1、减少...

知云时代教育集团2023年职教招生工作总结暨秋招启动大会顺利召开

知云时代教育集团2023年职教招生工作总结暨秋招启动大会顺利召开

4月20-21日,知云时代教育集团在京召开2023年职教招生工作总结暨秋招启动大会,旨在复盘总结工作经验,相互学习、借鉴;反思工作中存在的问题并研讨解决方案;提升业务能力及企业团队核心竞争力,为下一步做好秋季招生工作做出具体的方向指引。知云时代教育集团总裁郭玉峰、副总裁、...

供春「不知云几·人间烟雨」

供春「不知云几·人间烟雨」

供春壶,最初称“树瘿壶”,后为纪念供春改为“供春壶”,又称“龚春壶”,供春壶是明代正德嘉靖年间一位江苏宜兴制壶名人供春所作,亦是历史上第一位由于做紫砂壶出名的紫砂艺人。 此壶承袭其形制,壶形饱满稳重...

创新科推出全国产企业安全云盘:云办公更安全的文件管理利器!

创新科推出全国产企业安全云盘:云办公更安全的文件管理利器!

为解决国产化、数字化转型升级过程中,桌面级文件备份安全、终端迁移更替效率低、国产化终端融合办公成效欠缺、团队在线协作困难等问题,创新科推出SV1000G3-T12SW企业级安全云盘解决方案,基于国产化基础架构,集云盘+在线文档+数据安全+国产硬件于一体,打造全新文件存储协作共享...

日本人常用的网站大全(去了日本千万别再用百度了)

日本人常用的网站大全(去了日本千万别再用百度了)

日本人常用网站:(有些需要翻墙哦~) 1、西铁城官网:http://www.citizen.co.jp/ 2、爱普生官方网站:http://www.epson.com/ 3、雅虎日本:http://www.yahoo.co....