百度王海峰：深度学习平台+大模型，产业智能化基座

11月30日，由深度学习技术及应用国家工程研究中心主办的Wave Summit+ 2022深度学习开发者峰会如期举行。鹏城实验室主任、中国工程院高文院士，深圳大学电子与信息工程学院院长、深度学习技术及应用国家工程研究中心技术委员会副主任、中国工程院丁文华院士受邀致辞，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰发表题为《深度学习平台加大模型，产业智能化基座》的主旨演讲。

（以下为发言全文）

尊敬的各位专家、开发者朋友们，大家好！

欢迎大家来参加Wave Summit深度学习开发者峰会。非常感谢高文院士和丁文华院士对Wave Summit和飞桨的支持，感谢各位专家和开发者朋友们的支持。我今天分享的题目是，深度学习平台加大模型，产业智能化基座。我们坚持在技术上突破创新，在生态上培育耕耘，夯实智能化基座，让每一位开发者、让致力于科技创新和产业发展的社会各界，都能够在自主的基础底座上大展宏图，努力实现高水平科技自立自强，推动经济社会高质量发展。

开发者、科研院所、企事业单位、技术伙伴、硬件厂商，等等，都是飞桨生态的建设者和受益者。飞桨构建了全方位的生态体系，包括开发者生态、硬件生态、教育生态、企业生态等，产学研协同，共创、共生、共赢。

硬件生态方面，飞桨与合作伙伴从共聚、共研，到共创，2020年，联合发起硬件生态圈，促进AI产业链的适配升级；2021年，推进软硬一体联合优化，适配飞桨的芯片超过30种，支持的国产硬件数量位居第一；2022年，推进“硬件生态共创计划”，今天，将联合发布飞桨生态发行版产品，软硬件协同深度优化，更好地服务开发者，实现生态繁荣共赢。

飞桨自2016年开源以来，持续创新突破，不断降低AI开发和应用门槛。开源贡献者、合作伙伴，遍布海内外。飞桨结合区域产业特色，与生态合作伙伴一起，服务千行百业；与高校、企业等合作培养复合型人才。我们胸怀共同的技术理想，天涯若比邻。

在这里，我非常高兴地跟大家分享，截至目前，飞桨已经凝聚了535万开发者，服务20万家企事业单位，基于飞桨创建了67万个模型。飞桨的成绩，是大家共同努力的结果，也验证了深度学习生态的发展繁荣。那么，在技术持续突破、产业亟需再上新台阶的当下，产业智能化如何更进一步？

我认为，深度学习平台加上大模型，贯通了从硬件适配、模型训练、推理部署，到场景应用的AI全产业链，夯实了产业智能化基座，会进一步加速产业智能化升级。

我之前多次提到，深度学习平台是基础共性平台，下接芯片，上承应用，起到承上启下的作用，相当于智能时代的操作系统，有力支撑产业智能化升级。

而大模型的出现，为人工智能进一步发展带来新机遇。它的效果好，泛化能力强，大规模预训练加精调的研发流程，标准化程度高。同时，大模型也对深度学习模型的开发、训练和推理部署提出了更高要求，牵引深度学习平台的发展方向。

但是，大模型应用也面临技术门槛高的挑战。

首先是数据规模大，且数据质量参差不齐；其次是模型的体积大，算法难度很高；第三是算力规模大，性能要求高。因此，大模型研发，依赖算法、算力和数据的综合支撑。

面对挑战，如何实现大模型的产业化呢？

我认为，具有算法、算力和数据综合优势的企业，可以将模型生产的复杂过程封装起来，通过低门槛、高效率的生产平台，为千行百业提供大模型服务。这样，大数据、大算力、大模型能力仅需少数企业操心，千行百业直接应用即可。

这样的产业化路径，已经在我们的大模型产业实践中得到验证。

这张图，是最新的文心产业级知识增强大模型全景，包括以鹏城-百度文心为代表的通用大模型，以及跨模态大模型、生物计算大模型，联合共建的行业大模型，还有辅助大模型适配场景应用的工具套件，大模型API平台、基于大模型的产品、探索生态共建的创意社区等。

行业大模型方面，以文心通用大模型为基础，从行业及企业的特有数据和知识中，融合学习，模型能力进一步增强，取得了很好的应用效果，帮助企业降本增效，加速智能化升级。

我们已经与合作伙伴共建了多个行业大模型，覆盖制造、能源、航天、金融、传媒等领域，为创新发展添薪续力。

在大模型的产业实践中，一方面加强大模型技术突破，联合研制行业大模型，建设配套的工具平台；另一方面，支撑大模型开发、训练和推理部署的深度学习平台，也在持续进化。

飞桨是产业级深度学习开源开放平台，集核心框架、产业级模型库、开发套件、工具组件，以及学习和实训社区于一体，能够标准化、自动化地支撑模型生产和应用。

今天，我们也升级了飞桨平台，“大模型训推一体”开发套件，让大模型研发更便捷高效；“全场景AI部署工具”，性能好、简单易用，解决模型部署中的痛点问题。全新升级的飞桨平台，将更好的支持大模型研发与产业应用。

对于开发训练，飞桨动静统一的开发范式，以及自适应分布式架构，实现大模型的灵活开发和高效训练。

推理部署方面，飞桨支持大模型高效推理，并提供服务化部署能力。为了适配更多场景、更苛刻环境、更极致推理性能，飞桨一方面通过计算融合等方式进行全方位性能优化；另一方面通过软硬协同的稀疏量化进一步加速。同时，飞桨提供蒸馏裁剪等丰富的压缩策略，将模型进一步小型化，实现高效部署。

为了让大模型产业落地更高效便捷，飞桨提供了全TAO的产业化工具与平台，支持大模型的多样化应用。

“大模型开发套件”，支持大模型高效训练、便捷推理全流程，适配多硬件多平台，大幅降低大模型的研发门槛。“场景模型生产线”，高效构建与快速迭代基于大模型的多样化场景模型，让大模型的落地像流水线一样高效；内置的数十个模型生产线可以开箱即用，极大降低了大模型的应用门槛。

总结一下，深度学习平台加大模型，贯通AI全产业链，夯实智能化基座。飞桨加文心大模型，加速产业智能化。

接下来，我的同事们将为大家带来文心大模型及飞桨平台的重要发布和升级，敬请期待！

愿与大家一起共飨Wave Summit盛会，共襄科技创新盛举！谢谢大家！