飞桨突围背后的中国AI框架长征
2012年12月, 美国内华达州太浩湖旁,知名赌场Harrah 酒店的731 房间,一个由瘦弱老头和两个大学生策划的“皮包公司”的匿名线上拍卖收购现场厮杀正酣。
不久前,他们才刚刚成立这家“皮包公司”——名字是现取的,产品是没有的,生产计划为零,创始人之外的员工数量同样是零。不过,他们有一个大胆的计划,要将这家公司高价卖掉,而且还要卖给谷歌、微软在内全球最顶级的科技巨头。
1500万美金、1600万美金……2500万美金、3000万美金、3500万美金、4100万美金、4200万美金……
拍卖会现场,价格正在一轮轮被抬高,拍卖规则,也从一小时加价100万美金,一度上涨到半小时加价500万美金,直至4400万美金花落谷歌。
一个戏剧性的插曲是:最后一轮出价最高的,其实是一个报价4500万美金的中国科技巨头,却无奈老头从小脊柱不好,人在美国,坐不了飞机,而被动遗憾出局。
结果一出,各大科技媒体头版头条,立刻以震惊体外加大字刊登“谷歌4400万美金收购仅三名员工的创业公司。”
有人嗤笑谷歌,千金买马骨,向来擅长炒作。
却不知,年至花甲的老头,正是日后被誉为“神经网络之父”的Hinton。在他加入谷歌后不久,就在谷歌一个名叫DistBelief项目中小试身手,将原本算法友好度奇差的DistBelief进行一番改造,成为了如今AI领域如雷贯耳的TensorFlow,并一举奠定了其在全球人工智能领域的无冕之王地位。
那么问题来了,TensorFlow是什么,为什么具备如此大的魔力?
一句话概括,TensorFlow是目前全球最主流的开源深度学习框架之一。而所谓深度学习框架,你可以理解为是一个集合了所有主流AI算法模型,以及他们使用说明的大型软件仓库。有了深度学习框架,工程师们在工作时调试算法,就如同厨师有了预制菜做饭,简单又高效。
而在AI框架领域称王,无异于微软在PC时代发明Windows,谷歌在移动时代打造安卓。拥有了TensorFlow,谷歌也就拥有了能号令全天下AI群雄的无上权力与责任。
一万公里外的中国,随着TensorFlow的风靡,一场激烈的讨论正同步上演:TensorFlow,我们到底是用还是不用?
如果不用,在没有好用框架的情况下,想做好AI,巧妇也难为无米之炊。如果用,过去几十年,中国的科技产业因“缺芯少魂”而被卡脖子的沉痛回忆,难道在AI时代,又要任相似的剧情再次重演?
01AI时代,得框架者得天下
得框架者得天下,在AI领域,并不夸张。
我们常说,AI将带来人类历史上的第四次工业革命。更进一步,好用普惠的框架,则正是驱动AI普惠,缔造第四次工业革命的根本。
纵观第一次和第二次工业革命,其根本是以蒸汽机、电力为标志的生产工具向着工业大生产环节全面渗透,使生产力实现颠覆式、飞跃性发展。本质离不开更成熟的内燃机技术,也离不开已经发展至便宜且普惠的电力技术发展。
在AI工业革命中,谁将带动AI走向普惠?在2019年的WAVESUMMIT峰会上,百度CTO王海峰博士就曾前瞻性地提出观点:“深度学习的通用性特点,以及深度学习框架及平台的发展,正在推动人工智能标准化、自动化和模块化,进入工业大生产阶段。”
如何理解这句话?举个例子你就明白了:如果有现成的AI框架,那写一个算法,可能从模型开发,到应用部署,几十分钟就能搞定;但如果没有AI框架,那你得先花至少两个月写模型,然后训练调参数一个月,最后还得花一两个月根据具体的场景进行算法部署,时间一晃,小半年就过去了,结果还不一定尽如人意。因此,无论是从效率,还是从结果来看,框架是实现普惠AI,进入工业大生产的基础条件。
从国家角度出发,框架也是让中国从AI大国变身AI强国的根本。
经历了40余年的基础研究与探索,中国已经成为能与全球顶级水平齐头并进的AI大国。然而,大而不强,却始终是中国AI产业的心头之痛。
来自学界的数据也很好地证明了这一点:斯坦福大学发布的《2022年AI指数报告》中提到,2021年,中国AI专利申请量占全球总数的52%,专利申请数量居世界首位。但是,在该报告中,同样指出,在更检验质量的授权专利数量一项,排名全球第一的是美国。
那么解决办法在哪里?国家战略已经很清晰的为我们指明了方向:最新的十四五规划中,我们国家特地将深度学习框架和AI芯片作为新一代人工智能的前沿科技发展方向重点关注。中国要从AI大国变身AI强国,AI框架强大,是一切的根本。
从更具体一些的产业角度看,我们会发现,好的框架不仅将带动AI产业不断向前发展,同时也是关联产业——国产芯片崛起的必备条件。
关于框架与芯片的关联,百度CTO王海峰博士,同样做过一个科普“在智能时代,深度学习框架起到了承上启下的作用,下接芯片,上承各种业务模型、行业应用。”一个好的AI框架,与芯片互相配合,可以最大限度的“榨干”芯片的算力,发挥其最高效用。
因此,我们不难发现,PC时代,CPU的普及与Windows的发展紧密相关;移动时代,高通处理器总是与安卓架构升级同步完成;AI时代,框架与AI芯片同样如此:过去十多年中,AI的滚滚向前,GPU产业也随之一日千里的飞跃,而谷歌也同样凭借着TensorFlow带动着其自身的芯片TPU妄图在一统天下。
只不过,AI市场之大,一个谷歌吃不下,曾在PC时代、移动时代满眼辛酸的我们,也不会允许中国AI产业的根本,再次被卡脖子。
02从两强瓜分,到PPT格局,为什么框架的竞争还在继续?
事实上,早在TensorFlow出现之前,AI框架领域就已经硝烟弥漫。
其中最具代表性的是2007年加拿大蒙特利尔大学科学家研发的theano框架;在此之后,又有伯克利大学研发的Caffe框架面世,它们都曾成为红极一时的主流框架。
只可惜,theano出现太早太古老,是业内一个犹如远古化石般的存在,也因此随着2012年,深度学习代替传统算法成为AI显学,theano随之成为过去式。
caffe出现时间上,倒是恰逢其时,只可惜,相比后来的一众主流框架,caffe是个典型的“高玩产品”。如果你是个AI菜鸟,那么打开caffe,2013年前后,你看到的,是大神们一行又一行精妙绝伦的源代码。可到了2015年前后,ResNet为代表的大型神经网络出现,算法层数已经152层起步,别说想拿开源代码修改,就是看得懂,也得费好一番功夫。
因此,当TensorFlow带着计算图与可视化理念,通过在业界疯狂营销培养生态杀入AI框架后,很快就凭借着低门槛特性赢得了一众业内同仁的高度认可。国内不少有识之士却也在此时不免默默扼腕,TensorFlow开源框架的出现,是产业之幸,但对于中国来说,国外框架的垄断,无异于在AI领域,重新上演中国PC时代的操作系统之殇。
不过,就在谷歌左拥AI芯片届元老TPU芯片,右抱全球最大AI框架TensorFlow开源框架,志得意满地以为以为天下AI开发者尽归我有之时,却未曾想到,对手早已杀至家门前。
复盘前面的历史,我们不难发现,世界范围内,AI框架都是在沿着低门槛,以及生态路线不断发展迭代,要想打破TensorFlow的一统神话,秘诀同样如此。
尽管有大神压阵,TensorFlow也并非没有缺点。比如,诞生伊始,TensorFlow就将场景瞄准了工业领域,极度追求框架中算法在实际使用中的高效,代价则是灵活性的损失。就像一把好用的玄铁菜刀,无法像一把瑞士军刀一样还可以当牙签剔牙。而偏偏,AI的另一大应用场景——学界,探索的正是“刀具的108种”使用方法,需要算法实现更灵活,以方便算法研发过程中,不断的调整修改与调优。
我们都知道,一项技术的发展,一定是从理论,到技术,再到实际应用,而对应的人群,则是科学家、高校教授与学生,再到业界工程师。因为TensorFlow对学界的忽视,框架领域的又一次战争再次被埋下伏笔。
谷歌的第一个竞争对手,是2017年正式开源的AI框架PyTorch,通过与本就具备相当用户规模的caffe2合并,PyTorch诞生伊始,就凭借其巨大的灵活性优势受到了学界的广泛欢迎。更值得一提的是,它的背后站着的是Meta,也就是Facebook,因此,无论是做技术,还是花钱搞生态,Meta的实力都不弱于谷歌。
另一个对手,则来自中国。还记得那个因为Hinton老教授坐不了飞机,而在拍卖中遗憾出局的中国巨头吗?当年无奈错失Hinton老教授,并没有影响到这家巨头开发自主AI框架的决心。广泛招纳全球AI人才的同时,这家企业早在2012年已经在内部立项,开始了AI框架的自研工作,并在2016年放出大招,带来了第一个国产AI框架的正式面世。
看到这里,不少了解AI的朋友肯定已经猜到,这个巨头就是国内的AI龙头百度;而这个第一个国产AI框架,则正是已经比肩TensorFlow、PyTorch,成为全球前三、中国第一大AI框架的飞桨(英文名PaddlePaddle)。
不过与TensorFlow过于注重工业,PyTorch专注学界不同,飞桨的特性在于工业学界两手抓,通过动态图自动解析编译静态图的技术,兼顾了学界的灵活,同时也实现了产业界希望的高效。
当然,能够同时俘获学界与产业界认可,飞桨所依靠的,绝不仅仅是动态图自动解析编译静态这一个技术突破就能实现的。AI框架的两大宝典,无论是生态建设,还是在低门槛适用,百度无疑都走在前面。
先说生态。众所周知,一个好的AI框架与操作系统一样,离不开广大开发者的参与。
尽管AI的落地场景,无非计算机视觉、语音语义、搜索推荐等等,但具体到应用,究竟是用在超算中心,还是用在儿童手表;是安全要求极高的金融,还是效率为王的工厂,需要针对具体情况,对算法进行专门的定制。而面对数不胜数的长尾场景,哪怕强如谷歌、百度,也无法以一己之力全覆盖;这时候,开发者生态的重要性就体现出来了。
国内的AI框架界,一度流传着这样一个八卦:2018年前后,飞桨发展最迅猛的一段时间里,为了维护国内开发者生态,飞桨团队众多工程师常常深入开发者社区,潜入开发者QQ群中,一层层爬楼参与讨论,收集一众开发者对飞桨的吐槽,然后再第一时间悄悄加班解决。
除了线上第一时间回应开发者诉求,在线下,针对学界,飞桨已经开展了全国四千位多高校教师的AI培训;针对业界,飞桨则结合实际需求,在全国多地建设“百度飞桨人工智能产业赋能中心”,通过整合百度的AI技术、AI解决方案以及百度的生态资源,对开发者以及企业客户进行线下展示,增加开发者对飞桨的了解。
更重要的是,相较TensorFlow与PyTorch,飞桨无疑更懂中国开发者的实际需求。举个简单的小例子,2020年疫情最严重的时候,国内一众AI开发者,都因为疫情而被关在了家里,但飞桨的线上直播课却一直没停,反而通过密集的线上的开发者培训,不仅极大加速了飞桨在国内开发者中的普及,甚至还有开发者们在家基于飞桨,做出了戴口罩人脸识别、肺炎CT影像分析等助力抗疫的AI模型和应用。
当然,仅仅凭借更懂国内开发者,并不足以让飞桨真正成为一个世界范围内的主流AI框架,低门槛,是飞桨能够迈出中国,在世界舞台上与TensorFlow,与PyTorch一较高下的根本秘诀。
关于低门槛。TensorFlow与PyTorch,尽管相较前一代caffe,已经有了很大改进,但依旧需要使用者至少看得懂算法,也具备一定的编程基础才能使用。而飞桨,则通过推出Easy DL,让普通人在即使没有任何AI基础的情况下,也能在5分钟时间内,上传标注好的数据,来训练出诸如简单的图片识别、动作识别等基础的算法。
至此,全球范围内,AI框架的PPT格局初显。凭借着飞桨(PaddlePaddle)在学界、业界齐发,技术、生态共建,以及低门槛、对中国开发者的极大友好,曾一度在操作系统时代落后的中国,这一次,终于在AI框架上,扳回了一城。
03
中国的AI框架,走到了哪一步?
从无到有只是国产AI框架走完的第一步;从有到强,才是国产AI框架的真正使命。那么,多年发展,飞桨如今走到了哪一步?
我们先看看来自第三方机构的统计结果:2021,知名市场调研机构IDC曾公布了一份中国深度学习框架平台市场份额的报告,在中国深度学习领域,百度综合市场份额已经成为为中国第一。前不久,国际市场调研机构弗若斯特沙利文发布的《中国深度学习软件框架市场研究报告(2021)》分析了影响中国深度学习软件框架市场的三大关键要素——产品能力、生态能力、应用能力后,也显示,百度飞桨竞争力综合排名第一,其次是Meta的PyTorch和谷歌的TensorFlow。
除了第三方的排名之外,刚刚落下帷幕的WAVE SUMMIT峰会,或许也是我们观察的最佳细节切入点。
百度CTO、深度学习技术及应用国家工程研究中心主任王海峰博士
在技术与产业侧,飞桨仍在不断突围,让AI越来越普惠好用。
大模型就是其中最典型的代表。在过去,人们对于大模型大多只闻其名,鲜少在产业中真正应用。而在WAVE SUMMIT峰会上,百度则宣布,百度文心大模型依托飞桨,已经有了实质性的行业进展——会上,百度与国家电网、浦发这两大能源、金融领域的产业龙头联手,发布了两个行业大模型。
从空中楼阁,到解决实际问题,在百度看来,大模型落地难的根本问题不在于技术本身,而在于能否做到“更懂产业”,与真正的场景之间有效匹配。
具体来说,百度文心给出的解题思路,可以总结为三个关键词:模型、平台、生态。
拆解来看,模型,可以分为基础大模型、任务大模型、行业大模型。尤其值得一提的是,飞桨以文心大架构为能力基础,通过与最懂产业的行业头部伙伴一起构建的行业大模型,是更高效、精准地解决产业的问题的有效路径。
平台,指的是一个配套工具平台,可以基于产业应用全流程需求,全方位降低AI使用门槛。
生态不必多解释,通过让更多人零距离接触到先进的AI大模型技术,激发更多落地的创新与创意。
不过,全球知名的AI大模型这么多,为什么只有文心最先做到了产业化应用?
“更懂产业”,其实是飞桨赋予文心大模型的先天优势。
过往,飞桨已经把各种深度学习技术输送到制造、城市、能源、金融、媒体等各行各业,并催生了AI训练师、5G云代驾、智能办公等新业态、新模式。
因此,当大模型要落地产业时,飞桨除了能与其共享工具、平台、生态,还能将多年AI落地经验、行业KNOW HOW,以及飞桨的生态伙伴,都毫无保留地分享。
除了是文心大模型最可靠的底层支持外,飞桨本身在产业侧,也仍在不断进化。
技术方面,飞桨框架已经进化到v2.3版,已经完成了开发、训练、推理部署的全面升级,并极大提升深度定制开发和自动化能力。
面向场景,还发布训练推理一体的导航图、产业模型选型工具、PaddleScience赛桨与飞桨移动工作站,来帮助开发者做好选型与开发,不仅给出最好的工具,也同时给出一个直接参考路径,让AI不仅可用,还更低门槛的好用。
当然,飞桨的合作伙伴不仅仅是企业,很多高校、研究机构也都选择了飞桨。在近年关注度不断“破圈”的AI for Science领域,飞桨提供了从算力、到框架、再到工具组件的一整套能力,用AI赋能基础科学研究,并与开发者协同,在诸如流体力学、分子生物学等科学问题的数字化仿真上取得了相当成果。
在生态侧,飞桨的生态之树更是稳扎稳打,全面绽放,让AI越来越普惠。
截至2022年5月,飞桨已经凝聚477万开发者,创造56万个AI模型,服务18万企事业单位,与产学研用协同培养超过200万AI人才。
尤其是在芯片领域,飞桨的生态之树尤为枝繁叶茂。自2016年飞桨开源以来,百度就紧密地与国内外芯片企业,如英特尔、英伟达、ARM、华为、寒武纪、瑞芯微等厂商开展软硬一体的芯片联合优化模式。截至2021年底,已有超过20个厂家、30种以上的芯片适配飞桨。
在WAVESUMMIT峰会上,百度还基于飞桨大航海计划2.0,发布三大共创计划:飞桨产业实践范例库共创计划、飞桨AI for Science共创计划与飞桨硬件生态共创计划,与产业、开发者共建中国最强大的AI开发者生态。
技术、场景、生态三大领域同步大步迈进的背后,是以百度飞桨为首的中国自主AI框架,奋力夯实工业大生产底座,让AI加速落地,普惠全行业,一同向上突围的坚定决心。
04
尾声:从造芯补魂,到AI普惠,国产AI框架的使命与未来
AI框架的意义是什么?
从一个国家角度来看,无异于是AI时代的造芯补魂,让我们从AI大国变身AI强国。而从一个时代来看,飞桨这样的平台存在,是全人类进入AI工业革命,AI成为通用普惠技术的根本。
然而,这些命题,对于普通人来说,或许过于遥远。作为一个在上海疫情中被隔离的普通人,我会常常反思,我们的AI技术、AI产业真的成熟吗?
如果自动驾驶再普及一点,六七十岁的楼长阿姨,是不是就可以不必在没有电梯的老小区中跑上跑下,配送抗原、蔬菜?
如果人脸识别应用再广泛一点,是不是热心的志愿者们,就不必穿着厚重的防护服,与前来做核酸的人近距离接触?
如果语音技术的门槛再低一点,是不是基层居委就不必因为担心通知不到位,而一家家一户户电话通知最新抗疫安排而忙碌到凌晨无法入眠?
背后一切的一切,其实并不需要技术领先全球,它的距离仅仅是,通过AI框架,让人人都能成为开发者,让AI的门槛更低,让普通人能够零门槛,普惠的使用AI,让AI参与到整个社会的变革。