每日播报!对话云知声创始人梁家恩:大模型要在务实解决行业问题中演进!

物联网智库 原创

导读


【资料图】

近日,云知声创始人梁家恩博士与智次方进行了深度对话,本文摘取了两位大咖对话中的部分精华内容。

当前,人工智能技术的发展已经进入了新拐点,AI技术范式正从过去的“预训练模型-特定任务精调”向“基础模型-应用反馈学习”变迁,这种迁移也必然创造更多应用可能,各行各业也在纷纷探索AI新范式,包括通用大模型演进和利用大模型范式解决医疗、工业、办公等场景问题,新产品也已经快速融入各行各业,不断塑造新业态、新场景,带来巨大的商业价值。

作为国内顶尖的语音人工智能独角兽企业,云知声十年来构建了以语音、语言和知识图谱为核心,涵盖感知、认知与生成的全栈AI技术体系,并向多模态人工智能方向拓展。对于云知声而言,已经把ChatGPT技术升级作为公司AGI能力构建的新起点,并优先解决在智慧物联和智慧医疗领域的应用问题。

近期,云知声创始人、董事长兼CTO梁家恩博士与智次方·物联网智库创始人彭昭聊了聊大模型在不同场景中的应用。

从鉴别式AI到生成式AI的转变

彭昭: 过去十年是鉴别式AI为主流,未来十年则是生成式AI的天下,众所周知,生成式AI对于数据、算法、算力这三个方面都提出了更高的要求,请问云知声在这三方面都做了怎样的准备和布局?
梁家恩:生成式AI其实和过去的鉴别式AI,在核心算法框架上来说差别并没有那么大,鉴别式AI主要研究的是数据分布,根据数据分布来区分不同的类型,而生成式AI,则是在数据分布做建模的基础之上,还要去研究数据的生成结构,特别是现在跟自然语言结合在一起以后,就可以用自然语言的方式去灵活控制它的生成的结果。
在人工智能领域,数据、算力和算法早已成为不可缺少的“三驾马车”,对于云知声来说,实际上我们在2012年成立时就已经开始布局这三方面,也是把深度学习最早用到产业界里的公司之一。在数据方面,云知声构建了一个云平台来汇集数据;在算力方面,早期公司就布局了GPU集群,但规模并不算大,在2016年的时候,我们开始把GPU集群升级为Atlas大规模机器学习超算平台,为未来同时调度上千块GPU做大模型做了很好的准备;在算法方面,现在语音、歌唱和虚拟人合成技术已经比较成熟,云知声在这方面的技术储备也很充分,未来还需要在多模态领域延伸,比如图像和视频的生成。多模态生成目前也都是通过自然语言来衔接在一起的,需要继续增加算力和数据,并结合应用场景进行拓展。
彭昭: ChatGPT背后使用的是数年前的Transformer架构,但依然取得了惊人的效果,这在某种程度上说明AI的演进已经从以算法为中心逐步变为以数据为中心,您觉得MaaS这种模式会成为AIGC时代的主流吗?未来还会如何演变?
梁家恩:在科技圈之外,Transformer的强大是在ChatGPT出现之后才被大众才看到。其实在它刚刚出现之后,GPT就已经用到了Transformer架构,虽然几个月之后就被Google推出的BERT模型打败,但BERT本身也用到了Transformer架构。过去,用传统的方法来处理语言问题是非常困难的,因为语言是个离散符号处理问题,要做词法分析、句法分析等任务非常麻烦,直到通过深度学习转化为词向量表示才有实质性突破。有了Transformer架构以后,利用它的自注意力(self-attention)机制,只要训练的数据量足够大,就可以把序列映射问题做到足够好。当时,这篇论文的标题取的也非常“嚣张”,叫“Attention is all you need”,意思是只要用自注意力机制就可以搞定所有问题,结果它确实在机器翻译上取得了非常大的突破。后来,业界就用这个框架去解决很多语义理解的问题,确实都有很大的提升,这在过去是不可想象的。不过,这些都是普通用户感觉不到的,用户真正能够感觉到的是模型在理解之外,生成的应答效果如何。
而ChatGPT的回应超出了用户的预期,大家才觉得终于比过去看到的对话机器人的智商有了质的突破,但其实技术在这些年里一直都有突破和进展,只不过是现在的应用形式让大家突然感觉到进展确实非常大。
刚才说到“以算法为中心转向以数据为中心”的趋势是非常明确的,因为在框架统一之后,模型的性能就取决于究竟给什么样的数据去训练,数据就决定了模型性能的上限,数据质量越高、规模越大,往往模型效果就越好。
未来,我认为Maas的模式会成为大趋势。过去,要处理相对复杂业务,都需要根据业务流程来编程解决,但现在就可以通过自然语言接口来处理这些任务,在这种情况下就可以用模型优化代替流程编码来直接解决各种问题,只需要收集这个领域和应用的数据去训练即可,而不需要自己编程来解决,这是模型处理业务和编程处理业务方式的本质区别。

大模型要更加注重数据安全

彭昭:如果转变为Maas的模式,如何判断各种模型的好坏呢?

梁家恩:其实最终都要从结果来评判的,ChatGPT比较好的一点就在于它其实在隐藏了中间的理解问题,用户不需要关心模型中间的“意图理解”环节,也不需要显式做句法分析、语义理解等动作,只要看看ChatGPT最终给用户的反馈质量如何就可以。就像图灵测试一样,只要人类无法判断是真人还是机器在回应,就是足够智能。如果单独处理“语义理解”任务,过去像BERT这种模型,要比GPT模型做得更好,因为它使用了双向注意力机制,但BERT架构没法直接形成直观的高质量回复,所以让非技术用户感知到。

彭昭:如果以数据为中心的话,掌握大量数据的企业会有很强的竞争优势吗?

梁家恩:不论是过去的传统算法,还是现在的机器学习算法,数据都已经变得非常重要,很多公司本质上也已经变成了数据公司。只要有很多的数据沉淀下来,模型就可以变得足够聪明,只不过此前使用传统的统计学习方法去挖掘这种能力,而现在是用深度学习和大模型的方法去挖掘,精度和能力也就越来越强。

彭昭:相比于其它行业来说,医疗领域对安全的要求更高甚至不容出错,云知声是如何在医疗行业大模型中满足近乎严苛的要求,从而让模型输出的结果更专业、更可信的?

梁家恩:云知声之所以把医疗作为一个主要方向,是因为医疗行业的知识密集程度非常高,如果在医疗领域的问题都能够处理好,相信很多其他行业也都能搞定,这对我们来说是一个技术的制高点,所以需要攻克它。另外,医疗行业的应用场景、应用空间包括社会价值也都很大。

在数据安全性方面,特别是有些涉及到用户的隐私数据,要求都是很高的,最难的就是真实的用户治疗案例,都必须经过数据的脱敏处理。另外,在我们和医院的合作过程中,也会把数据做相应的加密和tokenization,即把数据符号化,只有机器能够知道解码后的含义。在算法方面,现在的联邦学习也可以把各种特征融合后再去计算,使得不接触初始敏感信息的情况下,还可以继续优化模型。

彭昭:OpenAI的CEO也在积极的做一些生态投资的布局,云知声会不会担心OpenAI投资医疗赛道?

梁家恩:我觉得不论是教育还是医疗,这些行业其实都事关国计民生,所以这里面中国一定要有自己独立的解决方案,如果他愿意投资这方面的企业,在国内来看,我相信云知声是很好的标的。过去我们已经有很多行业已经遭受到所谓卡脖子的问题,在这个领域我们肯定不会让它成为一个新的卡脖子问题。

彭昭:云知声是以语音识别技术起家的,从2012年至今积累了大量相关经验,早期的这些技术积累对于云知声推出行业大模型有怎样的帮助?

梁家恩:当时起“云知声”这个名字的时候,我们就不仅仅停留在声音领域了,声音只是我们的一个切入点,我们更希望有一个云端大脑,有强大的认知能力,能够通过声音的交互去解决问题。

2012年时,我们开始布局“三驾马车”,到2016年AlphaGo开始兴起的时候,我们就已经开始布局底层的大规模计算能力,也就是Atlas超算平台。在此之上,我们还拓展了知识图谱和认知技术体系,从而形成一个全栈的技术体系。现在拓展到的大模型对我们来说只是一个算法框架的升级。类似过去用BERT主要是解决判别式问题的,那现在就把它切换成GPT的生成式框架,而BERT实际上是Transformer的编码器部分,GPT则是Transformer的解码器部分,算法改变对我们没有本质的挑战,我们也已经具备训练大模型的基础架构。除了算法和算力支撑,在行业问题认知和数据积累方面,也让我们充满信心。包括物联网和医疗领域,我们理解这些行业业务的核心问题,也有相关的数据积累,我们是非常有信心能把这个大模型做好的。

其实从ChatGPT的算法原理来说,早就已经有了, OpenAI最重要的是率先把产品做了出来,从而形成一个工程闭环。另外,大家对OpenAI的容忍度是远远高于Google的,如果OpenAI之前犯的那些错误Google同样犯的话,我估计后果是完全不一样的,所以不能说OpenAI在技术上是一骑绝尘的,像Google内部也有DeepMind在研究AGI,相关储备也已经非常充足。

在过去算法、算力和数据积累基础上,对我们来说就是把过去以BERT为核心的技术架构升级成以ChatGPT为核心的技术框架,这样的好处就在于可以用生成式AI把理解和生成打通,性能体验、灵活性、扩展性会强很多。

技术发展其实更符合对数曲线

彭昭:上周,OpenAI CEO表示诞生ChatGPT的研究策略已经结束,继续扩展模型规模带来的收益将出现递减。您觉得模型继续向参数量变大的方向发展还会持续多久,除了拼参数外,还有哪些发展方向?

梁家恩:大家其实对于算法好像有一种不切实际的预期,觉得一个算法就能解决所有问题,但不论是过去的统计学习、支持向量机,还是现在的深度学习,事实都并非如此,每种算法都有它自身的局限性,像OpenAI就是把GPT框架的潜力挖掘到尽头,并不是说竞争已经结束了,而是按照他们的这种探索策略,再继续加大投入可能已经没有太大收益。因此,需要寻找一些新的策略、新的方法,在这个基础上去探索,而不是说这个游戏已经结束了。

另外,单纯扩大模型规模也有它的局限性,对于技术外行来说,大都希望技术进步是一条“指数曲线”,但它其实是一条“对数曲线”,继续扩大规模到一定程度后,进步的幅度就会平缓很多,通过尝试新的方法可能再做出第二个对数曲线出来。

当然对于国内的企业来说,和OpenAI还是有差距的,那我们首先需要先做到现在GPT-3.5 或者GPT-4的水平,然后再继续往前走,我觉得后面还有持续的工作要做,毕竟纯靠参数量级的扩大,哪怕是做到人脑神经元的连接数量,也不是完全复制了一个人,还有其他的技术瓶颈需要突破。

彭昭:关于云知声将要推出的UniGPT大模型,能否简单透露一些信息?

梁家恩:其实去年我们看到ChatGPT出来后,就觉得这确实是一个颠覆性的工作。其实GPT-3就已经有很多新奇特性,但当时大家觉得它的可控性很差,可能无法驾驭好这种能力,直到ChatGPT展示出很好效果,才引起行业内外的高度关注。深度学习到今天为止,最核心的一个问题也还是可解释性和可控性不足。

而大模型所谓的“思维链”能力,可以告诉用户推导的过程,从而知道中间过程里有哪些东西是错的,优化的时候就可以获得提示了,而不是像过去一样只能看见和调整参数的权重。此外,还有一个比较早期的AutoGPT研究方向,但我觉得非常有潜力,就是用大模型来把大模型用好,形成AI for AI,未来的空间也会很大。

云知声的UniGPT,就是希望优先提升行业应用中的可控性和可解释性,把大模型调教到真正能解决行业问题的程度,甚至可以自动化完成,这样未来渗透到其他各种业务的应用中,效率就会高很多。

彭昭:现在好多人纷纷创业做大模型,请问云知声的大模型和其他人创业做的大模型相比,优势在哪里?

梁家恩:从技术原理角度来说,没有任何区别,我觉得现在做大模型的无非是三类公司,一类就是巨头企业,像微软、Google、百度等,他们都在做这事,因为这对他们主营业务来说确实太具颠覆性;第二类公司是以技术为核心的,包括云知声、科大讯飞和视觉四小龙等企业,需要和行业玩家结合去做,大家比的就是在不同的行业里谁能真正有效地解决问题,毕竟只有解决问题才能产生价值;第三类就是从纯学术届出来新创业的公司,他们的挑战更大的还是在工程上以及对行业应用的理解上面,与实际是会有比较大的鸿沟。

对于巨头企业来说,他们肯定是优先朝着更加通用的方向发展,守住自己的主业,再逐步进入到垂直领域,但是其实我们并不惧怕任何巨头团队,我们很多标杆客户都是这样竞争获得的,因为必须先要守住各自的主营业务,这才是第一要务。

扫码即可报名参会

关键词:

推荐DIY文章
主机存在磨损或划痕风险 PICO4便携包宣布召回
穿越湖海!特斯拉Cybertruck电动皮卡可以当“船”用
vivoXFold+折叠旗舰开售 配备蔡司全焦段旗舰四摄
飞凡R7正式上市 全系标配换电架构
中兴Axon30S开售 拥有黑色蓝色两款配色
荣耀MagicBookV14 2022正式开售 搭载TOF传感器
it