天天新动态：澜舟科技周明：大模型未来研究的9个关键问题丨GTIC 2023-- 迪族网

天天新动态：澜舟科技周明：大模型未来研究的9个关键问题丨GTIC 2023

来源：智东西　2023-04-18 22:39:20

智东西

编辑 | GTIC

智东西4月18日报道，在刚刚落幕的GTIC 2023中国AIGC创新峰会上，澜舟科技创始人兼CEO、中国计算机学会CCF副理事长、创新工场首席科学家周明以《大模型带来的新范式》为题发表了主题演讲。

【资料图】

作为微软走出的技术专家，周明非常认可微软联合创始人比尔·盖茨关于“要把自然语言理解做好了，基本上可以重塑一个微软”的评价。

在他看来，大模型正带来认知智能的崛起。大模型尤其是ChatGPT代表着语言理解、多轮对话、问题求解进入了一个可实用的时代。同时，大模型有效解决NLP任务碎片化问题，大幅度提高研发效率，标志着NLP进入工业化实施阶段。AI 2.0时代将首先革新创作内容、办公方式、搜索引擎、人机交互界面、金融场景任务等领域。

创立于2021年6月的澜舟科技已推出了多个大模型对外产品服务，目前已落地孟子大模型、AIGC（智能创作）平台、机器翻译平台、金融NLP平台等多款技术及产品，落地同花顺、华夏基金等企业。结合类ChatGPT技术，澜舟科技推出了对话机器人MChat，能够通过智能对话帮助用户完成特定场景中的多种工作任务。

谈及对产业未来方向的展望，周明坦言，当下类ChatGPT技术在推理、逻辑、数学和算术、事实性错误等方面仍有所欠缺。未来，大模型相关的九大问题尤其值得关注，涉及推理能力、事实正确性、中文处理能力等方面。

以下为周明的演讲实录：

今天给大家介绍我们对大模型的一些新思考，我的演讲分三部分：一是我们对大模型的理解，它带来哪些新的范式变化；二是澜舟科技在这个领域所做的一些努力；三是未来大模型的发展。

一、大模型标志着 NLP 进入工业化实施阶段

我先谈谈大模型的一些背景。此前十余年人工智能在感知智能方面进展迅速。大模型带来认知智能的崛起，大家都知道2017年谷歌提出了Transformer技术，随后预训练模型BERT、GPT等一系列技术出现，NLP能力在各项任务上大幅度提升，最近ChatGPT带动了NLP发展热潮。

我们今天看到的一个明显趋势是AI正在大模型驱动下快速实现认知智能。认知智能包含语言理解，就跟我们的大脑一样，理解后要回答、解决问题，对业务做出预测。它有很多广泛的应用，从翻译、问答、交互、搜索、推荐、写作、专家系统等等，你能想到的跟人的智能有关的应用，几乎都是认知智能。

它对企业非常重要，原来企业讲大数据，现在智能平台可以把企业的很多业务进行升级，甚至可以提供一些企业洞见，发现数据之间规律。

大规模预训练模型简单来说就是几件事： 1、海量文本数据 ，比如互联网数据； 2、超大规模算力 ； 3、超大规模预训练语言模型 ，要么针对不同任务进行微调（BERT/GPT），要么连微调都不做（GPT-3，ChatGPT）； 4、一个模型解决N个任务 。

大家最近很熟悉的是ChatGPT，其实大模型有很多流派，像BERT是encoder这边，GPT是decoder这边，T5既有encoder又有decoder，它适合不同的场合。BERT类似的东西一般适合于文本分析、信息抽取，GPT更多适用于文本生成，T5更多被用于机器翻译。

当前在预训练模型领域较受关注的研究重点包括：第一，怎么把大模型做到更好，把它的能力做到更强？第二，预训练大模型代价太大，怎么降下来？第三，我自己有行业数据、有知识图谱，怎么融入进去？第四，做下游任务时，能不能少标点数据，少样本学习或者无样本学习？

我这里有两句话，希望大家能有点印象： 第一，大模型尤其是 ChatGPT 和 GPT-4 ，代表着语言理解、多轮对话和问题求解，进入了一个可实用的时代；第二，大模型有效解决了 NLP 任务碎片化问题，大幅度提高研发效率，标志着 NLP 进入工业化实施阶段。

传统NLP开发存在任务碎片化严重的问题，每一个NLP小任务比如分词、语义理解、机器理解都是从头开始开发，每个企业的数据又不一样。其他问题还有要做很多数据标注、开发周期长、支付成本高、维护代价高。

有了大模型，用微调（Fine-tune）或者提示（Prompt）技术，一下子就把碎片化解决得很好；再加上一点零样本技术或Prompt技术，减少了数据标注问题；再有一些轻量化训练方法或部署方法，减少了客户代价；还可以帮助客户自行快速建模，以便快速验证业务流程；最后可以通过本地部署或SaaS提供服务，减少用户的开发代价和维护代价。

我原来也是微软的，我一直受到比尔·盖茨的感召，他曾经跟我们在review的时候说过一句话：“ 你们要把自然语言理解做好了，基本上可以重塑一个微软。 ”我们这些天看到的微软和ChatGPT和OpenAI的合作中，几乎微软所有的业务都受到了一些新的革命性的影响。

ChatGPT有对话、语言理解、改写、翻译、写作、解题等能力，具体来讲，有几件事印象深刻：比如in-context learning，不需要改变大模型参数，用Prompt技术一个模型解决N多问题；还有Instruct-learning、涌现能力、复杂query理解、多轮对话、推理、逻辑、NL2Code、与人类价值观对齐等等。

过去几十年来，NLP也好，AI也好，以前都是一个模型解决一个任务，要针对每一个具体任务，设计规则（规则系统）、设计特征（统计系统）、针对大模型微调（大模型早期），开发周期长，而且不能复用。训练出来的模型，只具备这个能力，不具备其他的能力，而且设计的能力水平不会因模型架构修改或数据增加出现跃升。

这样的AI系统，我管它叫 AI 1.0 系统。有点类比于比较本分的小孩子，你告诉他做什么，他做什么，不会举一反三，不会触类旁通，他练习增加，能力可慢慢增长，但是不能顿悟。在GPT3.0，GPT3.5和ChatGPT之前，我们就简单地说ChatGPT之前是AI 1.0时代。

现在ChatGPT带来了一个所谓的 AI 2.0 或者 NLP 2.0 时代，用一个模型解决N个功能，再加新的功能，就用Prompt技术把它的能力带动起来。再往前走，我们可以设想这样的能力一点点增强，一点点走到所谓的通用人工智能（AGI）。

二、大模型改变工作范式：激发创意、高效办公、革新搜索、重塑人机交互

AI 2.0时代会带来哪些影响呢？

第一个影响是 ChatGPT 以及大模型 ，很好解决了创意问题，以前想一个营销文案半天想不明白，现在跟它交互几次，它可以提供很多新的创意。解决了这个问题，就可以大批量生产很多内容。这已经影响到大文娱、影视传媒等很多产业。

第二是办公自动化的问题 ，生成式AI让用户更加专注自己的业务领域，把繁琐的生成工作交给AI，让工作成果展现更加高效。像微软Office加上了Copilot，邮件、文章、PPT等办公工作的生产过程更加智能化、更加快速。

第三是对搜索引擎的影响 。原来一个query得到10个Boolean，现在搜索引擎基于大模型的理解，可以做复杂query理解，可以做语义层面的query和文档的匹配；以前搜索就是看数据，看不到数据内部的规律，现在除了看数据，可以形成总结、形成观点洞见，对数据可以有深度的洞察；最后是整个搜索改变了，原来就是搜索，现在把搜索、了解内容、了解规律、形成洞见、写出文章及发表，都可以一条龙提供服务。

除了微软提供的通用搜索服务，我们也可以设想在某些专用领域，把这样一些事情，比如解决金融领域的投研分析、投研报告问题，对各行各业都有非常大的影响。

第四是对用户语言的理解增强 ，你可以用自然语言与几乎所有的应用、所有的设备对话，你也可以把很多第三方的东西通过插件的方式联系到你的系统里，就像我们所看到的OpenAI通过发布了一些插件的方式，实际上用AI连接一切。我认为这是未来非常大的一个趋势。

三、澜舟科技大模型已落地金融场景，具备百亿级类 ChatGPT 能力

有了大模型，怎么改变行业？

我们要做金融，拿金融的数据继续训练，得到一个金融大模型，再支持金融中几乎所有的业务，这就是我们大模型落地方面所做的一些努力。

在智能客服场景 ，我们有上下文理解、多轮对话的能力，会对现在的客服、基于FAQ的客服产生碾压式的影响。

在营销文案生成场景 ，跟聊天机器人对话，可以激发新的灵感，最后得到不错的营销文案；可以生成各种各样的风控报告，基于信息抽取能力得到一些干货，包括保函审查、搜索问答场景等。

接下来介绍一下澜舟科技做了哪些工作，以及我们站在从业人员的视角，看类ChatGPT未来的发展趋势是什么。

澜舟科技成立于2021年，一直做大模型，我们的大模型获得了HICOOL 2021全球创业大赛一等奖，得到时任北京市长陈吉宁先生的接见。

我们已经推出一系列大模型的服务，像 AIGC（智能创作）平台、机器翻译平台、孟子大模型、金融NLP平台 等等。这些底层都是大模型，上层针对行业特点做继续训练，或者针对任务特点做监督学习，把大模型和体系发布出来，通过SaaS或者本地部署来提供服务。

孟子大模型有很多应用案例：比如跟 同花顺 做大模型在金融领域的落地，用于问答、对话、信息抽取等场景；跟传神做大模型在多种语言翻译和多种垂直领域翻译的应用；跟 华夏基金 做舆情分析平台；跟 数说故事 合作做AIGC营销文案写作。

澜舟科技把类ChatGPT做出来了，加上以前做的很多功能，如何用类ChatGPT把原来的功能串通起来，来解决行业的落地问题。比如调用类ChatGPT的能力，让它介绍一下爱因斯坦，回答如何发现相对论的、推荐北京的5个著名景点、续写小说、写一个口红的营销文案、作为工具处理一些金融场景任务等等。

目前我们开发的是 百亿级的类ChatGPT能力 ，有一定的对话、理解、问答各种方面的能力。我们花了很多工夫去整理中文数据，增强中文对话能力。我们也可以让类ChatGPT 调用一些已有的引擎 ，比如可能企业自己原来就开发出很好的翻译、写作等引擎，可能有第三方引擎，如何跟类ChatGPT联系起来。

四、未来大模型研究方向， 9个问题待解

再花5分钟的时间，讲讲未来的研究方向。我们先问一下ChatGPT：我是做自然语言研究的，没有很多块GPU，能做什么样的研究？

我昨天到学校去演示，很多同学也问了这样的问题，ChatGPT告诉你，第一，你可以做 模型压缩 ；第二，你可以做 迁移学习 ；第三，你可以做 多语言学习 ；第四，你可以做 领域有关的模型 ，或者说做 小规模试验环境下的创新算法 。

我觉得它讲得都挺好的，虽然大家都很喜欢、很追捧ChatGPT，但是它还有很多问题。我们要做未来的研究，一定要知己知彼，知道它的问题在哪里，才能有的放矢，进行改进。

第一，ChatGPT在推理、逻辑、数学和算数、事实性错误、偏见和歧视、写代码、抽象理解等方面还有很多欠缺。

比如问鲁迅和周树人是一个人吗？它说不是一个人，讲了半天理由；问父亲和母亲可以结婚吗？它回答说不可以结婚。这就说明ChatGPT在常识、事实性方面的理解和推理能力还有问题。

网上最近热传的画一幅唐伯虎点秋香的图，结果AI画成了一只老虎正在点香，实际上是因为它不理解中国的文化，可能是把中文翻译成英文，调用了Stable Diffusion，Stable Diffusion是针对英文的特点做的数据清洗和训练，所以拿它做翻译肯定会有很多的问题。实际上，要从根上来做，需对数据清洗做出中文标记，不能仅仅依靠英文标记，有很多的功夫要做。

信息抽取也有很多挑战，比如对话式抽取的意图理解欠佳，领域知识不足，缺乏专业度。 Prompt这件事既好又坏：好的Prompt能够把它的能力带出来，可是如果不会写Prompt，它的能力放在那儿也用不起来。

还有涌现，大家整天讨论涌现，涌现到底是什么？什么时候能出现涌现？模型做到多大才能出现涌现？模型小一点的时候，能不能用什么招把数据弄好，把算法弄好，让涌现早点出现，别等到搞到万亿模型才出现涌现？

以及 如何建立大模型的评测体系？有没有一个比较客观的自动化较强的体系来测大模型的能力？ 虽然我们看到学术界有些分任务做了一些标准测试集，但是很多新的大模型的能力是没办法测试的。所以我们呼唤产业界、学术界把大模型的评测体系好好地建立起来。

总结一下未来大模型方向的9个问题：

1、如何增强模型的 推理能力 ，能理解复杂任务，如解数学题、逻辑推理。

2、如何提高生成内容的 事实正确性 ，保证生成内容安全可靠。

3、如何最小化代价建立实时学习模型，能基于新产生的知识去生成答案，保证 内容的时效性 。

4、 提升中文的处理能力 ，如中文处理的成语、比喻、跨模态的语义对齐等。

5、如何增强 领域知识、跨语言知识、更好注入特定任务知识 等。

6、如何更加交互地、灵活地、智能地提升 提示（ Prompt ）能力 ？

7、更好理解 涌现能力 。到底是什么能力？怎么激发出来的？能不能更有效地，而不是单纯靠模型规模急剧增加，而得到涌现能力？

8、如何做好 模型轻量化 ？