丨划重点
1. 大型模型的每次训练成本通常在数百万美元以上,是一个非常消耗财力和计算资源的过程。
2. 参数是构成模型本身的要素,类似大脑神经元数量等指标,参数量大小决定了模型的复杂程度,但不意味着参数越大越好。
3. 大模型应用普遍存在计算能力的不足、数据的问题、大模型训练所需的工具链以及缺乏专业团队和经验四个问题。
4. 模型即服务意味着用户只用关注模型本身,而无需关心模型本身底层的各类复杂算法和工程化的过程。
丨概述
ChatGPT爆火7个月,尽管关注度略有下降,但“现象级产品”已经不足以形容这款来自人工智能时代的产品。
在很多人看来,以GPT为代表的大模型,是人类到达通用人工智能(AGI)时代的桥梁,无论是谷歌、微软这样的巨头,还是刚刚成立的初创团队,都希望押宝大模型赛道,拿到通往未来时代的门票,“万模大战”的局面就此诞生。
尽管人们对大模型、人工智能巨大的变革能力存在共识,但是在具体的模型、算法、数据和算力等领域存在不同的观点和看法。
7月5日20:00,《亮见》独家邀请到了腾讯云TI平台产品负责人 侯方,直播解读大模型数据、算力价值、应用场景探索以及平台对大模型创业的赋能理念。
在侯方看来,大模型的训练是一个成本非常高业务,模型的参数量需要跟应用场景匹配,越合适越好,算力则是越大越好,“大型模型的参数量越大,就需要更多的训练过程来填充这些参数,这也意味着成本更高”。
与此同时,侯方也分享了与客户共同推动大模型应用方面的难题,包括 “计算能力的不足、数据的问题、大模型训练所需的工具链以及缺乏专业团队和经验。”,与此同时他也提出了自己对大模型应用的建议,他说,“从目前实际的经验来看,第一个需要解决的问题是确定适用的场景。”
侯方认为会有越来越多的平台加入到赋能的行列当中,推出以模型即服务为代表的行业大模型精选商店,帮助解决客户在模型和算力方面的难题,他也呼吁更多的团队选择这样的形式踏入大模型时代的门槛,以解决企业大模型落地的成本和效率方面的问题。
以下为直播文字精华:
01
参数量越适合越好,算力越大越好
刘兴亮:先科普一下大模型的参数量越大是否意味着越好?
侯方: 大型模型看起来非常智能、复杂,实际上我们可以简单地理解它只是一系列矩阵。这些矩阵在数学中表示各种值,通过大量的矩阵运算,完成整个智能的实现。
关于参数规模,自从ChatGPT问世以来,人们迅速开始进行比较。大家惊叹于巨大的参数量,也意识到它产生了大量的智能涌现。
就模型本身而言,并不是说参数越大越好,也不是说参数越小越好,最重要的是要看你要解决什么问题。在不同问题场景下,你可能需要一个更大、更专业、更聚焦的模型,也可能只需要一个很小的模型。
所以,就参数量而言,从我的观点来看,适合的才是最好的。
刘兴亮:大模型参数是过去理解的数据吗?如果用一句话来解释可能是什么?
侯方: 简单来说,大型模型通过学习数据并将其转化为其内部的参数,这是相对直观的解释。
数据是指我们用于大型模型学习的语料,也就是我们提供给它的知识,而参数则是构成模型本身的要素,类似于我们大脑中的神经元数量等指标,参数量的大小一定程度上体现的是模型的复杂程度。
需要注意的是,训练大型模型的成本与数据、参数息息相关。模型训练涉及的数据量会影响训练成本,学习100条知识与学习1000万条知识的成本完全不同,因此数据规模对成本产生影响;而模型的参数量越大,就需要更多的训练数据和训练时间,这也意味着成本会更高。
从ChatGPT中可以看出,大型模型的每次训练成本通常在数百万美元以上,所以这是一个非常消耗财力和计算资源的过程。
大模型发展进程图,来源:新智元
刘兴亮:说到大模型,算力是躲不开的话题,到底什么是算力,对于模型来说,它的价值在哪?
侯方: 一般来说算力越大越好。
算力多意味着模型训练本身的耗时就会变短,训练模型,大模型的智能涌现过程有一些大力出奇迹的过程,所以如果你拥有更多的算力资源,那就在模型训练本身就有更多尝试的可能性。
算力是指在AI大模型训练中的计算能力,通常指的是GPU卡,也就是用于图形处理的显卡。这些显卡在并行计算方面非常擅长,并且内置了芯片和处理单元。当然,CPU也可能提供一定的算力,因为它是计算单元的一种形式,这就是算力的意义。
02
大模型应用的四个难题
刘兴亮:现如今企业对于大模型的需求体现在哪些方面?
侯方: 自从大模型问世以来,我们与客户交流和合作的频次显著增多。大家的想法和创意变得无限多样化,我们也在不断满足各种各样的需求。
在我之前接触的客户中,有几个典型的例子,最常见的一个例子是客服领域应用,以提升智能客服的体验和效率。许多企业都会面临类似的问题,无论是销售部门还是其他后勤支持部门,客服的升级是我们目前接触最多的一类客户需求。
客服领域涉及许多方面,不仅仅是直接生成答案,它还包括准确性的要求,以及完成各种具体的任务,比如预订酒店、预订机票等等。
除了客服领域,我们还接触到了许多生成类的需求,比如写小说、撰写公文、报告、视频脚本和营销文案等等,这个领域的需求非常广泛多样,因为要写的东西种类繁多,这是第二类需求。
第三类需求逐渐偏向专业领域,包括编程、研报撰写、会议纪要等等。
刘兴亮:企业现在在应用大模型方面,遇到的核心难题会是什么?
侯方: 由于ChatGPT 的出现,大家一开始都会有比较高的预期,认为大模型能够解决所有的问题。单我们与客户合作时常常遇到以下四个难点:计算能力的不足、数据的问题、大模型训练所需的工具链以及缺乏专业团队和经验。
首先是资源问题,特别是计算能力。许多企业想要进行大规模的模型训练,但他们自身的计算能力有限。例如,我们遇到过一些客户只有两张显卡的机器,但他们想要处理更多复杂的任务。这不是因为他们没有足够的资金,而是在这个领域的积累或储备相对不足,而当前市场环境下比较难找到可用的计算资源,算力供不应求已经成为一个普遍的现象。
第二个问题是数据。许多企业希望训练自己的模型,但却面临数据量不足,或者数据质量不够好的问题,而模型训练非常依赖于数据的质量和数量。此外,数据的清洗、配比和预处理等一系列工程任务也需要大量的工作,数据工程本身也具有一定难度。
第三个问题是大模型训练所需的工具链。大模型训练需要一套完整的工具链,因为这个涉及到对于高性能算力、高性能存储、多机多卡调度能力、加速框架等等。
最后一个问题是缺乏专业团队和经验。大模型的虽然越来越多,但很多企业缺乏将其落地的专业团队和经验,在实际落地的时候,会面临模型选型、数据处理、训练方法选择等问题。
刘兴亮:你会给企业管理者在应用大模型方面提什么建议?
侯方: 从目前的经验来看,首要解决的是确定适用的场景。我们在与各个客户的交流中发现,这是我们共同面临的第一个关键问题。
由于大模型技术还比较新颖,没有人能够断言自己的大模型在某个特定场景下就是绝对最佳选择,这需要我们不断摸索和实践。
其次是算力、数据、平台工具的建设,这些都是需要考虑的关键因素。
最后是一个比较普遍的建议,即拥抱大模型。由于大模型对于许多软件和业务设计,包括解决特定场景下问题的方法,都提出了全新的思路和交互方式。
03
人工智能让互联网“又行了”
刘兴亮:有哪些原因和客观条件促成了现在的大模型的创业潮?
侯方: 大模型技术的出现是整个技术领域中的一次根本性变革。
过去,我们更加注重算法,而随后逐渐发展到深度学习阶段,这个阶段数据的作用开始凸显,但算法在其中仍然占有相对较高的比重。
随着大模型的出现,会发现只要提供数据和算力,模型就能自主学习很多东西。在这种情况下,算法本身的重要性在逐步降低,从技术的发展路径来看,这是一个非常大的变革和进化。
而从应用的角度来看,过去几年,AI在企业中的落地场景越来越多,应用也越来越广泛,并且融入到人们的生活中,接触度也越来越高。
在以上几个因素的推动下,人们开始坚定地拥抱AI和大模型技术。
刘兴亮:AIGC的价值到底是什么,它给互联网行业带来什么样的变化?
侯方: 大模型最大的特点是生成式,通过将大量的数据和知识映射到数学空间中,通过多个维度对这些知识进行解构。一旦知识被解构,它们就可以通过重新组合产生现实中的各种作品,如艺术绘画、文字或其他创作。
大模型的运行依赖于大量的计算过程,这意味着它能够以一种非常结构化的方式学习和创造,利用上千亿个维度进行随机组合,从而产生令人难以置信的作品,这就是为什么有时候它创作的画作或文案让人感到惊讶,而人类自己往往无法想到或写出这样的作品。
因此,AI和大模型技术在内容创作领域,尤其是内容生成方面,将带来许多新的技术,辅助或替代人类的创作过程,使我们能够更加聪明地生成内容,这确实是一种非常有效的状态。
AIGC的上中下游,来源:《AIGC+AI生成内容产业展望报告》量子位智库
刘兴亮: 在算力和数据上,小团队其实不占优势,选择成熟的开源大模型进行训练难道不香吗?
侯方: 实际上,现在很多企业都会尝试开源模型,大模型的发展离不开开源社区的贡献。
不过,使用开源模型进行训练存在一些门槛,需要一定的算法知识和行业经验。
从落地的可行性的角度来看,更建议的做法是选择云厂商提供的行业大模型,这些模型通常会针对特定行业进行优化,会更适合解决企业的实际问题。
04
让大模型创业变成“逛超市”?
刘兴亮:我知道腾讯行业大模型不久前也刚刚发布,腾讯云也推出了大模型精选商店,并且提出了模型及服务(MaaS)的概念,应该是在行业较早的提出这种行业大模型的模式,那什么是大模型精选商店,什么是模型即服务?
腾讯云Maas,打造一站式行业大模型精选商店
侯方: 先从MAAS开始说起,这个概念其实很有趣,也是一个不断演变的过程。
从最开始的基础设施及服务(Infrastructure and Services,简称IaaS),到后面的 PaaS,再到现在的 MaaS,都是在让云服务本身变成越来越简单,以前使用的服务需要客户业务系统自己开发实现,随着 MaaS 服务的普及,会越来越降低大家使用 AI 服务的门槛。
MaaS在AI和大模型领域里有很多重要的意义,它意味着我们可以将底层的内部工作完全包装起来,用户只需关注一个问题:向模型请求某些东西,模型直接提供对应的服务。
目前行业内有模型领域有大量的可供选择,不完全统计已经超过800个模型。面对如此多的选择,我们需要思考如何选择和应用模型,类似的问题在算法模型方面也存在。因此,腾讯的思路是在TI平台上精选了各个行业的大模型,类似“模型超市”的概念,根据客户场景和行业特性进行精选,以提供最适合的模型。
刘兴亮:模型商店给客户提供的核心价值是什么?
侯方: 多个行业的高质量大模型,相应的配套工具,更低成本,更高效地帮助企业应用大模型,这是大模型精选商店的三个核心价值。
刘兴亮:从实际的观察来看,行业大模型是目前AI大模型技术落地的有效路径吗?
侯方: 行业大模型是目前来看比较有效的路径之一,在面对一些普遍性的挑战,包括算力、数据时,行业大模型提供了一个较好的解决方案。然而我们很难确定未来五年或十年的发展方向,因为大模型的产业革命才刚刚开始,它将演化成何种状态还不得而知。
刘兴亮:AI大模型商业化落地有哪些方式?
侯方: 行业大模型是一个有效的方式,因为在商业化落地中,我们除了解决问题外,还要考虑到ROI,这是商业化中大家都关注的核心问题。
我认为,在商业化落地中,一个关键因素是创造出能够解决客户问题的价值,无论是商业提供方还是商业需求方。只有这样,商业化落地才能持久发展。商业化落地不仅涉及解决客户问题,还涉及人们情感和交流需求等方面。虽然这种场景可能不一定是行业大模型所涉及的,但它确实也是一个非常好的商业化落地场景。
关键词: