随着ChatGPT以前所未有的速度火出圈,大模型也迅速从过去的遥不可及走到了我们身边。从今天开始,元碳院将开始解读大模型,依旧保持硬核且专业。今天是第十二期,BERT之父的反复横跳,是否真的只是一时兴起?
在ChatGPT一鸣惊人之后,谷歌在第一时间拉响内部的“红色警报”之余,也有许多功臣宿将倒戈相向,跳槽到了OpenAI。此前有外媒报道称,OpenAI自去年11月,ChatGPT上线后,在几个月的时间里从谷歌挖走了至少十几名AI方面的专家,其中就包括 BERT之父、业内顶级的专家Jacob Devlin(雅各布·德夫林) 。
然而有些出人意料的是, 仅仅几个月后,德夫林又重回谷歌了 ,之前几个月的故事仿佛都没有发生过。作为旁观者,在惊讶于这一连串的变化之余,也难免引人好奇,难道风平浪静的下面真的就没有什么暗流涌动吗?
(资料图片仅供参考)
德夫林其人其事
提起德夫林的大名,在AI界,甚至整个科技圈都可以说是无人不知无人不晓。在加入谷歌前他曾在微软当了三年多的软件工程师,2017年正式加入谷歌,第二年就和同事一起提出BERT的概念并发布相关论文。BERT是Bidirectional Encoder Representations from Transformers的首字母缩写,译为“基于转换器机制的双向编码器表示技术”。BERT是基于transformer架构衍生而来,之后几年的GPT系列与之一样,这篇论文和它蕴含的研究成果已成为谷歌和OpenAI语言模型的一部分。后来很多大模型企业,起步伊始都曾借鉴或学习过BERT与GPT。 因此如果说BERT是开宗明义,那德夫林就堪称是一代宗师。
在BERT公布后第一时间,谷歌就利用它来更好地理解用户搜索语句的语义。 2020年时有文献调查分析后得出结论:“在过去一年多的时间里,BERT已经成为NLP实验中无处不在的基线。”算上分析和对BERT改进模型的研究,发表的出版物在一年多的时间里就超过了150篇。
关于此次重返谷歌的原因,官方与德夫林本人都没有说明。据一些知情人士所说,德夫林回归后将与Bard部门展开密切合作,而之前德夫林的离开也与Bard有关。Bard链接:/?hl=en
抗议与跳槽
2月时谷歌公布Bard,3月时紧随GPT-4的步伐正式上线。然而很快就有消息显示,Bard团队使用来自ShareGPT的信息训练自家产品,而谷歌对此表示默许。ShareGPT是在去年12月上线的一个Chrome扩展程序,可以捕捉和分享人们在ChatGPT中的对话内容。而根据OpenAI的用户协议,ChatGPT的训练成果不能用于商业用途。 显然,谷歌的操作明显违背了相关规定。 因此消息曝光后,很快就引来许多从业者的口诛笔伐,一方面是因为谷歌素来自诩为全球AI行业领袖,却如此明目张胆的无视用户协议,另一方面也是出于对谷歌偷懒行为的不齿。ShareGPT链接:
而后来也有外媒报道,早在这条消息曝光前,德夫林就对谷歌及其母公司Alphabet的领导层表达过抗议,明确表示 这种违反用户协议的行为必然招致外界非议,而且也会导致Bard的回答与ChatGPT的大同小异,甚至如出一辙,没法体现谷歌自己的差异化优势。 抗议后德夫林即跳槽到OpenAI,至于谷歌对德夫林的抗议作何反应,外界不得而知。
AI界的人钱事
一般说来,企业间的人事变动再正常不过。但谷歌与OpenAI不同,这不仅是因为他们是全球瞩目的明星级AI企业,一旦有点风吹草动立刻就会引起外界注意,更重要的是他们彼此也是竞争对手,人事变动的此消彼长必定会影响到各自产品,甚至是企业的地位。
值得关注的是,从谷歌跳槽到OpenAI或者其他企业的非常多,德夫林只是其中之一。去年11月,OpenAI正式官宣ChatGPT上线的时候,网络媒体致谢部分就有好几位前谷歌员工。 面对此情此景,不禁让人感慨谷歌怎么变成了AI界的“黄埔军校”?也可能正如一些消息所说,这种墙里开花墙外香的形成并非一朝一夕,也不仅限谷歌一家。 无论是德夫林出走几个月又重回谷歌,还是OpenAI四处挖人,都可以看出一个现象,即AI的人才争夺战日益白热化。
此次随着德夫林重回谷歌,不出意外的很快就引发网上对AI人才跳槽、技术公司高薪挖人等话题的讨论,有人赞同有人吃瓜,也有人表示只想坐等一波Bard的大更新。 早前,有消息报道硅谷巨头为AI人才开出了十分诱人的薪资条件,谷歌,微软均不惜一掷千金。即使是国内的AI相关企业,同样为此而争夺的头破血流。 几个月前美团二号人物王慧文发布“英雄帖”,宣布成立光年之外,研究国产大模型,个人出资五千万美元,同时广募人才,一心要打造中国版OpenAI,并明确表示希望招聘业界公认的顶级研发人才。当然现在人们更关心的是他的病情,以及不知道什么时候上线的大模型。此外,各家招聘网站上的猎头们也在今年开始有意无意的配合,助力掀起一股AI人才的“招聘潮”。目前BAT等公司对“算法工程师”、“AIGC应用专家”等职位均存在显著的需求,月薪最高可达数万。
不可否认的一点,金钱的确是发展AI等科技时必不可少的一环,但要是只想靠烧钱就想发展出高科技又有些矫枉过正,或者说是不切实际。至此前所未有的变化来临之际,当寻求不偏不倚的中庸之道。虽然目前“外事不行赖美帝,内事不行赖资本”是目前很多人的习惯性思维,但把这么大的锅全甩到外部原因上真的就合适吗?
关键词: