2023年8月14日,由GAIR研究院、雷峰网、世界科技出版社、科特勒咨询集团联合主办的第七届GAIR全球人工智能与机器人大会,在新加坡乌节大酒店拉开帷幕。
大会联合主席陈义明教授致欢迎辞在陈义明之后,大会主席潘毅回顾了AlphaGo、Alphafold到ChatGPT这三个里程碑对AI发展的不同影响,他认为以ChatGPT为代表的大模型将AI带入了生成式的新时代,过去人工智能有有三驾马车,即大数据、优算法、强算力;而在大模型时代,人工智能要落地需要六驾马车,除了前面的三驾马车之外,另三驾马车是赋智能、可解释、低能耗。 01 大会的第一个环节是“GPT时代的杰出贡献者”,黄学东、周伯文、何晓冬等一众科学家陆续登场。他们不仅是人工智能从低谷迈向高峰的见证者,更是亲身参与者。这一批见证过人工智能从低谷到高峰的科学家,他们走过灰暗但勇敢的年代,在GPT与大模型风潮兴起之前,他们就已经开展了相关的前沿探索。如今,新的故事热闹开席,站在人工智能未知之域的门口,庞大、多元、复杂的大模型时代,这些科学家不仅是人工智能的前沿探索者,还是大模型与GPT时代的技术创新者与弄潮儿。 Zoom CTO 黄学东发表演讲在与潘毅院士的对话中,潘毅院士问及「未来人工智能将泛化出怎样的能力,是否可以拥有像人类军事家一样的指挥能力」,黄学东院士则认为,人们常常高估技术的短期效力,而低估其长期影响——瓦特在发明蒸汽机,麦克斯韦建立电磁理论时,都没有想到会对未来产生如此大的效应,今天大模型的发展也是如此,我们暂时只能看到短期影响,而大模型对于人类的影响可能会深远,而在那时候,一切皆有可能。 围绕大模型的讨论在继续。继黄学东介绍完「what we are now」后,清华大学周伯文接着介绍大模型在复杂场景中的应用。周伯文是清华大学惠妍讲席教授、电子工程系长聘教授,衔远科技创始人,IEEE/CAAI Fellow。 需要注意的是,将大模型的能力迁移到产业应用中,将不可避免地遇到更低频、长尾的复杂场景和大规模协同需求。 何晓冬在演讲中在人工智能与机器人研究国际期刊(IJAIRR)成立仪式环节,IJAIRR的三位主编,新加坡GAIR研究院创始人朱晓蕊博士、美国密苏里大学哥伦比亚分校系统董事会杰出教授许东博士、美国南佛罗里达大学计算机科学与工程系教授孙宇博士及世界科技出版社总经理李志伟博士共同上台为IJAIRR期刊发布揭幕。 人工智能与机器人研究国际期刊(IJAIRR)成立仪式过去半年,大模型创业公司和投资人们经历了过山车般的起伏。对企业和消费者而言,AI 意味着更好的决策、更好的行动、更好的结果以及更好的体验。但硅谷先锋投资人 Alex Ren 指出,过去几年,AI 的技术落地在盈利上未如预期。Alex Ren 认为,当前 AI 大模型的投资可以从四个维度出发:一是生产力的释放,即 AI 驱动的工具自动执行任务并提供输出;二是对产业的改变,即使用人工智能优化流程以提高效率、降低成本并改善结果;三是 AI 中间层,指 AI 中间层连接 LLM 以构建可扩展和定制的 AI 应用程序;四是 AI Agent(AI 智能体),由 AI 代替人与机器进行互动并学习。在与华映资本海外合伙人邱谆的对话环节中,二人还就 AI 如何颠覆社交媒体内容生产方式、初创公司的商业化路径等问题进行了探讨。Alex Ren 指出,初创公司在同大厂竞争中要明确自身的局限性,从客户的需求侧入手提高 AI 自身的快速迭代能力。邱谆也补充介绍了中美大模型创业公司的差异,他指出,国内企业聚焦 AI 如何解决用户痛点和产品趋势,但硅谷公司则更强调后续产品的增长引擎。 随着大模型参数的指数级增加,如何高效训练模型成为大模型开发的重中之重。阿里云计算平台首席架构师林伟在 GAIR 2023 的演讲中提出,今天 AI 工程面临非常多挑战。硬件复杂度高,芯片每半年更新一次;集群复杂,高投入未必能带来高性能;分布式任务配置复杂;每一个问题都会大量分散算法工程师在模型训练上的精力。 林伟介绍了阿里云 PAI 灵骏智算平台的基础架构。在算力底座层面,灵骏智算集群通过自研高性能网络、高性能存储、异构资源池化、数据加载加速等优化技术,可实现端到端1.5微秒超低系统通信时延,通信效率17%优化,异构资源利用率3倍提升。在工程平台层,PAI灵骏智算服务提供覆盖AI开发全流程的平台和分布式计算优化能力,单个训练任务可达到万卡级别规模,千卡规模的线性扩展效率达92%,为通用大型模型研发提供稳定、高效的支撑。
林伟认为,MaaS 推动各行各业建模型社区的同时,模型社区也会反哺行业,构建更多 AI 应用,因此构建好的模型与模型社区,对行业至关重要,而 AI 的工程化与规模化也会成为这波 AI 爆发的主要推动力。 02 大会下午的第一场,进入了备受期待的“青年科学论坛家”环节。 南洋理工大学副教授张含望带来了以《视觉识别中的因果关系》为主题的演讲。他认为,对于当前的大模型来说,如果想要真正突破一些最底层逻辑上的问题,因果关系(Causality)是一条必经之路。 张含望表示,在多模态模型或大语言模型的研究中,偏差(bias)是常见问题。随着模型规模的不断扩大,它可能会越来越智能,但偏差问题依旧存在。这就意味着,若不把因果关系加上去,大模型只是在进行强行关联。如果幸运,模型在回答问题时能够给出正确答案,否则就会“胡说八道”。这是因为它背后的关联本身就是错误的,把共生关系当成了因果关系。张含望还更进一步地指出,共生不等于因果,经常发生的事情不一定是因果关系。 对此,他给出的建议是,做多模态模型的过程中,一方面一定要多关注“等变性”,因为“可拆解性”可以通过数据量堆叠,“等变性”不可以;另一方面,目前,多模态之间互通的瓶颈在于非语言模态(例如图像)的spatial tokens和语言分布差的太远。他认为,语言的本质是可递归的符号系统,这也是大语言模型可以推理的基础。所以,如果想得到真正的多模态大模型,就必须找到一种“可递归,可拆解的”的tokenization的方法,把非语言模态转成“可递归分布”的token。
严睿在 GAIR 2023 的演讲中主要介绍了大模型的发展历程,以及大模型所对应的新特性与背后对应的新技术。此外,介绍了将大模型能力与对话式人工智能相结合的研究点,探讨了一些现有的技术发展路线与可能存在的技术挑战。最后介绍了一下人民大学推出的玉兰系列大模型,包括RecAgent推荐仿真大模型,能在一定程度上解决数据匮乏与冷启动问题,也有可能推广到其他场景。 会后,严睿与现场观众对涉及到通用模型在专业领域应用的话题展开讨论,严认为将开源模型进行微调以适应特定领域数据有一定效果,但研究尚处早期无确切定论。
03 过去数年,AI 模型的参数发生了极大变化。新加坡国立大学校长青年教授、潞晨科技创始人尤洋指出,从 2016 年至 2021 年 1 月,AI 模型的参数量是每 18 个月增长 40 倍;从 2018 年 1 月到 2021 年 1 月,AI 模型的参数量每 18 个月增长 340 倍。而相形之下,2016 年 1 月至 2021 年 1 月间,GPU 的计算增长速度每 18 个月仅增长了 1.7 倍。由此可见,训练成本高、周期长,是当前大模型发展最需要克服的难题。 针对这一问题,尤洋提出了 Colossal-AI 系统,从高效内存系统、N 维并行系统和大规模优化三个层次出发,以实现同样的设备条件下将数据移动的最小化,将 GPU 的吞吐量扩大至最高点。 尤洋还指出,现阶段的模型参数量以 10 万倍扩大、但层数增加不多,这或意味着:如今的 AI 发展可能不再是深度学习、而是进入了宽度学习时代。在模型变得更宽的情况下,面对大规模、长时间的 GPU 训练任务,大模型训练系统的核心将是如何实现 GPU 并行计算,以实现大模型训练越快越省钱的目标。
如何用云计算支撑大模型的发展?UCloud董事长兼CEO季昕华分享了以《中立云服务助力AIGC的发展》为主题的演讲。 季昕华认为,判断一个大模型能不能做好主要有四个关键要素:一是资金密度;二是人才密度;三是数据密度;四是算力密度。 一家大模型公司如果没有一个亿美金,那基本上压力就会比较大。因此,大模型被称为是互联网的重工业。除资金以外,大模型的训练需要大量的科学家人才、数据、算力。 而UCloud主要做的就是大模型最下面的基础设施。季昕华提到,目前,国内有139家公司在做大模型,其中五六十家都是由UCloud支撑和支持。所以,他们对整个模型过程中的技术要求非常清楚,也看到了大模型目前发展阶段在技术上所遇到的挑战,包括功耗、存储、网络等。
汇智智能联合创始人刘黄骁烈在演讲中介绍了当前大模型技术的主要应用场景。他表示,目前,大模型技术应用场景可以分成优化交互、辅助工作、素材制作三个方向。他还指出,这三个方向主要落在辅助用户,帮助用户去提效上,并不能替代人工。 在实践过程中,他发现对于没有AI专业背景的用户使用大模型,常常会出现翻车现象。这种情况下,大模型对他们工作的提效就是负的。 在用户眼里,现在的大模型就像是一套拥有超能力的钢铁盔甲,用户期待穿上这套盔甲以后,立马就能飞起来、发射激光炮……但现实是,现在大多数用户的问题是:不知道如何去操作这套拥有超能力的钢铁盔甲,以及面对不同种类型的盔甲,应该如何选择? 刘黄骁烈把当前用户面对的大模型时的困境,归纳总结叫做“GNOMIC困境”,六个字母分别对应的是 Guide(指导)、 Notarize(公正)、Operate(操作)、Measure(衡量)、Identify(区别)、 Catelog(推介)。 刘黄骁烈演讲中Zilliz创始人兼CEO星爵指出,过去十年,受限于研发成本和开发难度,全球仅有1%的人专注于AI领域的研发工作。 他认为,向量数据库承担着大模型数据片外存储的重任,不管是图片、视频语言还是生物学中蛋白质的三维结构,都可以用向量的方式表征它的语义。针对数据实时性和私域专有数据的问题,星爵表示,学术界和工业界存在两种解决方案, 星爵演讲中在演讲过后的圆桌论坛环节,云启资本合伙人陈昱与尤洋、季昕华、星爵三位嘉宾共同讨论了当下备受关注的热门话题,包括大模型基础设施建设面临的挑战、如何降低大模型训练成本等。针对大模型基础设施建设面临的挑战:尤洋认为,通信基础设施非常重要。比如,英伟达收购Mellanox的目的就是为了打造高速网络。过去,挖矿等一些非AI需求的GPU就没有很好的高速互联。季昕华在此前演讲中已经提到大模型面临的挑战。 陈宗周致大会总结至此,第七届GAIR全球人工智能与机器人大会首日日程圆满结束。这个世界从不缺时代的注脚,GAIR存在的意义,就是让AI历史上的各种机缘与巧合,交织在一起,碰撞出新的思想与故事。一群涌动着探险家、变革者、英雄血液的创造者,也将让最前沿、最奇思妙想的大模型技术突破与商业试验,以空前肆无忌惮的方式绽放。 (文章原载于微信公众号雷峰网) — END — 相关阅读: 编辑:HQ |