EP 36. 对话Deepmind, 英伟达大语言模型专家(上):AI Agent与开源LLM的挑战与未来

2023-08-19 00:53:1174:26 295
所属专辑:OnBoard!
声音简介

承诺大家的大波AI上新来啦!这次的嘉宾是Monica一直期待的重磅组合,能听到AI领域如此一线的核心从业者的分享,真是太难得了。这次在硅谷创新腹地,毗邻 Stanford 的 Palo Alto 线下录制, 不知不觉就聊了近三个小时,我们分成上下期,方便大家收听!


Hello World, who is OnBoard!?


两位AI研究者都在OpenAI 工作过。Nvidia 资深研究员 Jim Fan,是Twitter 上AI领域的顶尖KOL,连亚马逊的创始人 Jeff Bezos 都在关注,几乎每一条twitter 分析都是必读文章。戴涵俊是Google Deepmind 的资深研究员,更是Google 大语言模型的深度参与者。再次来串台的硅谷上市公司华人高管,硅谷徐老师, 持续高质量输出。


第一部分的内容,我们围绕最近AI领域最火的话题,Generative Agents(生成式智能体)。两位AI研究员都对这个领域有最一线的研究和实践经验,我们深入探讨了从AutoGPT开始,Generative Agents 从技术到应用,都有哪些新的进展、技术和场景的挑战,由此延伸到开源与闭源大语言模型的竞争格局。


跟EP35 Monica 与另一位AI研究员符尧的访谈对比听听就发现,Generative Agents 这个前沿领域,显然还有很多尚未有共识的地方。


下半部分,我们会讨论更多AI领域核心话题,包括多模态模型,机器人应用落地,AI对saas的影响,LLM发展史,未来畅想等等,更是不容错过。赶紧关注Onboard!

几位嘉宾都是长期在美国工作生活,夹杂英文在所难免,不接受抱怨。Enjoy!


嘉宾介绍

Jim Fan(推特:@DrJimFan),Nvidia 高级 AI 研究科学家,曾在OpenAI工作,Stanford PhD 李飞飞实验室

戴涵俊(推特:@hanjundai),Google Deepmind 资深研究员,深度参与 Google 大语言模型项目,曾在OpenAI工作,Georgia Tech PhD

硅谷徐老师(推特:@h0wie_xu),硅谷连续创业者、人工智能高管、斯坦福商学院客座讲师,「科技早知道」主播 |微信公众号:硅谷云| AI博客:howiexu.substack.com

主持:Monica(推特:Monica_XieY):美元VC投资人,前 AWS 硅谷团队+AI创业公司打工人,公众号:M小姐研习录 (ID: MissMStudy) 主理人 | 即刻:莫妮卡同学


在粗糙简陋的 studio 顺利完成3小时录制!

Hanjun 的霸气车牌!


我们都聊了什么

02:50 几位嘉宾自我介绍,最近看到了什么有意思的AI项目

05:51 Hanjun @Google Deepmind: 最近发表的 speculative decoding 工作如何提升模型速度

09:14 Jim Fan @Nvidia: 为什么AI agents 是值得关注的方向,基于agents 有什么应用

12:42 什么是 AI agents? 好的 Agents 需要怎样的核心能力

16:54 企业场景落地 AI Agents 应用,主要有哪些挑战?

25:18 AI Agents 目前落地的挑战,是由底层基础模型的能力决定的吗?

35:56 如何看待目前 AI Agents 不同的实现方式?Adept AI 的形态会被取代吗?

39:57 未来工具使用更多是 AI agents 来完成,对于应用生态意味着什么?

48:18 Llama 2 开源对于LLM生态意味着什么?底层基础模型会赢家通吃吗?

56:58 如何理解开源和闭源模型的壁垒?

68:24 我们需要领域专有模型吗?


我们提到的内容

Hanjun 提到的论文:Accelerating Large Language Model Decoding with Speculative Sampling

Jim 的论文: Voyager: An Open-Ended Embodied Agent with Large Language Models

Jim 提到的论文:Generative Agents: Interactive Simulacra of Human Behavior

开源项目 Auto-GPT: An experimental open-source attempt to make GPT-4 fully autonomous

Llama 2: Meta 开源的大语言模型

Adept.ai: a new way to use computers. Transformer 论文作者创办

Character AI

Jim 提到的基于大语言模型的游戏:病娇AI女友

MPT-7B (MosaicML Pretrained Transformer): MosaicML 发布的可商用开源大语言模型

Anthropic: Transformer 论文作者创立的大语言模型公司

Harvey:为律所设计的生成式AI工具

讨论 Google 等大厂LLM竞争壁垒的文章 ($$):Google "We Have No Moat, And Neither Does OpenAI"


重点词汇

RLHF (Reinforcement Learning with Human Feedback): 人类反馈的强化学习 - 一种AI模型通过人类反馈与传统的强化学习结合来学习的方法。

Fine tuning: 微调 - 在特定的数据集上进一步训练预训练的机器学习模型,使其适应特定任务的过程。

Hallucination: 幻觉 - 在AI中,指的是模型生成不在输入中的信息,可能导致输出不准确。

Multi-modal model: 多模态模型 - 能够理解和处理多种类型数据(如文本、图像和声音)的模型。

Embodied AI: 具体化的人工智能 - 通过物理或虚拟的身体与环境互动的AI系统,例如机器人或虚拟代理。

Quantization: 量化 - 限制用于表示数字的位数的过程,有助于减小机器学习模型的大小并加速计算。

Mixture-of-experts (MoE): 专家混合模型 - 一种机器学习方法,其中模型的不同部分专门处理不同类型的数据或任务。

Inference: 推断 - 已训练的AI模型基于所提供的数据预测结果的过程。

Reasoning: 推理能力 - AI系统根据信息或一组事实得出结论的能力。

NPC (Non-Player Character): 非玩家角色

RPA (Robotic Process Automation): 机器人流程自动化

First class citizen: 一等公民


欢迎关注M小姐的微信公众号,了解更多中美软件、AI与创业投资的干货内容!

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励!


如果你能在小宇宙上点个赞,Apple Podcasts 上给个五星好评,就能让更多的朋友看到我们努力制作的内容,打赏请我们喝杯咖啡,就给你比心!


有任何心得和建议,也欢迎在评论区跟我们互动~

用户评论

表情0/300
喵,没有找到相关结果~
暂时没有评论,下载喜马拉雅与主播互动
猜你喜欢
36.大钱细思

自己读得第三十六本书,请大家多多支持

by:平凡是真6666

36. 玛蒂娜的圣诞夜

从1954年第一册《玛蒂娜在农场》于比利时出版,玛蒂娜这个自信、乐观、优雅、独立的女孩已经陪伴了全世界数不清的小读者69个年头,并广受大家喜爱。她的故事被...

by:北京阳光博客

《3》EP

OOC乐队这张全新EP《3》是由中国另类摇滚乐的传奇周韧先生担任制作人。唱片的缩混工程是由来自加拿大多伦多的艺术摇滚金牌制作人,三次格莱美奖得主混音大师Davi...

by:华语音乐

EP2U

每个阶段都有不可言喻的焦虑每个年纪都有一种无法宣泄的情绪一直以来我们都用音符去想象那些不具象的内心波动只要音乐一直唱下去各种感...

by:华语音乐

Callback EP-Antikue

Antikue's'CallbackE.P.'ishisfirstnewmusicforawhile,havingpreviously...

by:情迷电音