EP 37. 对话Deepmind, 英伟达大语言模型专家(下):多模态大模型,OpenAI,AI的未来

2023-10-08 15:06:5366:01 338
所属专辑:OnBoard!
声音简介

近3小时的硅谷AI重磅嘉宾现场对谈,下集光速奉上!如果你还没有听过上一期,赶紧去补课!


Hello World, who is OnBoard!?


简单介绍一下这次Monica 期待已久的嘉宾组合! 两位都在OpenAI工作过的技术大牛,包括Nvidia资深研究员 Jim Fan, 除了对生成式agents 和机器人的具身智能有深度研究外,他的Twitter 连 Jeff bezos 都关注,是AI领域全球范围内的顶级大V。另一位嘉宾戴涵俊,Google Deepmind 的资深研究员,也是 Google 新一代大语言模型的深度参与者。最后,兼任主持和嘉宾的硅谷上市公司华人高管,硅谷徐老师, 每次来 Onboard! 串台都大受好评。


这是三个小时播客的第二部分。上一期的内容,我们深度讨论了最近AI领域最火的话题,Generative Agents, 生成式代理。这一期更是精彩纷呈,包含了AI领域更多核心话题,包括多模态大模型的研究进展,具备具身智能 embodied AI 的机器人如何打造,AI对saas的影响,我们对未来AI的商业和社会畅想等等。真的是非常尽兴的讨论,你也可以拿起笔记本做笔记了。


几位嘉宾都是长期在美国工作生活,夹杂英文在所难免,不接受抱怨。Enjoy!


嘉宾介绍

Jim Fan(推特:@DrJimFan),Nvidia 高级 AI 研究科学家,曾在OpenAI工作,Stanford PhD 李飞飞实验室

戴涵俊(推特:@hanjundai),Google Deepmind 资深研究员,深度参与 Google 大语言模型项目,曾在OpenAI工作,Georgia Tech PhD

硅谷徐老师(推特:@h0wie_xu),硅谷连续创业者、人工智能高管、斯坦福商学院客座讲师,「科技早知道」主播 |微信公众号:硅谷云| AI博客:howiexu.substack.com

主持:Monica(推特:@Monica_Yxie):美元VC投资人,前 AWS 硅谷团队+AI创业公司打工人,公众号:M小姐研习录 (ID: MissMStudy) 主理人 | 即刻:莫妮卡同学


我们都聊了什么

01:55 为什么 Jim 觉得 Llama 2 作为语言模型,对于多模态模型和机器人有重大推动

05:24 Hanjun 解读多模态大模型的两种实现方式

07:47 多模态大模型只是解锁了新的场景,还是能更大提升大模型本身的智能?如何理解大模型的智能?

12:34 为什么说机器人的多模态问题更有挑战?

16:35 处理多模态训练数据有哪些难点?

18:12 大模型训练还需要哪些工具?Infra/tooling 有哪些机会?

19:51 亲历OpenAI 的经历回顾和感受:2016-2020,OpenAI 都发生了什么

25:11 OpenAI 近年的发展,哪个时刻震撼了你?

34:20 为什么说 Evaluation 是大语言模型最被低估的挑战之一?

39:54 未来1年和未来10年,你最期待人工智能领域带来什么?

46:17 我们自己和下一代应该如何为未来做准备?

59:33 有趣的 closing 和未来展望:被 Jeff Bezos 关注是什么感觉?!


我们提到的内容

Llama 2: Meta 开源的大语言模型

Jim Fan 对于Llama 2 的解读

OpenAI 赢得DOTA 游戏比赛

LSTM (Long Short-term Memory)

Jim Fan 对大猩猩玩Minecraft 的解读

DALL-E 2: DALL·E 2 is an AI system that can create realistic images and art from a description in natural language (by OpenAI)

CLIP: Connecting text and image

ImageNET: an image dataset organized according to the WordNet hierarchy.

AlexNET: ImageNet Classification with Deep Convolutional Neural Networks


重点词汇

RLHF (Reinforcement Learning with Human Feedback): 人类反馈的强化学习 - 一种AI模型通过人类反馈与传统的强化学习结合来学习的方法。

Fine tuning: 微调 - 在特定的数据集上进一步训练预训练的机器学习模型,使其适应特定任务的过程。

Hallucination: 幻觉 - 在AI中,指的是模型生成不在输入中的信息,可能导致输出不准确。

Multi-modal model: 多模态模型 - 能够理解和处理多种类型数据(如文本、图像和声音)的模型。

Auto regressive model: 自回归模型 - 一种统计模型,它使用一个变量的过去值来预测其未来值。

Diffusion model: 扩散模型 - 用于描述信息、疾病或创新等东西如何在群体中传播的模型。

Tokenize: 分词 - 将文本分解成更小的部分(如单词或子词)的过程,通常在文本处理或自然语言处理中使用。

Intuitive physics: 直观物理 - 人类对物理现象的直观理解,例如物体如何移动或互相碰撞。

Embodied AI: 具体化的人工智能 - 通过物理或虚拟的身体与环境互动的AI系统,例如机器人或虚拟代理。

CVPR (Computer Vision and Pattern Recognition): 计算机视觉和模式识别 - 专门研究计算机如何“看”并从图像或视频中理解内容的领域。

Walkaround: 绕行 - 解决问题或障碍的方法


欢迎关注M小姐的微信公众号,了解更多中美软件、AI与创业投资的干货内容!

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励!


如果你能在小宇宙上点个赞,Apple Podcasts 上给个五星好评,就能让更多的朋友看到我们努力制作的内容,打赏请我们喝杯咖啡,就给你比心!

有任何心得和建议,也欢迎在评论区跟我们互动~

用户评论

表情0/300

brainzhang

徐老师和莫妮卡强强联合,这两期节目要听5遍起步

猜你喜欢
LXG | 37.印尼ETC

印度尼西亚是世界上最大的群岛国家,由13,500座岛屿组成,住着360个族群,说看719种语言。它不仅拥有丰富的天然资源,也是一个有着无与伦比的文化多样性与异质...

by:听雨轩_2020

37. 玛蒂娜的狗狗丢了

从1954年第一册《玛蒂娜在农场》于比利时出版,玛蒂娜这个自信、乐观、优雅、独立的女孩已经陪伴了全世界数不清的小读者69个年头,并广受大家喜爱。她的故事被...

by:北京阳光博客

《3》EP

OOC乐队这张全新EP《3》是由中国另类摇滚乐的传奇周韧先生担任制作人。唱片的缩混工程是由来自加拿大多伦多的艺术摇滚金牌制作人,三次格莱美奖得主混音大师Davi...

by:华语音乐

EP2U

每个阶段都有不可言喻的焦虑每个年纪都有一种无法宣泄的情绪一直以来我们都用音符去想象那些不具象的内心波动只要音乐一直唱下去各种感...

by:华语音乐

Callback EP-Antikue

Antikue's'CallbackE.P.'ishisfirstnewmusicforawhile,havingpreviously...

by:情迷电音