avatar

Alec Radford:GPT、CLIP、DALL-E 幕后的低调推手

一条病毒式传播的推文让人们注意到这位塑造了现代 AI 的 OpenAI 研究员——没有博士学位,也几乎从不公开露面。

avatar
6 months ago

TL;DR:

  • Radford 是 GPT-1 和 GPT-2 的第一作者、CLIP 的主要作者,也参与了 Whisper、DALL-E 和 DCGAN
  • Google Scholar 显示他有超过 19 万次引用,但 Twitter 只有 3.4 万粉丝,2021 年 5 月后再没发过帖
  • Sam Altman 说他是「爱因斯坦级天才」;Ilya Sutskever 在 2024 年 NeurIPS 上把他列为预训练时代的奠基者之一
  • 2024 年 12 月,Radford 离开 OpenAI,转向独立研究

标题

一条推文让 Alec Radford 对生成式 AI 的隐形贡献浮出水面

摘要

科技分析师 Aakash Gupta 发了一个关于 Alec Radford 在 OpenAI 核心模型中所扮演角色的推文串。Radford 是 GPT-1 和 GPT-2 的第一作者、CLIP 的主要作者,还参与了 Whisper、DALL-E 和 DCGAN。他没有博士学位——只有奥林工程学院的本科文凭——而且基本不用社交媒体(3.4 万粉丝,2021 年 5 月后就没发过帖)。但他的论文被引用了 19 万多次。Sam Altman 说他是「爱因斯坦级天才」,Ilya Sutskever 在 2024 年 NeurIPS 上把他列为定义预训练时代的人之一。2024 年 12 月,Radford 离开 OpenAI,开始独立研究。这个推文串点出了一个现象:真正做出底层技术突破的人,和公众眼中的 AI 名人,往往不是同一批人。

分析

从 Google Scholar 和 DBLP 可以追溯 Radford 的履历,他的经历说明:没有传统学历,光靠技术直觉能走多远。2016 年,他试着用 Reddit 评论训练语言模型,没成功。第二年,他几乎独自完成了 GPT-1,这个架构后来成了 GPT-2、GPT-3 的基础。

他的离开也不是孤例。GPT 最初论文的四位作者现在全都离开了 OpenAI。Dario Amodei 出去创办了 Anthropic,其他人去了创业公司或转向独立研究。这是内部矛盾、外部机会更好、还是正常的职业流动?外人很难判断。

Radford 有多项 OpenAI 名下的专利,也参与了 GPT-3、GPT-4、DALL-E 2 和 DALL-E 3。一个人当然撑不起一个 3000 亿美元的行业,但 OpenAI 早期模型的很多关键节点上,都有他的痕迹。

影响评估

  • 重要性:高
  • 类别:AI 研究、技术洞察、行业趋势