• 元宇宙:本站分享元宇宙相关资讯,资讯仅代表作者观点与平台立场无关,仅供参考.

Hinton坐阵!斯坦福CS25 Transformer专题讲座更新:多位AI大佬齐聚

  • 新智元
  • 2022年8月25日12时



新智元报道

编辑:David Joey
【新智元导读】斯坦福大牛Christopher Manning开设的Transformer联合讲座课程更新啦!这期请来的是Hinton大神。

图灵奖得主、深度学习教父Geoffrey Hinton在斯坦福线上开课啦?
本课程是斯坦福大学计算机科学家Christopher Manning教授开设的CS25: Transformers United联合讲座课程。
课程邀请了学术界和产业界关于Transformer架构的知名学者和工程师主讲,来自谷歌、OpenAI、牛津大学、Meta AI、DeepMind等学术机构和企业。
本讲座共分10期,随授课内容推进而陆续在线更新视频。(第一期为总览介绍)
最近更新的是最后一期,主讲人是大名鼎鼎的人工智能领域先驱人物、图灵奖得主Geoffrey Hinton。
讲座链接就放在这里啦,有兴趣的童鞋可以看看~
https://www.youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM
这期课程中,Hinton提出了一个关于表征的新想法,名为GLOM的想象系统,由几个不同团队研究成果的结合。
其中包括Transformer、神经场、对比性表征学习等内容。GLOM要解决的问题是,一个具有固定架构的神经网络如何能将一幅图像解析成一个「部分-整体」的层次结构,且结果对每一幅图像都是不同的?
GLOM背后的想法很简单,就是用相同矢量的岛屿来表示解析树中的节点。在这期讲座中,将讨论这个想法的影响。如果GLOM能够发挥作用,那么当其用于视觉或语言时,应该能极大地改善由类似transformer系统产生的表示的可解释性。
Hinton在这期讲座中将最近神经网络领域的三个重要成果融合在了一起,即Transformer、通过对比协议的非监督学习的视觉表示、以及使用神经野图像的生成模型。
Hinton表示,他将这三项成果组合在一起,搞出一个新的图像视觉系统,名叫GLOM, 比现有深度网络更接近人类认知。
Geoffrey Hinton是多伦多大学的名誉教授,深度学习界的领军人物,是引入反向传播算法的先驱研究者之一,并与他的研究小组一起,为推动神经网络领域的发展做出了重大突破和贡献。
Hinton荣誉等身,曾获David E. Rumelhart奖、IJCAI卓越研究奖、Killam工程奖、IEEE Frank Rosenblatt奖章、NSERC Herzberg金奖、IEEE James Clerk Maxwell金奖、NEC C&C奖、BBVA奖、本田奖和图灵奖。
说了那么多,先来看看这十期课程都有哪些干货吧~
1.Introduction to Transformers(引入课程)
主讲人: Div Grag,Chetanya Rastogi,Advay Pal
推荐阅读:Attention Is All You Need
论文地址:https://arxiv.org/abs/1706.03762
2.Transformers in Language: GPT-3, Codex
主讲人:Mark Chen (OpenAI)
这节课的主讲人Mark Chen是来自OpenAI的一名研究科学家,负责管理OpenAI的算法团队。
他的研究兴趣包括生成建模和表示学习,尤其是在图像和多模态领域。Mark毕业于麻省理工学院,值得一提的是,Mark还是美国计算机奥赛的教练。
本节课程回顾了神经语言建模的最新进展,并讨论了生成文本(generating text)和解决下游任务之间的联系,并探讨OpenAI开发GPT模型的过程。接下来,我们将看到如何使用相同的方法在图像、文本到图像和代码等其他领域生成生成模型和强表示。课程最后,我们将深入研究最近发布的代码生成模型 Codex。
3.Transformers in Vision: Tackling problems in Computer Vision
主讲人:Lucas Beyer (Google Research Brain Team)
推荐阅读:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
论文地址:https://arxiv.org/abs/2010.11929
4. Decision Transformer: Reinforcement Learning via Sequence Modeling
主讲人:Aditya Grover
推荐阅读:Pretrained Transformers as Universal Computation Engines
论文地址:https://arxiv.org/abs/2103.05247
5.Mixture of Experts (MoE) paradigm and the Switch Transformer
主讲人:Barret Zoph (Google Brain) ,Irwan Bello,Liam Fedus
6.Deep Mind's Perceiver and Perceiver IO: new data family architecture
主讲人:Andrew Jaegle (DeepMind)
7.Self Attention and Non-parametric transformers (NPTs)
主讲人:Aidan Gomez (University of Oxford)
8.Transformer Circuits, Induction Heads, In-Context Learning
主讲人:Chris Olah (Anthropic AI)
9.Audio Research: Transformers for Applications in Audio, Speech and Music
主讲人:Prateek Verma (Stanford)

参考资料:
https://twitter.com/DivGarg9/status/1545541542235975682?s=20&t=_Ed9dpjD9Qpx4svpMNDIKQ&fbclid=IwAR2tnSQROnkOQl15aa6nkfNFaJdrnZQHDbidooDaQRJALlWsYMiQU_37dn4
https://web.stanford.edu/class/cs25/



Copyright © 2021.Company 元宇宙YITB.COM All rights reserved.元宇宙YITB.COM