GPT-4前奏？OpenAI发布120亿参数图像版GPT-3

继GPT-3的颠覆之后，即将出道的 GPT-4 会走向何方？这一问题牵动着很多人的心。

在不久前，OpenAI的联合创始人、首席科学家IIya Sutskever 曾在吴恩达编辑的 《The Batch周刊 - 2020年终特刊》上撰文称“2021年，语言模型将开始了解视觉世界”。

元旦之后，OpenAI 立马为这个说法提供了佐证。1月5日，刚刚开工的OpenAI同时发布了两个与 GPT 有关的文本-图像工作：

• DALL·E：一个利用文本-图像数据集，有着120亿参数的“GPT-3”，可以根据文本生成各种各样的图像；
• CLIP：可以通过自然语言的监督来有效学习视觉概念，只需要提供要识别的视觉类别名称，利用CLIP便能够做任意的视觉分类，类似于GPT-2和GPT-3的 “Zero-shot”功能。

这两项工作的突破性是无疑的，但同时作为前奏，也让人更加期待 OpenAI 接下来的 GPT-4了。

 

 

 

1、控制同一个对象的不同属性

 

2、同时控制多个对象以及它们的属性和空间关系

 

3、视觉透视与立体：控制场景的视点，并渲染场景的 3D风格

 

4、内部/外部结构可视化

 

5、推断背景细节

 

6、时装设计、室内设计

 

 

7、将不相关的概念进行结合

 

8、动物插图

 

9、零样本视觉推理

 

 

 

10、地理概念

 

 

11、时间概念

 

 

1、方法

 

2、优缺点

• 它在较为抽象或者系统性的任务（例如计算图像中的对象数量）和更为复杂的任务（例如预测图像中最近的汽车有多远）上，表现并不是很好，仅比随机猜测好一点点。
• 对于训练集未覆盖的图像的概括性较差，例如尽管CLIP学习了更为复杂的OCR系统的数据，但在对MNIST数据集进行评估时，准确率仅为88%（人类为99.95%）
• CLIP的zero-shot分类器对文本的措辞表现敏感。