烧了一个亿,烧出征服世界的新 AI ?

皇冠 报导:

c

定睛一看主角是 GPT-3,一下就放心了。

在解释为什么放心之前,我们先聊聊 GPT-3 所代表的语言模型是什么。

众所周知,计算机是没有办法直接理解人类语言的。最开始我们会将单词表达为向量,但这个方法并不好用。

因为语言复杂到像是「活的」,每个单词的含义和语境,也就是附近的单词有很大关系,不将它们之间的关系表示出来,就无法解决实际问题。

于是人们想到将单词表达为空间中的向量,让关系近的词离得近一点,关系远的词离得远一些。

如何确定这些词应该在哪儿呢?总不能一个个去写吧,我们会构建各种各样的模型去学习已有的人类语言语料,帮忙寻找单词的合适位置。

用这种方式理解人类语言,机器就能解决一些实际问题,比如写文章,回答问题,翻译句子,因为这些任务都发生在人类语言内部。

GPT-3 就是这样一个语言模型。又不是没有别的语言模型,为什么火的是它?

因为GPT-3实在是太通用了。此前我们有了语言模型后,还要根据不同需求再训练任务模型,两者共同使用才能解决问题。

GPT-3 不需要,因为它的训练数据和网络实在是太庞大了。

据称英文维基百科的所有内容,只占到 GPT-3 训练数据总规模的 0.6%。同时 GPT-3 有着高达 1750 亿参数,这什么概念,也就比排名第二的模型大个十倍吧。

GPT-3 是我们迈向更通用的语言模型的重要一步,但它真的有智慧吗?不见得,它证明的是也许模型和数据足够大,我们就能创造出超厉害的「工具」。

皇冠 我们下期再见。

黄金城网站_黄金城手机版_黄金城官网【官网主站】