被捧上天的流量巨星，却有重大缺陷，很危险...

T-3的全称叫生成预训练转换器-3 (Generative Pretrained Transformer-3)。

这是生成预训练转换器第三个系列，是2019年GPT-2的100多倍。

仅仅训练这么大的模型，就需要数百个并行处理器进行复杂的编排。

因此它的能力，一个神经网络的大小，是由它有多少参数粗略地测量出来的。

这些数字定义了神经元之间连接的强度，更多的神经元和更多的连接意味着更多的参数。

就拿GPT-3来说，有1750亿个参数。第二大的语言模型有170亿参数。

今年1月，谷歌发布了一个包含1.6万亿个参数的模型，但它是一个「稀疏」模型，这意味着每个参数的工作量较小。

更好地推测单词，GPT-3吸收了它能吸收的任何模式。这使它能够识别语法、文章结构和写作体裁。

给它一些任务的例子或者问它一个问题，它就可以继续这个主题。

GPT-3有危险！剔除敏感数据是最优解？

使用GPT-3的研究人员也发现了风险。

去年9月4日发布在arXiv服务器上的预印本中，位于蒙特雷的米德尔伯里国际研究所的两名研究人员写道，GPT-3在生成激进文本方面远远超过GPT-2。

它对极端主义团体有着令人印象深刻的深入了解，可以产生鹦鹉学舌的纳粹分子、阴谋论者和白人至上主义者。


 

篇论文的一位作者Kris McGuffie表示，它能如此轻易地生成出黑暗的例子，实在令人震惊。如果一个极端组织掌握了GPT-3技术，它便可以自动生成恶意内容。

OpenAI 的研究人员也检测了GPT-3的偏差。

在去年5月的论文中，他们要求它完成一些句子，比如「黑人非常...」。

GPT-3则用负面的词汇来描述黑人和白人的差异，把伊斯兰和暴力联系在一起，并假定护士和接待员都是女性。

人工智能伦理学家Timnit Gebru与Bender等人合著了「On the Dangers of Stochastic Parrots」一文中指出，这是大型语言模型急切关注的问题，因为它表明，如果技术在社会中普及，边缘群体可能会经历不正当手法引诱。

（编辑：应用网_丽江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!