矢泽东海网

OpenAI宣告果真招募“红队”收集 面向AI的超级专家库跃然纸上

2024-11-17 10:39:07 来源:

9月20日讯 北京光阴周三清晨 ,红队美国科技独创公司OpenAI宣告通告 ,宣告宣告启动全天下招募“红队”收集成员  ,招募纸上旨在引入外部实力,收集延迟开掘出AI零星存在的专家库缺陷微危害 。

(源头�:OpenAI)(源头 :OpenAI)

所谓的红队“红队”收集 ,即Red Teaming,宣告意见来自于军事模拟 。招募纸上即找一队人来模拟想象的收集“同伙” ,来测试本方(即“蓝队”)的专家库豫备水平 。在AI规模中 ,红队“红队”的宣告使命便是模拟黑客概况其余的潜在危害人物  ,试图找到狂语言模子的招募纸上倾向,从而防止AI在事实社会中辅助处置危害社会清静等不法目的收集。

OpenAI展现 ,专家库以前多少年里不断有差距规模的专家来辅助测试未宣告的模子 ,如今则是要组建一支“老例队伍”,搜罗大批来自差距地域、差距语言、差距业余规模 、差距生涯履历的人 ,配合使患上AI模子愈加清静 。与过往仅在紧张版本上线前招一批人会集测试差距 ,OpenAI将会凭证需要在全部开拓周期中启用数目不定的成员睁开测试。

同时这个“红队”收集也将成为OpenAI的全天下专家库,同时OpenAI也会提供平台,让“红队”成员之间妨碍交流 。OpenAI也在官网上列出部份他们愿望招募的专家倾向,但也夸张并不规模于这些规模 。

Cognitive Science :认知迷信

Chemistry :化学

Biology:生物学

Physics:物理学

Computer Science :合计机迷信

Steganography:隐写术

Political Science:政治学

Psychology :神思学

Persuasion:压倒

Economics :经济学

Anthropology :人类学

Sociology:社会学

HCI (Human-Computer Interaction) :人机交互

Fairness and Bias:公平与私见

Alignment:目的对于齐

Education:教育

Healthcare :医疗保健

Law:法律

Child Safety:儿童清静

Cybersecurity :收集清静

Finance:金融

Mis/disinformation  :误/假信息

Political Use :政治运用

Privacy:隐衷

Biometrics:生物识别

Languages and Linguistics:语言与语言学

特意一提,OpenAI也展现会给退出“红队”名目的成员支出酬谢(不外没讲详细味给多少多钱) 。OpenAI也夸张,退出“红队”的名目艰深会要求签定保密协议,概况在某一段不特定的光阴内坚持默然 。

OpenAI展现 ,恳求通道将会在往年12月1日前坚持凋谢 ,公司将转动审核恳求 ,后续将评估是否需要再妨碍果真招募 。

走下台面的OpenAI“红队”成员

正如OpenAI所述 ,“红队”的建制已经存在良久 ,而且有良多成员已经接受过媒体的果真专访了。

在往年4月英国《金融时报》的揭秘文章中 ,美国罗彻斯特大学的化学工程教授Andrew White介绍称他退出了GPT-4的“红队”测试 ,他的侵略目的是用ChatGPT来缔造一种全新的神经毒素 。White展现他用了“插件”功能,向大模子输送化学论文以及化学制作商的目录 ,大模子致使还给他找到了一个可能破费想象毒素的中间。

White展现,大模子最终可能辅助良多人更快、更精确地做化学试验,但这里也有一个严正的危害 ,便是会有些人拿AI去做一些危害的试验 。

在患上到White的反映后,OpenAI对于零星做出了修正,确保不会回应相似的提问。凭证媒体找到的10来个布景差距的“红队”成员——有状师、教师 、风控职员、清静钻研职员等,大少数都位于美国以及欧洲 。他们泄露,在GPT-4宣告前的多少个月里,他们简陋花了10-40个小时来测试这个零星,酬谢约莫是每一个小时100美元 。

【源头:财联社】