Google、OpenAI、Roblox和Discord正联手为社会做出集体贡献,它们共同成立了一家新的非营利组织,旨在改善在线儿童安全。
该计划被称为“强大的开放在线安全工具”(ROOST),致力于让企业更便捷地获取核心安全技术,同时提供免费的开源AI工具,用于识别、审查和报告儿童性虐待材料(CSAM)。
儿童性骚扰是一个全球性问题,尽管各方努力遏制,但其在在线空间中仍然猖獗。近期,许多应用程序用户甚至立法者纷纷呼吁,像Meta的马克·扎克伯格这样的应用开发者应对其产品造成的伤害负责,尤其是在涉及儿童色情和性虐待的情况下。
这一联合计划部分是对生成式AI对在线环境变化的响应。ROOST的合作伙伴及Google前首席执行官埃里克·施密特(Eric Schmidt)表示,该计划旨在应对“在线儿童安全领域加速创新的迫切需求”。
目前,关于CSAM检测工具的详细信息尚未完全公开,但已知这些工具将利用大型语言AI模型,并“统一”现有选项以处理内容。
施密特表示:“从重点关注儿童保护的平台开始,ROOST的协作、开源方法将促进创新,使基本基础设施更加透明、易于访问和包容,目标是为所有人创建更安全的互联网。”
值得一提的是,ROOST的发布正值社交媒体和在线平台面临有关儿童安全的持续监管压力之际。如今,各公司正在寻求与自我监管提案相匹配的立法支持。
根据国家失踪和被剥削儿童中心(NCMEC)的数据,涉嫌儿童剥削的案件在2022年至2023年间增加了12%。截至2020年,美国超过一半的儿童使用Roblox,该公司因未能有效解决儿童性剥削及其平台上不适当内容的问题而屡遭批评。
ROOST的创始成员及其资源将在项目初期为其提供资金支持,并贡献工具或专业知识。该倡议还表示,它将与领先的AI基金会模型开发人员合作,建立一个专注于内容保障的“实践社区”。这包括提供经过审查的AI培训数据集,并识别安全领域的空白。
此外,该计划还将使“已有工具”更容易被访问,从而将其成员组织的各种检测和报告技术整合到一个统一解决方案中,便于其他公司实施。
在2022年提起的一起社交媒体诉讼中,Roblox和Discord因未能阻止成年人在无监督的情况下向儿童发送消息而受到指责。
Roblox工程、信托与安全副总裁Naren Koneru表示,ROOST可能会托管AI审核系统,公司可以通过API调用进行整合。不过,关于ROOST的AI审核工具具体涵盖的内容仍存在一些模糊之处。
例如,Discord表示,其贡献将基于2023年与Meta和Google共同参与的“灯笼”跨平台信息共享项目。这可能还包括Roblox计划今年发布的更新版AI模型,用于检测亵渎、种族主义、欺凌、性爱及其他不适当内容,该公司计划将其作为开源产品发布。
这些工具如何与现有的CSAM检测系统(如Microsoft的PhotoDNA图像分析工具)协同工作仍有待观察。
除了参与ROOST,Discord还推出了一项新的“忽略”功能,允许用户隐藏收到的消息和通知,而无需通知被静音的人。
“在Discord,我们认为安全是一种普遍利益,”Discord首席法律官克林特·史密斯(Clint Smith)在ROOST公告中表示,“我们致力于让整个互联网成为一个更好、更安全的地方,尤其是对年轻人而言。”
目前,该倡议已筹集超过2700万美元的资金,这笔资金将用于支持其前四年的运营,并得到麦戈文基金会(McGovern Foundation)、在线信托基金、安全基金会的未来、奈特基金会(Knight Foundation)和AI协作等慈善组织的支持。
ROOST组织还将获得儿童安全、人工智能专家、开源技术和“反对暴力极端主义”领域的支持。从本质上讲,这是遏制儿童性虐待及其内容传播的伟大思想结晶。由于它是开源的,全球开发者社区可以对其进行持续更新和改进,这意味着即将创建的工具将随着时间推移不断发展。
加密大都会学院:免费的Web3简历备忘单 - 立即下载