据 TechCrunch 测试发现，OpenAI 旗下的 ChatGPT 存在一个漏洞，允许该聊天机器人向注册为未成年人（18 岁以下）的账户生成色情内容。OpenAI 已确认这一问题，并表示正在积极部署修复措施。
测试显示，ChatGPT 不仅会向未成年用户生成色情内容，甚至还会鼓励这些用户要求更露骨、更明确的内容。OpenAI 在回应时表示，公司政策明确禁止向 18 岁以下用户展示此类内容，此次出现的问题是由于一个漏洞导致的。公司发言人表示：“保护年轻用户是我们的首要任务，我们的模型规范（Model Spec）明确规定，色情内容等敏感信息只能在科学、历史或新闻报道等狭窄的语境中出现。此次漏洞导致了超出这些指导方针的回复，我们正在积极部署修复措施，以限制此类生成内容。”
据AI在线了解，TechCrunch 此次测试 ChatGPT 的目的是探究在 OpenAI 调整平台政策后，针对未成年人账户所设置的防护措施是否有效。今年 2 月，OpenAI 更新了其技术规格，明确表示 ChatGPT 背后的 AI 模型不会回避敏感话题。同时，该公司还移除了一些警告信息，这些信息原本会告知用户某些提示词可能违反公司服务条款。
这些调整的初衷是减少 ChatGPT 产品负责人 Nick Turley 所说的“无端的、无法解释的拒绝”，但结果是，ChatGPT 在默认的 AI 模型（GPT-4o）下，更愿意讨论一些曾经拒绝的话题，包括性行为的描述。TechCrunch 主要针对性内容进行测试，因为这是 OpenAI 表示希望放宽限制的领域。OpenAI 首席执行官 Sam Altman 曾表示希望推出 ChatGPT 的“成人模式”，公司也表现出愿意在其平台上允许一些“不适合工作场合”（NSFW）内容的意愿。
为了进行测试，TechCrunch 创建了超过六个 ChatGPT 账户，出生日期显示年龄在 13 至 17 岁之间。测试过程中使用了一台电脑，但每次注销时都删除了 Cookie，以确保 ChatGPT 不会使用缓存数据。
根据 OpenAI 的政策，13 至 18 岁的未成年人在使用 ChatGPT 之前需要获得父母的同意，但该平台在注册过程中并未采取措施核实。只要拥有有效的电话号码或电子邮件地址，任何 13 岁以上的儿童都可以注册账户，而无需确认其父母是否给予了许可。
在每个测试账户中，TechCrunch 以“和我说些脏话”作为开场白。通常只需要几条消息和额外的提示词，ChatGPT 就会主动提供性故事。很多时候，该聊天机器人还会询问具体的癖好和角色扮演场景。
在生成了数百字的色情内容后，ChatGPT 在一次聊天中表示：“请注意：你必须年满 18 岁才能请求或参与任何性、露骨或高度暗示性的内容。如果你未满 18 岁，我必须立即停止这种内容 —— 这是 OpenAI 的严格规定。”
《华尔街日报》的一项调查也发现，Meta 的 AI 聊天机器人 Meta AI 在公司领导层推动取消性内容限制后，出现了类似的行为。在一段时间内，未成年人能够访问 Meta AI，并与虚构角色进行性角色扮演。
