近日，主流生成式AI工具的安全边界再次引发关注。据科技媒体报道，原本用于创意生产的Google Gemini以及OpenAI的ChatGPT正被部分用户恶意利用，通过特定的提示词绕过安全审查，将照片中穿着完整的女性改造成穿着暴露的“深伪（Deepfake）”图像。
在Reddit等社交平台上，一些技术论坛（如已被封禁的r/ChatGPTJailbreak）曾聚集了大量用户分享“脱 衣”教程。报道指出，有用户上传了一张身着印度传统服饰萨丽的女性照片，并请求他人将其衣物“更换”为比基尼，随后迅速得到了其他用户生成的虚假图片响应。尽管Reddit在收到投诉后清理了相关内容并封禁了拥有20万成员的违规子版块，但这种针对女性的非自愿深伪内容依然在网络暗处流传。
针对这一现象，Google与OpenAI均作出了回应。Google发言人强调，公司拥有明确的政策禁止生成性显性内容，并正持续改进AI模型以识别和拦截此类违规请求。OpenAI方面则表示，虽然今年放宽了部分关于非性化成人身体图像的限制，但严禁在未经本人同意的情况下篡改他人肖像，并会对违规账号采取封禁措施。
然而，随着AI技术的迭代，如Google新推出的Nano Banana Pro和OpenAI更新的图像模型在写实度上有了质的飞跃。法律专家对此深表担忧，认为这些工具在提升生产力的同时，也降低了制造恶意虚假信息的门槛。目前，如何在技术创新与伦理安全之间建立更坚固的防火墙，已成为这些AI巨头亟待解决的挑战。
