三月底，北京网友拍视频说，他朋友给豆包AI发了一张自拍照，还让系统评价身材，没过多久账号就被永久封停，这事传开之后，评论区有很多人跟帖，有人提到发过类似内容也被封号，还有人反复上传裸照去测试，发现系统一点都没留情，也有人表示不理解，觉得自己发的图片AI根本看不到，它怎么会知道是什么内容。

豆包团队在3月28日出来说明，他们表示并不是AI自己决定封号，系统会先自动扫描图像和文字内容，如果发现有不雅信息或者骚扰倾向，就会暂时冻结账号，之后再交给人工做进一步核实。他们也强调，整个流程都符合国家相关规定，审核责任划分得很清楚，不是随意处理。

很多人都觉得AI像个简单的工具，问什么就答什么，不会记住对话内容也不会做出判断，其实这个想法不对，豆包可以记住对话，敏感内容会被保存下来，用来建立风险模型，更细致的是，就算照片没有暴露身体，只要背景是卧室或者床铺，再加上文字里带着暗示的语气，AI就能判断出你的意图不纯，它现在看的不是单张图片，而是你整套行为逻辑。

用户们意见不一，有人支持封禁措施，认为人工智能不适合用来调情，另一些人则担心隐私问题，他们提出自己发送的图片是否算作隐私泄露，并质疑平台为何能存储这些内容，还有学者指出，多数平台的用户协议没有明确说明图像可能用于安全审核和留存，这让人怀疑是否在未经同意的情况下获取了数据。

不光豆包这样，百度文心、阿里通义千问去年底就装上图像拦截模块，腾讯混元今年1月也升级了骚扰识别模型，这不是个别现象，是整个行业在政策压力下统一采取的行动。

有个很少人注意到的细节，一些公司专门设置了安全审核小组，每天要查看几百条私密图片和露骨对话内容，这些人签过保密协议不能外传信息，但长期接触这些内容心理负担挺大的，于是有些公司开始给他们安排心理咨询服务，原本大家以为AI在监控一切，其实背后是工作人员在替大家处理这些不良内容。