作为一个长期深耕新科技领域的专业刑事律师团队，我们在实务中发现，如今生成式人工智能（简称“AIGC”）正在被越来越广泛且肆无忌惮的被用于网络性犯罪中。

    我们如今所看到的 AIGC 受害者们，很可能只是庞大犯罪的冰山一角......

    今天，飒姐团队就通过近期在我国互联网上引发舆论浪潮的邻国女性“被 AI 换脸求助案”，与大家谈谈人工智能与犯罪之间的红线，以及技术使用的伦理边界。

    “N 号房”指的是 2020 年震惊全球社会的一起韩国严重网络性犯罪案件，嫌犯赵主彬化名“博士”，通过“找模特”等借口，在推特（现在叫“X”）或者 Line 上发布招聘广告，诱骗了大量的韩国在校女学生或是刚刚进入工作岗位的女员工，以欺骗、胁迫、PUA 等手段，强迫受害们在网上与自己“裸聊”“做任务”，并录制了数量极其庞大的色情视频。

    赵主彬获得这些色情视频后，通过 Telegram 建立了多个秘密聊天房间，将大量的色情视频以有偿的方式，发布到会员群中。据后续调查，曾经加入过房间并查阅过这些色情视频的用户多达 26 万人，赵主彬通过该种方式，每天获利曾高达数十万元人民币之多。

    此案一出，震动全球社会，韩国猖獗的网络性犯罪市场被暴露在公众视野下，在打击此类犯罪的过程中，推动韩国出台了一系列性犯罪预防法案，此案以赵主彬最终被定罪处刑而落幕。

    谁也没想到，4 年后，N 号房事件会以这样的方式重回公众视野：2024 年 8 月 29 日，一则韩国女生发布的微博称，韩国女性和儿童深陷被身边人利用 deepfake 技术生成淫秽色情信息的危险之中。

    该博文已有 7.6 万次转发，发布者 yeon0829 关注者超过 2 万。

    这场性犯罪依然是通过 telegram 聊天室实施的。

    聊天室内设置有可以生成 deepfake 内容的机器人，进入聊天室后，用户发送女性的照片就能获得生成的虚假情色内容，通过付费或邀请朋友进入可以获得更多的生成额度——一种简单粗暴但被证明极其有效的盈利模式。去年以来。韩国互联网深度伪造技术性剥削物泛滥，以至于全球网络中相关产物的人物形象中韩国女性占比超过一半。

    据《韩民族日报》报道，一个此类 Telegram 聊天室超过 22.7 万人参与；在 X 上，志愿者自发创建的深度伪造受害学校清单涉及超过 500 所学校。在这一事件在中文互联网舆论爆发之前，今年 5 月首尔大学、仁荷大学等韩国高校学生为主犯的 deepfake 事件已经引起局部关注，审判尚未结束，一系列事件被合称为「N 号房 2.0」。

    在大洋彼岸，Telegram 的创始人帕维尔·杜洛夫（Pavel Durov）于法国被捕，据《纽约时报》报道，法国当局曾要求 Telegram 协助调查一起涉及儿童性虐待材料的案件，帮助识别其中一名用户的身份，而 Telegram 并没有回应这一要求。

    面对韩国女性的抗议和社会恐慌，9 月 2 日，韩国警察厅国家搜查本部本部长禹钟寿在例行记者会上表示，警方以涉嫌帮助深度伪造性犯罪为由着手对社交媒体 Telegram 实施立案前调查，但也表示该公司在提供账户信息等涉案资料方面不积极配合。

    随着 AI 技术的发展成熟，近年来利用人工智能技术从事违法犯罪活动的案例愈来愈多。Deepfake 早期被用于政治场合，例如美国大选和各级地区选举时就时常出现 deepfake 产出的有关领导人人的虚假内容搅动时局或造梗。

    就在今年年初，X 上有关 Taylor Swift 的 AI 生成的不雅照片就引起了全球的激烈讨论，一度引发白宫方面回应 deepfake 监管问题。但是，这一次 deepfake 以性犯罪的方式深入到了所有普通人的生活中。

    据韩联社报道，从今年 1 月 1 日至 8 月 25 日，向数字性犯罪受害者支援中心请求帮助的受害者共有 781 人，其中 19 岁以下未成年人有 288 人，在受害者总数中占 36.9%。截至 8 月 25 日，向该中心请求帮助的未成年人受害者从 2022 年的 64 人增至 2024 年的 288 人，仅 2 年增加 3.5 倍，增幅高于同期请求帮助的受害者总人数的增幅（2.7 倍）。

    在我国类似的案例也时有出现，例如，最高检转载过浙江省一起涉及“AI 换脸”的公益诉讼案件，案中行为人利用“AI 换脸”软件，制作生成虚假的换脸淫秽视频在网络社交软件上进行传播，并在社交软件上创建了多个群组为他人提供换脸视频定制服务，还在网络社交软件上销售“AI 换脸”软件、提供换脸素材并传授使用教程，最终被检察院以涉嫌制作、传播淫秽物品牟利罪提起公诉。

    从刑法的角度看，生成虚假淫秽色情内容、利用网络社群传播并牟利，如果在我国，涉嫌《刑法》第 363 条“制作、复制、出版、贩卖、传播淫秽物品牟利罪”、第 364 条“传播淫秽物品罪”、第 246 条的侮辱罪和诽谤罪等罪。

    对于类似韩国这种在电报群里会员制分享淫秽色情制品的行为，《两高关于传播淫秽电子信息犯罪行为司法解释》第三条有明确规定：利用互联网建立主要用于传播淫秽电子信息的群组，成员达三十人以上或者造成严重后果的，对建立者、管理者和主要传播者，依照刑法第三百六十四条第一款的规定，以传播淫秽物品罪定罪处罚。 

    同时因侵犯肖像权、名誉权，行为人也面临民事的侵权损害赔偿，相关社交媒体会受到互联网监管机构的行政处罚。——但是，对于社会性的 AI 换脸网络性犯罪浪潮，问题并没有那么容易解决，这种犯罪手法可谓是踩中了 AI、互联网、性犯罪三项监管的薄弱之处而得以泛滥。

    生成式人工智能应用中涉及的侵权形态与传统责任机制的偏离。首先，作为 AI 生成素材的内容如果是受害人自行发布在社交媒体上的，则很难被认定为侵犯隐私权；加之 deepfake 生成的内容是虚假的，脸部形象本身具有一定公共属性且自然属性为露出状态，通过隐私权保护面部信息存在争议。

    利用肖像权、个人信息权保护脸部信息时，一方面这些权利很可能被网络平台通过用户协议获取，另一方面一些国家和地区对侵犯肖像权要求有营利目的。美国的一些州尝试通过著作权法来解决 AI 换脸的定性，认为 AI 换脸和传播侵犯了原发布者的网络信息网络传播权、修改权、保护作品完整权等权利；同时侵犯名誉权乃至侮辱罪、诽谤罪等罪名也是对抗 AI 换脸的可行路径。但综合而言，对于生成式人工智能的监管尚未精细化，其中的技术问题和法律问题尚未解决，事前的有效防范方案有待提出。

    互联网私域社群的存在对救济和定罪量刑造成了困难。以社交媒体上的社群为载体的犯罪往往是一种“无组织的有组织犯罪”，典型就是“N 号房”案件：N 号房的组织者只是共享聊天室的组建者，组建者与参与者的组织结构并非传统自上而下的“金字塔”形态，而是分散式的共享模式，房间组建者仅是有组织性地谋划、共享逃避调查的方法和被检举时的注意事项等。但是，所有参与者都在特定规则下自发地以暴力、胁迫等手段对被害人实施犯罪。当参与者的数量达到 22 万乃至更高的量级时，法是否不责众的疑问会回到人们的心头。

    在这次事件中，大量 AI 生成素材来自于加害人对周围女性的非法偷拍，类似的数字性犯罪也离不开隐藏摄像机偷拍行为。在韩国有몰카（molka）一词特指针孔相机，韩国 Metoo 运动也以抵抗偷拍为核心，尽管女性示威的浪潮不断，ReSet 等社会活动群体不断发声，这一问题仍然无法根本解决。针孔摄像机在市场中仍然能够轻易购得，用于偷拍的电子设备删除非法内容后难以取证，而由它产生的偷拍内容借由发达的互联网又可以传播迅速。与此同时，执法和司法人员对被害者的偏见也使得执法和量刑幅度内更高的刑罚困难重重。

    特别地，此次事件大量学校牵涉其中，参与 deepfake 的可能是学校职工也可能是在校学生，而根据韩国《少年法》的规定，10 至 14 岁之间的儿童不承担刑事责任，这些“少年犯”也很难得到惩治。

    在 2020 年裁判的 N 号房事件中，韩国最高检特别发布了“数字性犯罪案件处理标准”，定义了“性剥削视频”并制定了针对性剥削视频拍摄者的起诉标准，该案主犯终审被判 34 年，在诉讼过程中被检方几次追加起诉，罪名包括“生产并传播色情物品”、“强奸”、“勒索”、“使用暴力”等，其中还创新性地将网络社群内的性犯罪行为定义为“犯罪集团”。

    今年首尔大学毕业生利用 deepfake 技术换脸合成色情内容并传播的案件正在庭审当中，他们和其他利用 deepfake 生成情色内容的犯罪者能否得到和 N 号房事件同样的严厉打击，不仅韩国，世界范围都在密切关注其进展。

    齐默尔曼（Reinhard Zimmermann）在梳理公序良俗之历史源流时曾指出：自古罗马时，善良风俗的核心就是将整个社会凝聚在一起的那些价值观。现代社会的问题恰恰在于，社会共识已经越来越少、越来越难以聚合。

    但是，科技的发展仍然需要最大化地寻求社会共识，满足特定时代和社会中具有相当稳定性的秩序观念和良善观念也即公序良俗，否则技术的跨越的步伐越大，越难以逾越社会之中人与人之间的鸿沟。在我国，《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律从不同角度规范了技术的边界，《科学技术进步法》《促进科技成果转化法》等法律也抽象地对于科技的伦理底线有所规定，如“科技成果转化活动应当遵守法律法规，维护国家利益，不得损害社会公共利益和他人合法权益”等，《人工智能示范法（专家建议稿）》在总则篇也强调了科技伦理审查的重要性，走在更前端的欧盟已发布了《人工智能法案》和《可信赖人工智能伦理准则》等文件。

    在这次事件中，人工智能仅为犯罪的工具，尚且没有达到需要讨论 AI 主动窃取人类讯息、生成虚假内容的地步，然而这种风险也值得注意和防范，AI 生成产品泛滥、数据集被污染的当下，deepfake 相关性犯罪会如何发展尚未可知，亟需网络监管部门、社交媒体企业、社会大众等多方的关注以及国际合作。

    AI 技术被用于网络性犯罪是科技这把双刃剑带来的严峻挑战，也是 AI 技术揭示出的人性的幽暗。面对这一现状，更需要的是构建起多维度的防控体系，让立法建设与日常监管先行，让技术的创新与利用严守伦理的底线，以社会治理和国际合作等综合措施防治这一复杂议题。

获取详细资讯，请联络飒姐团队

【 sa.xiao@dentons.cn】

【 guangtong.gao@dentons.cn】

飒姐工作微信：【 xiaosalawyer】

飒姐工作电话：【 +86 171 8403 4530】