人工智能（AI）生成內容的刑事合規邊界
作者：曾崢 吳衛明 郭家豪 陳伊韜 2024-06-11人工智能生成內容（Artificial Intelligence Generated Content，以下簡稱“AIGC”），是指利用生成式人工智能（Generative Artificial Intelligence，以下簡稱“GAI”）技術生成的內容，也是繼專業生成內容（Professional Generated Content, PGC）和用戶生成內容（User Generated Content, UGC）之后，利用人工智能技術自動生成內容的新型生產方式。[1]
自ChatGPT問世以來，GAI強大的內容生成能力也為用戶帶來了前所未有的便利與創意。但隨著GAI技術的廣泛應用，AIGC的內容合規問題也逐漸浮出水面。由于GAI技術應用場景包含面向公眾的服務場景，部分GAI技術具有輿論動員能力或社會動員能力，因而其內容是否符合法律的規定，是否符合公序良俗，是否有社會危害性，成為GAI治理的核心內容之一。
對此，《生成式人工智能服務管理暫行辦法》（以下簡稱“《暫行辦法》”）第四條[2]規定：生成式人工智能服務提供者和使用者均應避免生成包含“煽動顛覆國家政權、推翻社會主義制度，危害國家安全和利益、損害國家形象，煽動分裂國家、破壞國家統一和社會穩定，宣揚恐怖主義、極端主義，宣揚民族仇恨、民族歧視，暴力、淫穢色情，以及虛假有害信息等法律、行政法規禁止的內容”（以下統稱“不良信息”）的AIGC。
包含上述不良內容的AIGC因其對國家和公共法益的侵害，大部分已被納入《刑法》的規制范圍，比如，制作發布有關違法內容的行為，可能涉嫌煽動分裂國家罪，煽動顛覆國家政權罪，宣揚恐怖主義、極端主義、煽動實施恐怖活動罪，煽動民族仇恨、民族歧視罪，傳播淫穢物品罪等（以下統稱“內容型犯罪”）。同時，AIGC和GAI以互聯網為基礎，還可能涉及《刑法修正案（九）》新增的有關互聯網犯罪的內容，包括拒不履行信息網絡安全管理義務罪，非法利用信息網絡罪，幫助信息網絡犯罪活動罪等。
本文將深入探討AIGC可能涉及的刑事風險，AIGC產業鏈上不同角色在不同情形下應承擔何種責任，以期為相關從業者提供參考和借鑒。
一、 AIGC的生成原理
AIGC的生成以GAI為基礎，以GAI的訓練為起點，AIGC的生成原理概述如下：
(一) 數據收集與預處理
GAI需要大量的訓練數據。訓練數據通常來自互聯網，包括書籍、文章、對話等。但為保證訓練質量，原始數據通常會經過清洗、分詞、去除停用詞等預處理操作，以確保模型能夠有效學習。
(二) 模型構建與訓練
GAI常用的模型架構包括循環神經網絡（RNN）、變換器（Transformer）和生成式對抗網絡（GAN）等。這些模型能夠學習并捕捉數據中的上下文信息、結構特征和概率分布。為了提高模型的性能，這些模型通過大量的數據進行訓練，不斷改進其預測和生成結果的能力。
(三) 內容生成與輸出
當GAI完成訓練后，它可以接收用戶或系統的輸入。這些輸入可以是文本、圖像、音頻等形式的數據，根據輸入的上下文信息和學習到的概率分布，GAI會生成新的內容，此即為通常所說的AIGC。AIGC的形式同樣可以是文本、圖像、音頻等形式。
二、 AIGC包含不良內容的原因分析
基于AIGC的生成原理，如AIGC包含了不良信息，其原因可能包括：
(一) 訓練數據存在問題
一方面，如果訓練數據集包含了不良信息，模型就可能學習并生成類似的內容；另一方面，如果訓練數據中的標簽未正確標識不良內容，模型就無法區分不良信息和正常信息，進而導致模型的生成內容包含不良信息。
(二) 模型架構存在問題
部分GAI模型在設計時，沒有充分考慮對不良內容的檢測和過濾，模型僅根據數據分布生成內容，而不具備對內容的道德或倫理判斷能力，此時也可能導致模型的生成內容包含不良信息。
(三) 輸入內容存在問題
對于交互式GAI（例如聊天機器人），使用者輸入的內容本身可能包含不良信息，GAI在生成回復內容時可能會繼續該上下文，生成不良信息。此外，GAI如對用戶輸入的上下文理解不足，使用者可能通過輸入隱晦或暗示性的語言，使得GAI無法有效過濾或拒絕生成不良信息。
(四) 缺乏適當的過濾和監控機制
最后，GAI如果對生成內容沒有經過適當的后處理步驟（例如內容過濾、關鍵詞屏蔽、不良信息檢測等），可能會直接輸出包含不良信息的內容。此外，在實時生成內容的應用（如對話系統）中，缺乏實時的監控機制也可能導致不良信息未被及時發現和處理。
三、 AIGC包含不良內容的刑事風險分析
(一) AIGC產業鏈上涉及的法律責任主體類型
參考《互聯網信息服務深度合成管理規定》（以下簡稱“《深度合成規定》”）中，將深度合成產業鏈上的參與角色劃分為深度合成服務提供者、深度合成服務技術支持者、深度合成服務使用者，結合前述對AIGC生成原理的介紹，AIGC產業鏈上涉及的法律責任主體類型亦可劃分為：
生成式人工智能服務提供者（以下簡稱“服務提供者”），是指提供生成式人工智能服務的組織、個人。
生成式人工智能服務技術支持者（以下簡稱“技術支持者”），是指為生成式人工智能服務提供技術支持的組織、個人。
生成式人工智能服務使用者（以下簡稱“服務使用者”），是指使用生成式人工智能服務制作、復制、發布、傳播信息的組織、個人。
在實務中，亦存在服務提供者以其自有模型和技術提供生成式人工智能服務。此時，服務提供者將同時是技術支持者，后文分析中有關技術支持者的部分也將適用于服務提供者，不再贅述。
值得注意的是，雖然《暫行辦法》僅劃分了生成式人工智能服務提供者和生成式人工智能服務使用者兩類角色，但這不代表《暫行辦法》未對技術支持者提出合規要求。例如《暫行辦法》第七條[3]對GAI的訓練數據處理活動進行了規定、第八條[4]對GAI研發過程中的數據標注進行了規定，實務中如相關活動是由技術支持者完成，則仍應遵守對應的規定。
(二) 不同原因下各主體的責任承擔分析
除非服務提供者、技術支持者與服務使用者存在事前的共謀，以實施犯罪行為的故意創設、使用GAI，則可以按照共同犯罪追究其作為犯罪整體的刑事責任。一般情況下，服務使用者往往是不特定的用戶群體，沒有成為責任主體的條件。舉例而言，搭建、租售VPN易觸犯提供侵入、非法控制計算機信息系統程序、工具罪或非法經營罪。雖然目前對使用VPN的行為并未適用刑法評價（仍然是違法行為），但是如果使用者以GAI或其輸出的AIGC作為工具從事其他犯罪活動，如使用AI換臉軟件生成淫穢圖片在網上販賣、傳播，則具有了獨立的刑事可罰性。因此，下文主要討論的是，AIGC產業鏈上的服務提供者、技術支持者們，在AIGC出現帶有刑事風險內容時，根據不同情況應當如何歸責的問題。
1. 訓練數據或模型架構存在問題
如不良信息的生成是由于訓練數據或模型架構存在問題，則技術支持者可能被追究刑事責任。但考慮我國刑法體系下，定罪以主客觀相統一為基礎原則，因此技術支持者是否應承擔刑事責任，還應考察其是否具備生成或傳播不良信息之主觀故意。
AIGC的技術復雜性使得技術支持者主觀上故意與否通常難以直接認定。同時，我國現行法律法規及監管規則、技術標準已就訓練數據和模型訓練提出了若干要求，實務中或可考慮通過判斷技術支持者是否履行相關法律義務、是否實施了相關技術標準來推斷其是否具有主觀故意。具體而言：
①使用具有合法來源的數據和基礎模型
《暫行辦法》第七條明確要求 “使用具有合法來源的數據和基礎模型”。
何謂“具有合法來源的數據”？通常理解上，應當系指通過合法途徑，例如協議獲取、合法公開收集等方式，而非竊取、未經許可收集等非法方式獲取數據。
何謂“具有合法來源的基礎模型”？目前《暫行辦法》第十七條[5]對具有輿論屬性或者社會動員能力的生成式人工智能服務已提出了明確的備案要求。此外，根據我們向國家網信辦咨詢得到的窗口意見，目前監管部門對“具有輿論屬性或者社會動員能力”的認定標準較為寬泛，如服務使用者包含一般公眾，則應當履行備案義務。因此，是否根據《暫行辦法》完成備案工作，可作為判斷相關基礎模型是否合法的參考標準之一。當然行政監管的違法性，與刑事的違法性并非等同的概念，但是，完成備案的基礎模型，備案中需要對模型的安全性進行評估，采用此類模型，可以大大降低服務使用者生成不良信息的風險。
②確保數據標注質量
根據《暫行辦法》第八條，在生成式人工智能技術研發過程中進行數據標注的，服務提供者或技術支持者應當制定符合本辦法要求的清晰、具體、可操作的標注規則，并在標注規則中，體現出對于違法內容予以識別的內容；服務提供者或技術支持者還應開展數據標注質量評估，抽樣核驗標注內容的準確性；對標注人員進行必要培訓，提升尊法守法意識，監督指導標注人員規范開展標注工作。從而降低被認定為具有主觀故意的可能性。
③語料安全與模型安全要求
除《暫行辦法》，全國網絡安全標準化技術委員會于2024年3月1日發布了《生成式人工智能服務安全基本要求》，其中對語料來源安全、語料內容安全、語料標注安全、模型安全、安全措施等均提出了要求。
2.缺乏適當的過濾和監控機制
無論是因訓練數據、模型架構存在問題，還是因輸入內容存在問題，致使GAI生成的內容包含了不良信息，服務提供者均有義務設置適當的過濾和監控機制以避免不良信息向服務使用者輸出。
當然，《暫行辦法》同時提出，堅持發展和安全并重、促進創新和依法治理相結合的原則，對AIGC實施包容審慎和分類分級監管。服務提供者應當以正確的價值觀引導算法的設置，并以一般理性人的標準在算法適用過程中合理排除包含不良信息的內容，避免造成絕對的侵害結果。一方面，對于明顯由算法設計或訓練中人工引導而產生的不法/犯罪問題（例如算法篩選、過濾機制明顯與公序良俗相違背），應當針對服務提供者適用嚴格責任標準；另一方面，若服務提供者、技術支持者已設置了適當的過濾和監控機制，如果服務使用者在具體操作時生成了服務提供者、技術支持者無法預見的不良信息，此時也不宜過分苛責服務提供者或技術支持者。[6]
3.輸入內容存在問題
如AIGC中不良信息的出現，確由服務使用者通過其輸入刻意引導（如隱晦或暗示性的語言）而誘使生成，該等情形下，由于服務使用者具有相關內容型犯罪之主觀故意，可根據其具體行為確定涉嫌何種內容型犯罪。
而此種情形下，服務提供者或技術支持者的刑事責任承擔，還需依據服務提供者或技術支持者對服務使用者違法/犯罪行為的態度，如追求還是放任，做不同區分。刑事犯罪中對主觀故意的認定有兩種方式，一是積極的故意，即行為人希望危害結果或危險能夠發生，二是放任的故意，即行為人認識到其作為/不作為會招致危害結果或危險的發生，但不采取措施避免。
如案件證據足以證明服務提供者或技術支持者具有積極的故意，則毫無疑問應當承擔相應的刑事責任。但實務中的難點或復雜點通常在于服務提供者或技術支持者是否具有放任的故意、如何證明其具有或不具有放任的故意。事實上，由于客觀上AIGC輸入數據的龐大性，算法的復雜性，以及算法的多重迭代會產生黑箱效應，即便服務提供者或技術支持者在訓練過程中力求合法合規，也難以避免在具體使用場景中產生違法或犯罪問題。此時作為服務提供者或技術支持者，在實踐中一般可以遵循如下原則，對于其所運營的AIGC產品上的服務使用者不法行為履行審查和監管義務，并以此作為自身對服務使用者違法/犯罪行為不具有放任的故意的證明：
① 避風港原則
避風港原則作為一項在著作權領域廣泛應用的法律原則，是指在發生著作權侵權案件時，當網絡服務提供者僅提供空間服務而未制作頁面內容情況下，如果知曉侵權內容，則網絡服務提供者有義務刪除侵權內容，或者采取屏蔽、斷開鏈接等措施。如果在明確知曉侵權事實后，仍不及時采取相關措施，則需要承擔責任。避風港原則雖然是著作權領域的一項原則，但在判斷技術支持者/服務提供者是否存在故意方面，仍有一定的參考意義。
② 紅旗原則
紅旗原則同樣是著作權領域的一個原則，當侵權事實顯而易見，像“紅旗一樣飄揚”時，服務提供者不能假裝看不見，或者以不知道侵權為由推脫責任。即在按常理和應盡的基本審慎義務的情況下，服務提供者應當知道侵權行為的存在卻不刪除鏈接，即使權利人沒有發出刪除通知，服務提供者也應當承擔侵權責任。
（三）技術中立原則的影響
1、技術中立的影響
在涉及互聯網犯罪的案件中，當“技術中立”成為主要辯護點時，服務提供者或技術支持者通常會強調其產品設計、運營和宣傳的合法合規性，并展示在監管和審查方面已盡到的義務。他們往往主張主觀上對違法行為的不知情，或者在得知后已盡力對使用者的不法行為進行糾正，同時強調在客觀上由于技術限制等因素，完全杜絕此類行為并不具備可行性。
事實上，技術中立在刑法上并無特別意義，也并非出罪理由。技術本身不應該成為刑法評價的對象，可能構成犯罪的是技術提供行為。而認定技術提供行為是否成立犯罪，只能基于刑法的正犯化特別立法和傳統的共犯理論，并回歸到主觀認識與犯意聯絡當中去。典型如快播案件[7]中，辯護方強調“快播公司提供的是技術服務，沒有傳播、發布、搜索淫穢視頻行為，也不存在幫助行為；快播技術不是專門發布淫穢視頻的工具，而是提供緩存服務以提高網絡傳輸效率，為用戶提供P2P視頻點播技術服務；基于技術中立原則，對快播公司的行為應適用避風港原則，快播公司不應為網絡用戶傳播淫穢物品承擔刑事責任。”而檢方通過舉證快播公司調度服務器不僅拉拽淫穢視頻存儲在緩存服務器里，也向客戶端提供緩存服務器中的淫穢視頻文件。從而證明快播公司實質介入了淫穢視頻的傳播行為，摧毀了其技術中立的基礎。
快播案最終定性為傳播淫穢物品牟利罪。事實上，在快播風頭最盛之時，幾乎就可以以淫穢視頻啟動器劃等號，不法亂象早已明眼可見，應當適用“紅旗原則”對其進行歸責。當然，對于判罰合理性，學界也存在觀點認為，若本案發生在《刑法修正案（九）》發布之后，則定性拒不履行信息安全管理義務罪更為合適。[8]
2、共同犯罪或是獨立犯罪的考量
從立法趨勢上來看，《刑法修正案（九）》后增設的幫助信息網絡犯罪活動罪，拒不履行信息安全管理義務罪以及非法利用信息網絡罪，均反映了我國關于網絡犯罪及涉及AI犯罪的積極主義刑罰觀，通過將傳統共犯理論中的幫助犯獨立正犯化以應對越來越活躍的互聯網犯罪及涉及AI犯罪問題，也為服務提供者、技術支持者提出了更高的合規要求。即便與使用者之間不存在就特定犯罪的犯意聯絡，也可以通過主觀上的推定明知，就網絡產品及AI產品對實行犯犯罪行為的促進作用對服務提供者、技術支持者入罪。
具體而言，就AIGC方面，《暫行辦法》第九條[9]要求服務提供者承擔網絡信息內容生產者責任，第十四條則明確要求“提供者發現違法內容的，應當及時采取停止生成、停止傳輸、消除等處置措施，采取模型優化訓練等措施進行整改，并向有關主管部門報告。提供者發現使用者利用生成式人工智能服務從事違法活動的，應當依法依約采取警示、限制功能、暫停或者終止向其提供服務等處置措施，保存有關記錄，并向有關主管部門報告。”
《深度合成規定》第十條亦規定：“深度合成服務提供者應當加強深度合成內容管理，采取技術或者人工方式對深度合成服務使用者的輸入數據和合成結果進行審核。深度合成服務提供者應當建立健全用于識別違法和不良信息的特征庫，完善入庫標準、規則和程序，記錄并留存相關網絡日志。深度合成服務提供者發現違法和不良信息的，應當依法采取處置措施，保存有關記錄，及時向網信部門和有關主管部門報告；對相關深度合成服務使用者依法依約采取警示、限制功能、暫停服務、關閉賬號等處置措施。”
由此可見，我國監管部門目前對AIGC服務提供者提出了較高的注意義務，如服務提供者未履行上述注意義務，服務使用者利用GAI生成違法違規內容，會受到監管部門責令改正。
近日，九龍坡區網信辦依法對屬地“開山猴”AI寫作網站運營主體重慶初唱科技有限公司未盡到審核管理義務、履行主體責任不到位的行為作出行政處罰。該企業運營的“開山猴AI寫作大師”網站違規生成法律法規禁止的信息，未盡到主體責任義務，違反了《中華人民共和國網絡安全法》《生成式人工智能服務管理暫行辦法》等相關法律法規。九龍坡區網信辦責令該公司限期全面整改，加強信息內容審核，健全信息內容安全管理相關制度，暫停網站信息更新及AI算法生成式寫作功能15日。[10]
四、結語
從一般的社會認知和社會常理出發，使用者通過AI換臉[11]、AI脫衣軟件[12]制作淫穢物品傳播牟利的行為已經受到刑事追責，而AI語聊夾帶色情內容或生成淫穢圖片等問題也開始受到社會關注，這些行為的社會危害性是顯而易見的，但是，在法律法規不完善的背景下，合理設置產品提供者的刑事責任至關重要。如責任主體范圍過大或責任過重，則可能不利AI產業的創新發展；若責任主體范圍過小或責任過輕，則又可能使AIGC類產品成為違法犯罪的工具。
此外，對于服務提供者、技術支持者與服務使用者而言，在法律規則逐步完善的外部環境下，也應敬畏法律，尊重社會公共利益，從源頭上樹立合規意識，防范產品合規措施缺失而帶來的風險。
注釋：
[1] 中國信息通信研究院《人工智能生成內容（AIGC）白皮書（2022年）》
[2] 《生成式人工智能服務管理暫行辦法》第四條 提供和使用生成式人工智能服務，應當遵守法律、行政法規，尊重社會公德和倫理道德，遵守以下規定：
（一）堅持社會主義核心價值觀，不得生成煽動顛覆國家政權、推翻社會主義制度，危害國家安全和利益、損害國家形象，煽動分裂國家、破壞國家統一和社會穩定，宣揚恐怖主義、極端主義，宣揚民族仇恨、民族歧視，暴力、淫穢色情，以及虛假有害信息等法律、行政法規禁止的內容；（二）在算法設計、訓練數據選擇、模型生成和優化、提供服務等過程中，采取有效措施防止產生民族、信仰、國別、地域、性別、年齡、職業、健康等歧視；
（三）尊重知識產權、商業道德，保守商業秘密，不得利用算法、數據、平臺等優勢，實施壟斷和不正當競爭行為；
（四）尊重他人合法權益，不得危害他人身心健康，不得侵害他人肖像權、名譽權、榮譽權、隱私權和個人信息權益；
（五）基于服務類型特點，采取有效措施，提升生成式人工智能服務的透明度，提高生成內容的準確性和可靠性。
[3] 《生成式人工智能服務管理暫行辦法》第七條 生成式人工智能服務提供者（以下稱提供者）應當依法開展預訓練、優化訓練等訓練數據處理活動，遵守以下規定：
（一）使用具有合法來源的數據和基礎模型；
（二）涉及知識產權的，不得侵害他人依法享有的知識產權；
（三）涉及個人信息的，應當取得個人同意或者符合法律、行政法規規定的其他情形；
（四）采取有效措施提高訓練數據質量，增強訓練數據的真實性、準確性、客觀性、多樣性；
（五）《中華人民共和國網絡安全法》、《中華人民共和國數據安全法》、《中華人民共和國個人信息保護法》等法律、行政法規的其他有關規定和有關主管部門的相關監管要求。
[4] 《生成式人工智能服務管理暫行辦法》第八條 在生成式人工智能技術研發過程中進行數據標注的，提供者應當制定符合本辦法要求的清晰、具體、可操作的標注規則；開展數據標注質量評估，抽樣核驗標注內容的準確性；對標注人員進行必要培訓，提升尊法守法意識，監督指導標注人員規范開展標注工作。
[5] 《生成式人工智能服務管理暫行辦法》第十七條 提供具有輿論屬性或者社會動員能力的生成式人工智能服務的，應當按照國家有關規定開展安全評估，并按照《互聯網信息服務算法推薦管理規定》履行算法備案和變更、注銷備案手續。
[6]上海市法學會 東方法學，論大型內容生成式人工智能模型設計者及提供者的侵權責任，https://mp.weixin.qq.com/s/bvR8JPjuQpohyJoO3kaQgg，訪問時間：2024年6月7日.
[7] 【刑事審判參考】第1192號快播案——網絡視頻緩存加速服務提供者構成傳播淫穢物品牟利罪的認定
[8] 陳興良，快播案一審判決的刑法教義學評判，《中外法學》2017年第1期
[9] 《生成式人工智能服務管理暫行辦法》第九條 提供者應當依法承擔網絡信息內容生產者責任，履行網絡信息安全義務。涉及個人信息的，依法承擔個人信息處理者責任，履行個人信息保護義務。提供者應當與注冊其服務的生成式人工智能服務使用者（以下稱使用者）簽訂服務協議，明確雙方權利義務。
[10] 網信重慶，首例！重慶網信部門對某生成式AI系統未盡到內容審核義務作出處罰，https://mp.weixin.qq.com/s/uvTosgFGkRgA4OojmoNk0A，訪問時間，2024年6月7日.
[11] （2023）豫0203刑初11號
[12] 騰訊網，“AI去衣”是否涉及刑責？北京海淀法院一審開庭審理使用“AI去衣”軟件制作淫穢物品案，https://new.qq.com/rain/a/20240419A09I9I00，訪問時間：2024年6月4日.
