數據合規之算法合規（下）——監管趨勢及企業應對
作者：張丹 2021-08-27人類使用算法的初衷在于輔助或部分代替人類決策，使生活變得更加便捷和智能。算法作為人工智能、區塊鏈、大數據分析等技術的核心要素，確實地推動人類生產生活的變革。但同時，算法作用過程和決策機制較為隱蔽甚至不便于人類思維理解，有時類似密不透風的“黑匣子”——這導致其被濫用的風險驟然提升，最終可能與使用初衷背道而馳。信息繭房、大數據殺熟、算法歧視等事件的層出不窮也讓人們對看似理性、中立的算法進行反思。在此背景下，各國政府開始嘗試對算法進行監管。包括但不限于在整體層面上，設立AI的倫理原則，將算法的發展方向框定在“對人類有益”的范圍之內，而在各類應用場景中，提出算法透明、公正、保證算法的“可信度”等細致要求。而我國算法監管制度也正逐步完善和健全，但具體內容有待細化完善。
法律法規 1.《新一代人工智能發展規劃的通知》（2017.07.08發布） （四）建立人工智能安全監管和評估體系。建立健全公開透明的人工智能監管體系，實行設計問責和應用監督并重的雙層監管結構，實現對人工智能算法設計、產品開發和成果應用等的全流程監管。 2.《智能網聯汽車道路測試管理規范（試行）》（2018.05.01實施） 3.《電子商務法》（2019.01.01實施） 第十八條 電子商務經營者根據消費者的興趣愛好、消費習慣等特征向其提供商品或者服務的搜索結果的，應當同時向該消費者提供不針對其個人特征的選項，尊重和平等保護消費者合法權益。 4.《數據安全管理辦法（征求意見稿）》（2019.05.28發布） 第二十三條 網絡運營者利用用戶數據和算法推送新聞信息、商業廣告等（以下簡稱“定向推送”），應當以明顯方式標明“定推”字樣，為用戶提供停止接收定向推送信息的功能；用戶選擇停止接收定向推送信息時，應當停止推送，并刪除已經收集的設備識別碼等用戶數據和個人信息。 網絡運營者開展定向推送活動應遵守法律、行政法規，尊重社會公德、商業道德、公序良俗，誠實守信，嚴禁歧視、欺詐等行為。 5.《新一代人工智能治理原則——發展負責任的人工智能》（2019.06.17實施） 六、共擔責任。人工智能研發者、使用者及其他相關方應具有高度的社會責任感和自律意識，嚴格遵守法律法規、倫理道德和標準規范。建立人工智能問責機制，明確研發者、使用者和受用者等的責任。人工智能應用過程中應確保人類知情權，告知可能產生的風險和影響。防范利用人工智能進行非法活動。 6.《在線旅游經營服務管理暫行規定》（2020.10.01實施） 第十五條 在線旅游經營者不得濫用大數據分析等技術手段，基于旅游者消費記錄、旅游偏好等設置不公平的交易條件，侵犯旅游者合法權益。 7.《信息安全技術 個人信息安全規范》（2020.10.01實施） 7.5個性化展示的使用 對個人信息控制者的要求包括： a）在向個人信息主體提供業務功能的過程中使用個性化展示的，應顯著區分個性化展示的內容和非個性化展示的內容。 注1：顯著區分的方式包括但不限于：標明“定推”等字樣，或通過不同的欄目、版塊、頁面分別展示等。 b）在向個人信息主體提供電子商務服務的過程中，根據消費者的興趣愛好、消費習慣等特征向其提供商品或者服務搜索結果的個性化展示的，應當同時向該消費者提供不針對其個人特征的選項。 注2：基于個人信息主體所選擇的特定地理位置進行展示、搜索結果排序，且不因個人信息主體身份不同展示不一樣的內容和搜索結果排序，則屬于不針對其個人特征的選項。 c）在向個人信息主體推送新聞信息服務的過程中使用個性化展示的，應： 1）為個人信息主體提供簡單直觀的退出或關閉個性化展示模式的選項， 2）當個人信息主體選擇退出或關閉個性化展示模式時，向個人信息主體提供刪除或匿名化定向推送活動所基于的個人信息的選項。 d）在向個人信息主體提供業務功能的過程中使用個性化展示的，宜建立個人信息主體對個性化展示所依賴的個人信息（如標簽、畫像維度等）的自主控制機制，保障個人信息主體調控個性化展示相關性程度的能力。 8.《關于平臺經濟領域的反壟斷指南》（2021.02.07實施） 第六條 橫向壟斷協議 具有競爭關系的平臺經濟領域經營者可能通過下列方式達成固定價格、分割市場、限制產（銷）量、限制新技術（產品）、聯合抵制交易等橫向壟斷協議： ...... （三）利用數據、算法、平臺規則等實現協調一致行為； 第七條 縱向壟斷協議 平臺經濟領域經營者與交易相對人可能通過下列方式達成固定轉售價格、限定最低轉售價格等縱向壟斷協議： ...... （三）利用數據和算法對價格進行直接或者間接限定； （四）利用技術手段、平臺規則、數據和算法等方式限定其他交易條件，排除、限制市場競爭。 第十七條 差別待遇 具有市場支配地位的平臺經濟領域經營者，可能濫用市場支配地位，無正當理由對交易條件相同的交易相對人實施差別待遇，排除、限制市場競爭。分析是否構成差別待遇，可以考慮以下因素： （一）基于大數據和算法，根據交易相對人的支付能力、消費偏好、使用習慣等，實行差異性交易價格或者其他交易條件； （二）實行差異性標準、規則、算法； （三）實行差異性付款條件和交易方式。 9.《信息安全技術 個人信息安全影響評估指南》（2021.06.01實施） 10.《上海新一代人工智能算法創新行動計劃（2021-2023年）》（2021.07.08發布） 11.《關于維護新就業形態勞動者勞動保障權益的指導意見》（2021.07.16實施） （十）督促企業制定修訂平臺進入退出、訂單分配、計件單價、抽成比例、報酬構成及支付、工作時間、獎懲等直接涉及勞動者權益的制度規則和平臺算法，充分聽取工會或勞動者代表的意見建議，將結果公示并告知勞動者。工會或勞動者代表提出協商要求的，企業應當積極響應，并提供必要的信息和資料。指導企業建立健全勞動者申訴機制，保障勞動者的申訴得到及時回應和客觀公正處理。 12.《個人信息保護法》（2021.11.01實施） 第八條 處理個人信息應當保證個人信息的質量，避免因個人信息不準確、不完整對個人權益造成不利影響。 第二十四條 個人信息處理者利用個人信息進行自動化決策，應當保證決策的透明度和結果公平、公正，不得對個人在交易價格等交易條件上實行不合理的差別待遇。通過自動化決策方式向個人進行信息推送、商業營銷，應當同時提供不針對其個人特征的選項，或者向個人提供便捷的拒絕方式。通過自動化決策方式作出對個人權益有重大影響的決定，個人有權要求個人信息處理者予以說明，并有權拒絕個人信息處理者僅通過自動化決策的方式作出決定。。 第五十五條 有下列情形之一的，個人信息處理者應當事前進行個人信息保護影響評估，并對處理情況進行記錄： （一）處理敏感個人信息； （二）利用個人信息進行自動化決策； …… 13.《信息安全技術 機器學習算法安全評估規范（征求意見稿）》（2021.08.03發布） 企業應對 不斷發展的算法技術是一把“雙刃劍”，企業合理利用算法可為消費者提供更便捷的個性化服務，從而有利于線上市場的良性競爭和發展。但面對巨大利益，企業也可能利用算法來滿足一己私利而侵犯消費者的合法權益。上文也提到了算法所帶來的各種法律和社會問題，那么，企業在開發使用算法過程中應注意如下合規要點： 1. 設置退出機制和申訴機制 如前文所述，在定推、個性化展示場景中，企業應提供退出機制，即用戶可以說不，賦予用戶選擇權。不僅如此，企業基于用戶畫像所使用的用戶個人信息在使用目的終止后應予以刪除并匿名化處理。在其他基于個人特征的場景中，企業要提供有效的申訴機制，如保險公司通過分析香煙、酒精、極限運動、駕駛等偏好數據，評估個人信息主體的生活方式、健康狀況等，據此作出是否提高保費的決策；設置在工作場所的IT監測系統，監控員工的電子郵件、所使用的應用程序等，用于分析員工是否認真工作并以此決定KPI考核。由于算法自帶的主觀性、所處理數據的質量以及技術偏差，極易造成算法歧視，申訴機制為算法偏差導致的權益損害提供了救濟途徑。 近期，俄羅斯某在線支付公司使用算法解雇了147名員工，理由是算法判斷這些員工“不敬業、效率低下”。該算法通過對員工線上的表現對員工進行標記，如是否參加了相關會議，是否在工作時間處理個人事務，是否積極與客戶溝通等。該事件被更多質疑的是算法未必準確，在公司決策將員工裁掉之前應該有對話環節，給予員工申辯的機會，以糾正算法可能帶來的錯誤判斷。 2. 增強算法透明度和可解釋性 《個人信息保護法》第二十四規定，利用個人信息進行自動化決策，應當保證決策的透明度和和結果公平、公正。通過自動化決策方式作出對個人權益有重大影響的決定，個人有權要求個人信息處理者予以說明。該條款提到了保證決策的透明度以及要求處理者對算法予以說明。目前普遍認為算法應當公開，增強算法的透明性，保證消費者的知情權，但是可作為企業商業秘密的算法，應該通過何種方式公開、向誰公開、公開到哪種程度，恐怕還需要實踐給出答案。 算法運行本質是數據輸入、輸出的過程，但在輸入輸出之間存在無法解釋的“黑洞”，引發“算法黑箱”問題。部分專家學者認為，由于算法黑箱的存在，技術上的不可解釋性，公開算法的源代碼或架構并無太大意義，因為公開并不能提供有效的對算法的說明，還有可能泄露企業的商業秘密，甚至相關主體利用公開的算法損害其他主體的正當權益。例如在搜索算法中，谷歌曾經依賴于一種叫作PageRank的算法確定搜索排序，當谷歌公開這種算法之后，很多網站就開始利用此類算法，以此達到提升網站在谷歌搜索結果排名靠前的目的，導致那些與搜索內容并不相關的網站也被谷歌搜索并排在前面。出于防范算計算法的考慮，如今谷歌采取考慮上百種參數的綜合判斷的搜索算法并不斷更新核心算法，維持了搜索算法的秘密性。 因而，應當公開的是算法決策邏輯或決策體系。目前一些電商平臺簡要說明了算法所依據的個人信息字段以及決策邏輯。如某平臺隱私政策中：“我們為向您展示更契合您需求的商品或服務信息，我們會收集和使用您在訪問或使用淘寶平臺網站或客戶端時的瀏覽、搜索記錄及設備信息、服務日志信息，以及其他取得您授權的信息，通過算法模型預測您的偏好特征，匹配您可能感興趣的商品、服務或其他信息，并根據您點擊、瀏覽或購買的情況，對向您展示的商品、服務或其他信息進行排序。為滿足您的多元需求，我們會在排序過程中引入多樣化推薦技術，拓展推薦的內容，避免同類型內容過度集中”。但是這種披露是否滿足監管對于算法公布的要求，恐怕有待于進一步探討。 我們認為，鑒于算法的秘密性，企業可在常規場景中以用戶所能理解的語言解釋算法的基本邏輯、所依據的個人信息字段以及算法結果使用目的，并向用戶提供申訴途徑；在特定場景觸發時可向特定人群詳細披露，如民事爭議、投訴、網絡安全事件等向司法部門、主管部門、監管部門公開。上文提到的外賣算法系統，執法機構可以對外賣平臺進行專家內部審查，檢查這些企業的算法是否滿足了對勞動者的安全保障義務。對于企業來說，由于算法的開發和使用必然留痕，開發者也應注意算法的設計是否遵守法律法規、倫理道德和標準規范，是否對公共利益和企業利益進行平衡，是否有效保護了用戶的權益，特別是用戶的知情權。 3. 按比例原則進行人工干預 人工干預是指商家/平臺不能完全依賴機器算法，應按照比例原則加入人工審核機制。比如某短視頻平臺的審核算法，在該平臺上每天有大量的新作品上傳，純靠機器審核容易被鉆空子，純靠人工審核又不太現實。因此，雙重審核成為算法篩選視頻內容的第一道門檻。 該算法的具體規則是：先通過提前設置好的算法來識別新作品的視頻畫面和關鍵詞，一是作品、文案中是否存在違規行為，如果疑似存在，就會被機器攔截，通過飄黃、標紅等提示人工注意；二是通過抽取視頻中的畫面、關鍵幀，與平臺大數據庫中已存在的海量作品進行匹配消重，內容重復的作品進行低流量推薦，或者降權推薦；針對機器審核篩選出疑似違規作品，以及容易出現違規領域的作品，審核人員進行逐個細致審核。如果確定違規，將根據違規賬號進行刪除視頻、降權通告、封禁賬號等處罰。部分平臺曾經由于過分依賴機器審核，導致大量違法違規、低俗信息在網上流傳，監管對其進行約談并要求整改。 人機互補，人為干預可以在一定程度上解決算法所帶來的風險。但是，鑒于算法運用的場景之豐富與普遍，算法早已滲透進我們的生活和工作，不可能在所有使用算法的場景都引入人工干預，這時就需要對所使用的算法可能造成的后果進行安全評估。 4.對算法進行安全/影響評估 在算法公開受限，人工干預不適用所有場景的情況下，對算法的開發和使用進行有效的安全/影響評估就顯得特別重要。《個人信息保護法》第五十五條規定，利用個人信息進行自動化決策的應當進行個人信息保護影響評估。在《信息安全技術 機器學習算法安全評估規范（征求意見稿）》和《信息安全技術 個人信息安全影響評估指南》中，都對算法的安全評估提出了具體的標準，但是兩份國標的評估側重點卻又不同。 《信息安全技術 個人信息安全影響評估指南》從個人信息權益保護的角度提出，認為高風險個人信息處理活動應該進行安全評估。其附錄對高風險個人信息處理活動及場景進行了列舉，包括對個人信息主體使用社交網絡和其他應用程序的行為進行分析，以便向其發送商業信息或垃圾郵件；銀行或其他金融組織在提供貸款前使用人工智能算法對個人信息主體進行信用評估，并且數據處理涉及與信用評估沒有直接關聯的數據；以及電商平臺監控用戶購物行為，進行用戶畫像，分析用戶的購買偏好，從而自動設置促銷價格，或設置針對用戶特定偏好的營銷計劃等。 《信息安全技術 機器學習算法安全評估規范（征求意見稿）》側重于從算法的設計開發、驗證測試、部署運行、維護升級、退役下線等全生命周期進行安全評估，算法安全不僅涉及算法自身安全，也涉及算法應用安全，算法安全應滿足算法保密性、完整性、可用性、可控性、魯棒性和隱私性等基本安全屬性。規范第八章的安全評估實施包括了明確評估范圍、制定評估方案、編制評估報告等內容，附件A還給出了算法安全所需滿足的各項安全指標。 兩份國標中的安全評估分為自評估和第三方評估，不排除政府基于監管而委托第三方進行的評估。雖然推薦性國標不具有強制執行力，但卻是企業減輕免除責任的實施手段之一，如企業事先事中都對算法的安全性進行評估，既使發生網絡/數據安全事件，主管/監管部門考慮到人工智能技術的不可預測性以及企業已經盡責的情況下予以手下留情。具體如何進行安全評估，可自行參照國標，在此不展開。 以自動駕駛領域為例，該領域直接與人們的生命、財產安全息息相關，其安全性為人們所擔憂。上文提到，美國國家公路交通安全管理局對特斯拉自動駕駛系統展開安全調查，各國對自動駕駛均持謹慎態度，要求進行充分的測試才有可能大規模投產。2018年4月，三部委聯合印發了《智能網聯汽車道路測試管理規范（試行）》的通知，對智能網聯汽車的測試提出具體的要求，但沒有對測試通過后的相關程序予以明確。我們認為，在諸如公共服務、交通駕駛、金融服務、健康衛生、福利教育等重要領域等，應當構建完整的算法測試規則與程序給企業以指引。 對于企業來說，算法的安全性以及對個人權益的影響有多大，需要事先結合相關規定進行安全/影響評估，盡可能減少算法帶來的潛在風險，推動可信的、負責任的、以人為本的算法決策機制，同時，企業應將算法可能導致的后果與網絡/數據安全應急機制相結合，當出現基于算法導致的安全事件時，企業可以迅速作出反應并減少負面影響。 綜上，盡管算法應用已十分廣泛，影響著我們生活的方方面面，但是對算法的規制目前還處于起步階段，相關的法律法規尚不完善，還有待于進一步的探索和研究，但是可以看到，政策制定者已經對出現的算法問題進行了有針對性的規制，從政策反饋的速度來看，監管正在著力促使算法的合法合規，以不損害個人、組織和公共利益、國家安全為前提，力求解決人工智能時代產生的新問題。對于企業來說，算法的開發和使用不僅要合法合規，還要考慮是否可信、負責、符合一般倫理。 參考文獻 [1] 算無遺策，畫無失理？—算法合規在平臺經濟反壟斷中的應用 寧宣鳳、吳涵 [2]反歧視算法責任制：提高AI驅動決策的設計透明度 Adomas Siudika, CIPP/US [3] 被算法“監控”的打工人，這家公司 150 人被算法裁定為“不敬業” AI科技大本營 [4] 論算法的法律規制 丁曉東 [5] 數據和算法監管-平臺反壟斷的核心挑戰 陳際紅 [6] 算法的規制路徑 史宇航 [7] 用信息交換歧視—從“大數據殺熟”看算法運用中的個人信息合規問題 馮堅堅 [8] 人工智能時代算法黑箱的法治化治理 吳椒軍 郭婉兒 [9] 算法來收割，乘客變韭菜：網約車玩大數據“殺熟”2.0版 [10] 自動駕駛汽車交通事故的侵權責任分析—以Uber案為例 黃嘉佳 [11] 人工智能侵權責任劃分—以自動駕駛汽車為視角 馬齊林 簡怡倩 [12] AI監管 用戶數據用于AI模型訓練場景的合規要點初探 王芳 [13] 蔚來陷事故爭議，四問自動駕駛：有多自動，責任判定難在哪？AI前哨站 [14] 倫理即服務：科技倫理與可信AI的下一個浪潮 曹建峰 胡錦浩
