澳門城市大學數據科學學院朱天清副院長作為通訊作者的兩篇研究論文“Machine Unlearning via Null Space Calibration”以及“When Fairness Meets Privacy: Exploring Privacy Threats in Fair Binary Classifiers via Membership Inference Attacks”，將在2024年國際人工智能聯合會議（IJCAI）上發表。

圖片來源：IJCAI 2024官網

學術會議介紹

國際人工智能聯合會議（IJCAI），全稱為International Joint Conferences on Artificial Intelligence，是人工智能領域中歷史悠久及國際頂尖的學術會議之一，於1969年舉辦第一屆大會，每年在不同大洲舉辦，今年2024年為第33屆會議。

世界一流學科排名甄選：頂尖學術會議

IJCAI列入軟科世界一流學科排名“學術卓越調查”（Academic Excellence Survey）在計算機科學與工程學科中的頂尖學術會議（Top Conference）。

圖片來源：軟科官網

中國計算機學會：A類會議

IJCAI獲中國計算機學會（China Computer Federation）列入為推薦國際學術會議目錄，並評級為人工智能領域的A類會議。

圖片來源：中國計算機學會官網

兩篇頂會論文題目及摘要

頂會論文1：Machine Unlearning via Null Space Calibration

研究背景

本文旨在從已有模型中刪除特定的訓練數據（即“遺忘樣本”），以保護用戶隱私。現行最簡單的方法，是使用剩餘的樣本重新訓練模型，但這種方式成本太高。因此，現有研究著重於設計高效的遺忘算法，通過修改模型參數來消除遺忘樣本的影響。然而，已有的方法往往忽略了對剩餘樣本的影響，導致遺忘後模型在剩餘樣本上的準確率大幅下降，造成過度遺忘。

研究內容

為解決這問題，作者首先為模型確定一個特殊的零空間，然後在執行遺忘過程中，將梯度投影到此零空間中。由於零空間的屬性，對模型參數的調整不會影響模型對剩餘樣本的預測，有效地解決了過度遺忘。進一步地，通過為“遺忘樣本”分配偽標簽，作者重新分配了原本屬於這些樣本的決策空間，從而提高了模型在剩餘樣本上的準確率。

研究意義

這篇文章為機器遺忘提出了一種新的思路，為在機器學習中保護隱私提出了可行性的解決方案。

圖片來源於網絡

頂會論文2：When Fairness Meets Privacy: Exploring Privacy Threats in Fair Binary Classifiers via Membership Inference Attacks

研究背景

本文深入探討了在追求算法公平性的同時，可能帶來的隱私洩露風險。作者通過對公平性增強二元分類器進行成員推理攻擊，發現這些公平性干預措施意外地提高了模型對現有攻擊的防禦能力。然而，進一步分析發現，現有攻擊方法對二元分類器的有效性較低，因為訓練的攻擊模型往往會退化為簡單的閾值模型。

研究內容

基於這一發現，論文提出了一種名為“公平差異成員推理攻擊”的新穎攻擊方法。該方法通過利用公平模型和偏差模型之間的預測差異，可以更有效地推斷出訓練數據的成員身份，從而對模型隱私構成重大威脅。論文針對多個數據集、攻擊方法和公平性方法進行了大量實驗驗證，結果證實了作者的發現和所提出攻擊方法的有效性。

研究意義

這項研究揭示了，在公平性研究中被忽視的隱私威脅，敦促在模型部署之前，需對潛在的安全漏洞進行徹底評估。該論文對於建立可信賴的人工智能系統也具有實際指導價值。

圖片來源於網絡

朱天清教授學術聯繫方式：

WOS ResearcherID：GYE-6125-2022

Scopus ID：9737124100

ORCID：0000-0003-3411-7947

Email：tqzhu@cityu.edu.mo