澳門城市大學數據科學學院朱天清副院長為通訊作者、朱聰聰助理教授為合作者研究成果“Reinforcement Unlearning”將在信息安全領域國際頂級會議NDSS 2025上發表。NDSS (Network and Distributed System Security Symposium) 由互聯網協會（Internet Society, ISOC）主辦，專注於網絡與分布式系統安全領域的前沿研究，包括論文、系統研究和應用案例等。NDSS 會議涵蓋廣泛的安全研究方向，如網絡安全、系統安全、隱私保護、惡意軟件分析、協議安全等，在學術界和工業界均具有極高的影響力和權威性。

根據中國計算機學會（CCF）推薦國際學術會議列表中，NDSS被列爲 A 類國際學術會議，與 IEEE S&P、ACM CCS 和 USENIX Security 並列為信息安全領域的四大頂級會議。

圖自中國計算機學會（CCF）官網

強化學習遺忘算法革新與隱私保護新範式

研究背景及意義

遺忘學習（Machine Unlearning）旨在消除特定數據對模型的影響，已廣泛應用於數據隱私保護和安全性增强。儘管監督和無監督學習中的遺忘方法較爲成熟，强化學習（RL）遺忘問題尚未被充分研究。RL智能體在訓練過程中會記住環境特徵，可能導致隱私洩露，因此環境所有者可能要求智能體遺忘其訓練環境。與傳統機器遺忘不同，RL遺忘涉及整個環境，而非單個數據點，帶來設計方法、保持性能及評估效果的挑戰。本研究填補這一空白，提出有效的遺忘方法，並探討其安全性影響。

圖：The interaction between agent learning and model owner poisoning

研究內容

因此，本文提出了兩種强化學習遺忘方法：遞减RL方法和環境污染方法。遞减RL方法通過减少智能體在目標環境中的獎勵逐步促使其遺忘環境，而環境污染方法則通過修改環境狀態轉移函數來引導智能體學習錯誤信息以覆蓋原有知識。此外，本文還提出了環境推理攻擊模型來評估遺忘效果。通過實驗，本文驗證了兩種方法能有效降低智能體在目標環境中的表現，同時保持在其他環境中的穩定性能。

圖：The schematic diagram of the environment poisoning-based method

圖：The schematic diagram of the decremental reinforcement learning-based method

全文鏈接

https://www.ndss-symposium.org/ndss-paper/reinforcement-unlearning/，或可掃瞄以下二維碼查看文章詳情！

朱天清教授學術聯繫方式：

WOS ResearcherID：KHD-2106-2024

Scopus ID：9737124100

ORCID：0000-0003-3411-7947

Email：tqzhu@cityu.edu.mo