Responsible Auditing: Privacy Constrained Fairness Estimation for Decision Trees

Abstract

Gegevensbescherming en privacy worden steeds crucialer naarmate gegevens waardevoller en potentieel krachtiger worden. Bovendien neemt de druk van regelgeving en de samenleving toe op ontwikkelaars van Artificial Intelligence (AI) modellen om ervoor te zorgen dat hun modellen niet discriminerend zijn. Ten slotte is er behoefte aan interpreteerbare, transparante AI modellen voor taken met grote belangen. Over het algemeen vereist het meten van de fairness van ieder AI model de gevoelige kenmerken van de individuen in de dataset, waardoor privacy dus in het gedrang komt. In dit werk worden de afwegingen tussen fairness, privacy en interpreteerbaarheid verder onderzocht. We onderzoeken specifiek de Statistical Parity (SP) van beslisbomen door middel van Differentiële Privacy (DP). Dit zijn alle drie populaire methodes in hun respectievelijke onderzoeksvelden. We stellen een methode voor, genaamd Privacy-Aware Fairness Estimation of Rules (PAFER), die SP kan schatten terwijl rekening wordt gehouden met DP voor op beslisbomen. DP, waarbij gebruik wordt gemaakt van een derde partij die veilig omgaat met deze gevoelige gegevens, garandeert privacy door ruis toe te voegen aan de gevoelige gegevens. Verschillende ruis mechanismen voor DP worden empirisch vergeleken. We laten experimenteel zien dat met behulp van het Laplace-mechanisme de methode in staat is om SP met een lage fout te schatten, terwijl de privacy van de individuen in de dataset met grote zekerheid wordt gegarandeerd. We tonen ook experimenteel en theoretisch aan dat de methode beter presteert voor beslisbomen die beter interpreteerbaar zijn.