A language modeling approach to detect bias

Abstract

Technology is developing day by day and is involved in every area of our lives. Technological innovations such as artificial intelligence can strengthen social biases that already exist in society, regardless of the developers' intentions. Therefore, researchers should be aware of this ethical issue. In this thesis, the effect of gender bias, which is one of the social biases, on occupation classification is investigated. For this, a new dataset was created by collecting obituaries from the New York Times website and they were handled in two different versions, with and without gender indicators. Since occupation and gender are independent variables, gender indicators should not have an impact on the occupation prediction of models. In this context, in order to investigate gender bias on occupation estimation, a model in which occupation and gender are learned together is evaluated as well as models that make only occupation classification are evaluated. The results obtained from models state that gender bias has a role in classification occupation.

Teknoloji günden güne gelişerek hayatımızın her alanına dahil olmaktadır. Yapay zekâ gibi teknolojik yenilikler, geliştiricilerin niyetlerinden bağımsız olarak toplumda zaten var olan sosyal önyargıları güçlendirebilir. Bu nedenle, araştırmacılar bu etik sorunun farkında olmalıdır. Bu tez çalışmasında, sosyal önyargılardan biri olan cinsiyet yanlılığının meslek sınıflandırması üzerindeki etkisi araştırılmaktadır. Bunun için New York Times web sitesinden anma yazıları toplanarak yeni bir veri kümesi oluşturulmuş ve bu anma yazıları cinsiyet göstergeleri dahil ve hariç olmak üzere iki farklı versiyonuyla ele alınmıştır. Meslek ve cinsiyet birbirinden bağımsız değişkenler olduğu için cinsiyet göstergelerinin modellerin meslek tahmini üzerinde bir etkisi olmadığı varsayılmaktadır. Bu bağlamda, meslek tahmini üzerinde cinsiyet yanlılığını araştırmak için sadece meslek sınıflandırması yapan modellerin yanında meslek ve cinsiyetin aynı anda öğrenildiği bir model de değerlendirilmiştir. Deneysel sonuçlar meslek tahmininde cinsiyet yanlılığının etkili olduğunu ortaya koymaktadır