Managing Necessary Bias in AI

April 11, 2024
switch to THswitch to EN

Managing Necessary Bias in AI

Carnegie Mellon University has been studying AI technology since 65 years ago, and we acknowledged its great ability to perform complex tasks like making decisions after analyzing a huge number of data. However, we discovered that AI also has “bias” whenever it makes decisions on some matters. In fact, some biases in AI can be beneficial for business requirements, but for some social contexts, they are not. 

For instance, there are hundreds of applications for jobs submitted to a company, so the question is: Who are appropriate for the positions? Similarly, if a criminal is released from prison early, will he/she become a repeat offender? Here, with the decision-making ability, AI can answer those questions by analysing the data given. But how can we manage the biases that are in the data sets that AI uses?

Sanghamitra Dutta, a doctoral candidate in electrical and computer engineering (ECE) at Carnegie Mellon University said that, “AI decisions are tailored to the data that is available around us, and there have always been biases in data, with regards to race, gender, nationality, and other protected attributes. When AI makes decisions, it inherently acquires or reinforces those biases.”

“For instance, zip codes have been found to propagate racial bias. Similarly, an automated hiring tool might learn to downgrade women’s resumes if they contain phrases like “women’s rugby team,” say Dutta. To address this, a large body of research has developed in the past decade that focuses on fairness in machine learning and removing bias from AI models.

“However, some biases in AI might need to be exempted to satisfy critical business requirements,” says Pulkit Grover, a professor in ECE who is working with Dutta to understand how to apply AI to fairly screen job applicants, among other applications.

“At first, it may seem strange, even politically incorrect, to say that some biases are okay, but there are situations where common sense dictates that allowing some bias might be acceptable. For instance, firefighters need to lift victims and carry them out of burning buildings. The ability to lift weight is a critical job requirement,” says Grover.

Grover indicated that if we seek for someone who is able to lift heavy weight, men will usually be our first choice. That is a bias. “This is an example where you may have bias, but it is explainable by a safety-critical, business necessity,” says Grover.

“The question then becomes how do you check if an AI tool is giving a recommendation that is biased purely due to business necessities and not other reasons.” 

The Novel Measure for Managing Necessary Bias in AI

Undeniably, since AI has entered to our lives, it has greatly facilitated our social development. AI, furthermore, has proved its great ability to identify patterns in the data. However, bias in AI is also a serious point that people have to consider because it can highly affect our society. Thus, AI should be able to explain and defend its results. With the novel measure, the team is able to train AI to eliminate biases towards some social contexts, but keep those biases that are beneficial for business necessary.

Furthermore, Dutta also indicated that despite some technical challenges, their measure has demonstrated its effectiveness. However, there are some points that the team need to consider: how can their model automatically determine which features are business critical.  Dutta explained that, “Defining the critical features for a particular application is not a mere math problem, which is why computer scientists and social scientists need to collaborate to expand the role of AI in ethical employment practices.” 

In addition to Dutta and Grover, the research team consists of Anupam Datta, professor of ECE; Piotr Mardziel, systems scientist in ECE; and Ph.D. candidate Praveen Venkatesh.

Retrieved from:

จัดการความ "อคติ" ของปัญญาประดิษฐ์

เมื่อพูดถึงปัญญาประดิษฐ์หรือ AI  แล้ว มหาวิทยาลัยเทคโนโลยีระดับโลก “คาร์เนกีเมลลอน” ได้ศึกษาเทคโนโลยีดังกล่าวเป็นเวลามากกว่า 65 ปี และเราได้ยอมรับประสิทธิภาพของมัน ในการทำงานที่ยากและซับซ้อน เช่นการวิเคราะห์ตัดสินใจจากการคำนวณข้อมูลจำนวนมหาศาล  อย่างไรก็ตาม ปัญญาประดิษฐ์กลับมีสิ่งหนึ่งที่คล้ายคลึงกับเราเป็นอย่างมาก นั่นคือการที่มันมี “อคติ” แน่นอนว่าในแง่ของภาคธุรกิจ อคติของปัญญาประดิษฐ์อาจสร้างผลประโยชน์ได้ แต่ในแง่ของบริบททางสังคมอื่น ๆ มันอาจจะไม่

เพื่อให้ผู้อ่านได้เห็นภาพ... ปัจจุบันบริษัทชั้นนำของประเทศต่างได้รับจดหมายสมัครงานมากกว่าร้อยฉบับต่อวัน คำถามก็คือ “ใครคือผู้มีคุณสมบัติตรงตามความต้องการของบริษัท” ในทำนองเดียวกัน หากอาชญากรได้รับการปล่อยตัวก่อนกำหนด เขาคนนั้นมีสิทธ์กลับมาก่อเหตุซ้ำหรือไม่  ปัญญาประดิษฐ์สามารถให้คำตอบแก่คำถามเหล่านี้ได้ง่าย ๆ จากการวิเคราะห์ข้อมูลที่มันได้รับมา เพียงแต่ว่าข้อมูลที่ได้รับอาจสร้างความอคติให้แก่ปัญญาประดิษฐ์ได้
ดังนั้นเราจะจัดการกับความอคติที่อยู่ในข้อมูลนั้น ๆ ได้อย่างไร



Sanghamitra Dutta นักศึกษาปริญญาเอกจากภาควิชาวิศวกรรมไฟฟ้าและคอมพิวเตอร์ (ECE) มหาวิทยาลัยคาร์เนกีเมลลอน กล่าวว่า “ข้อมูลต่าง ๆ ตามบริบทรอบตัวของเรามีผลอย่างมากกับการตัดสินใจของ AI และข้อมูลเหล่านี้มักจะมีความอคติเสมอ เช่น ข้อมูลที่เกี่ยวข้องกับ เชื้อชาติ เพศ สัญชาติ หรือ คุณลักษณะเฉพาะบุคคลอื่น ๆ  นั่นหมายความว่าเมื่อไหร่ก็ตามที่ AI ตัดสินใจ มันมักจะรับหรือสนับสนุนข้อมูลที่มีอคติเหล่านั้นโดยอัตโนมัติ”

“ยกตัวอย่างเช่น เราค้นพบว่าข้อมูลจำพวกรหัสไปรษณีย์มักมีการสื่อให้เห็นถึงอคติทางด้านเชื้อชาติ ในทำนองเดียวกัน ระบบจ้างงานแบบอัตโนมัติมักจะให้เกณฑ์ขั้นต่ำแก่ใบสมัครงานของผู้หญิงที่มีการใส่ข้อความว่า “อยู่ทีมรักบี้ผู้หญิง” ซึ่งนั่นเป็นอคติทางเพศ” Dutta กล่าว 

ด้วยเหตุนี้ ในช่วงหลายสิบปีที่ผ่านมา จึงมักมีงานวิจัยจำนวนมหาศาลที่มุ่งหวังจะพัฒนาให้ AI หรือ machine learning สามารถลบล้างอคติออกไป และสร้างความยุติธรรมขึ้นมาได้

“อย่างไรก็ตาม อคติบางอย่างของ AI อาจสร้างผลประโยชน์ในแง่ของความต้องการทางธุรกิจ” Pulkit Grover ศาสตราจารย์ภาควิชา ECE ที่ทำงานร่วมกับ Dutta กล่าว

“ณ ตอนแรก มันอาจจะดูแปลกหากเราพูดว่าอคติบางอย่างของ AI สามารถยอมรับได้ แต่มันเป็นอย่างนั้นจริง ๆ ยกตัวอย่างกรณีของอาชีพนักดับเพลิงที่ต้องใช้พละกำลังในการช่วยเหลือผู้ประสบภัย อย่างการอุ้มพวกเขาออกจากตัวอาคาร เท่ากับว่าทักษะการใช้พละกำลังเป็นสิ่งจำเป็นต่อการสมัครเป็นนักดับเพลิง” แง่มุมดังกล่าวคือตัวอย่างของการใช้อคติที่เป็นประโยชน์ (ทักษะการใช้พละกำลังมักลำเอียงไปทางผู้ชาย) 

“คำถามก็คือ เราจะตรวจสอบได้อย่างไรว่า AI ให้ข้อมูลที่เป็นอคติเฉพาะแง่ของภาคธุรกิจเท่านั้น ไม่ใช่แง่อื่น” 


เราไม่อาจปฎิเสธได้ว่า เมื่อ AI ได้ก้าวเข้ามามีบทบาทสำคัญต่อชีวิตเรา มันได้ช่วยในเรื่องการพัฒนาสังคมเป็นอย่างมาก  AI ยังได้พิสูจน์ถึงความสามารถที่น่าทึ่งในการแยกแยะรูปแบบที่หลากหลายของข้อมูล อย่างไรก็ตาม ในเรื่องการวิเคราะห์และตัดสินใจ ผลลัพธ์ของมันอาจมีอคติเนื่องด้วยการ “stereotyping” ดังนั้น AI ควรจะต้องอธิบายและแก้ต่างให้ได้ว่าทำไมมันถึงตัดสินใจแบบนั้น 

ดังนั้น ทีมวิจัยจึงได้คิดค้นมาตรการที่จะสามารถฝึกฝนให้ AI สามารถลบล้างอคติของมันที่มีต่อบริบทสังคมต่าง ๆ ได้ ในขณะเดียวกันก็เก็บอคติที่มีประโยชน์ต่อแง่ธุรกิจเอาไว้

นอกเหนือจากนี้ Dutta กล่าวว่า ถึงแม้จะมีปัญหาทางเทคนิคอยู่บ้าง แต่ทีมก็ได้พิสูจน์ว่ามาตรการของพวกเขามีประสิทธิภาพ  ทว่า ก็อาจจะมีประเด็นบางอย่างที่ทีมควรจะต้องเก็บไปพิจารณา ซึ่งหลัก ๆ ก็คือ “โมเดล AI ของพวกเขาจะสามารถแยกแยะได้อย่างไร ว่ารูปแบบไหนคือรูปแบบของธุรกิจอย่างอัตโนมัติ ” Dutta กล่าวว่า “การนิยามงานรูปแบบต่าง ๆ ไม่ได้เป็นเรื่องทางคณิตศาสตร์ ฉะนั้นนักวิทยาศาสตร์คอมพิวเตอร์จึงต้องร่วมมือกับนักวิทยาศาสตร์สังคม เพื่อขยายหน้าที่ของ AI ในคำนึงเรื่องของจริยธรรมด้วย”

นอกเหนือจาก Dutta และ Grover แล้ว  ทีมวิจัยยังประกอบไปด้วย Anupam Datta ศาสตราจารย์ภาควิชา ECE, Piotr Mardziel นักวิทยาศาสตร์ System ภาควิชา ECE, และ Praveen Venkatesh นักศึกษาปริญญาเอก

Retrieved from:

Written By: