k 2022

Non-biased AI as utopia?: The challenge to produce a non-discriminatory AI technology

ŠMUCLEROVÁ, Martina; Luboš KRÁL and Jan DRCHAL

Basic information

Original name

Non-biased AI as utopia?: The challenge to produce a non-discriminatory AI technology

Name in Czech

Umělá inteligence bez biasu jako utopie?: Výzvy spojené s vytvořením nediskriminační AI technologie

Authors

ŠMUCLEROVÁ, Martina (203 Czech Republic, guarantor, belonging to the institution); Luboš KRÁL and Jan DRCHAL

Edition

International Law and Technological Progress Conference 2022, 2022

Other information

Language

English

Type of outcome

Presentations at conferences

Field of Study

50500 5.5 Law

Country of publisher

United Kingdom of Great Britain and Northern Ireland

Confidentiality degree

is not subject to a state or trade secret

References:

Organization unit

AMBIS University

Keywords in English

Artificial intelligence; human rights; AI risks; international law

Tags

Links

TL05000484, research and development project.
Changed: 16/3/2023 22:42, Bc. Olga Puldová

Abstract

In the original language

The paper presents the findings and recommended remedies based on an interdisciplinary research done by international lawyers and AI experts which proves indispensable to tackle such questions, within the framework of a grant research project „Artificial Intelligence and Human Rights: Risks, Opportunities and Regulation“, supported by the Technological Agency of the Czech Republic. The relation between the AI and human rights is for now double-edged. AI brings great benefits to all sectors of society and strengthens the progress, social well-being and economic competitiveness. At the same time, however, it poses risks to a variety of human rights and fundamental freedoms, be it due to the intrinsic technological processes, human input or its abusive or malicious use in practice. Prohibition of discrimination is one of the outstanding rules being at stake across all types of AI technologies. Predictive justice biased against an ethnical minority? Grant of mortgage discriminating one gender? Denial of access at the airport via facial recognition? These current cases raise the topicality of such an urgent task to be overcome. Ensuring a nonbiased AI technology is an overarching challenge for all regulators and actors of the whole AI life-cycle, in order to offer the society an effective and lawful tool. In order to assure the effective implementation of the human rights norm of the prohibition of discrimination in the AI domain, it is first necessary to identify the root problem of the bias in order to formulate a remedy. The root problem can reside in all phases of the AI-life cycle, starting with the incomplete input data, over biased transfer learning up to a malicious application. Adequately, the remedy is diverse: the problem might be solved via a technical adjustment of, for example, the machine learning procedure, or rules on the processing of data, or a more robust legal interference restricting or banning the development and use of certain AI technologies if the technical remedy is not sufficient. Another challenge of the transposition of the prohibition of discrimination into the AI domain is the quantification of the protected value as well as its (dis)regard: Can AI-based facial recognition system be constructed without taking into account certain external human features? And how to avoid a bias caused by incomplete data? In addition, indirect discrimination multiplies the challenges in view of the difficult technical preliminary detectability of relevant data and links.

In Czech

Příspěvek představuje zjištění a doporučená nápravná opatření vycházející z interdisciplinárního výzkumu provedeného mezinárodními právníky a odborníky na umělou inteligenci, který se ukázal jako nezbytný pro řešení těchto otázek v rámci grantového výzkumného projektu „Umělá inteligence a lidská práva: rizika, příležitosti a regulace“, který podpořila Technologická agentura ČR. Vztah mezi umělou inteligencí a lidskými právy je prozatím dvojsečný. Umělá inteligence přináší velké výhody do všech sektorů společnosti a posiluje pokrok, sociální blahobyt a konkurenceschopnost ekonomiky. Současně však představuje riziko pro celou řadu lidských práv a základních svobod, ať už v důsledku vlastních technologických procesů, lidského vkladu nebo jejího zneužití či použití za nelegálním účelem v praxi. Zákaz diskriminace je jedním z význačných pravidel, která jsou ohrožena napříč všemi typy technologií umělé inteligence. Prediktivní spravedlnost zaujatá proti etnické menšině? Poskytování hypoték diskriminující jedno pohlaví? Odmítnutí vstupu na letiště prostřednictvím rozpoznávání obličeje? Tyto současné případy zvyšují aktuálnost tak naléhavého úkolu, který je třeba překonat. Zajištění nezaujaté technologie umělé inteligence je zastřešující výzvou pro všechny regulační orgány a aktéry celého životního cyklu umělé inteligence, aby společnosti nabídli účinný a legální nástroj. Aby bylo zajištěno účinné provádění lidskoprávní normy zákazu diskriminace v oblasti UI, je nejprve nutné identifikovat základní problém předpojatosti, aby bylo možné formulovat nápravné opatření. Základní problém může spočívat ve všech fázích životního cyklu UI, počínaje neúplnými vstupními údaji, přes neobjektivní transfer learning až po protiprávní aplikaci. Adekvátní náprava je různorodá: problém lze řešit prostřednictvím technické úpravy například postupu strojového učení nebo pravidel pro zpracování dat, případně důraznějším právním zásahem omezujícím nebo zakazujícím vývoj a používání určitých technologií UI, pokud technická náprava není dostatečná. Další výzvou transpozice zákazu diskriminace do oblasti UI je kvantifikace chráněné hodnoty, jakož i její (ne)zohlednění: Může být systém rozpoznávání obličeje založený na UI zkonstruován bez zohlednění určitých vnějších lidských znaků? A jak se vyhnout zkreslení způsobenému neúplnými údaji? Nepřímá diskriminace navíc znásobuje výzvy s ohledem na obtížnou technickou předběžnou zjistitelnost příslušných údajů a vazeb.