Niedyskryminacja — oś oceny Standardu PACT

Co chroni ta oś.

Niedyskryminacja chroni równą godność, traktowanie i dostęp. Pyta, czy proces wykorzystujący AI odtwarza dyskryminację bezpośrednią lub pośrednią, tworzy nowe bariery albo nierówno rozdziela błędy i szanse między grupami chronionymi i marginalizowanymi.

Stronniczość może wejść przez wybrane pytanie, historyczne decyzje, etykiety, brakujące dane, pomiar, zmienne zastępcze, cele optymalizacji, projekt interfejsu i warunki wdrożenia. Może też pojawić się po uruchomieniu przez pętle sprzężenia zwrotnego: ludzie otrzymują mniej szans, generują mniej korzystne dane, a następnie są traktowani jako dowód, że wcześniejsza decyzja była prawidłowa.

Sprawiedliwość nie jest właściwością modelu rozpatrywanego w izolacji. Jest osądem dotyczącym ludzi, wyników i władzy w konkretnym kontekście.

Analizuj cały łańcuch decyzyjny.

Definicja problemu. Zapytaj, czy cel jest uzasadniony, mierzalny i powiązany z rzeczywistą decyzją. Precyzyjna zmienna zastępcza dla niesprawiedliwego celu pozostaje niesprawiedliwa.
Reprezentacja i jakość. Zbadaj, kto jest obecny, nieobecny lub słabo mierzony; dla których języków, niepełnosprawności i grup intersekcjonalnych istnieją odpowiednie dowody; oraz czyja historia definiuje „normalność”.
Etykiety i wyniki. Ustal, czy etykiety odzwierciedlają rzeczywistość, czy wcześniejsze wybory instytucjonalne, nierówny dostęp, wybiórcze egzekwowanie lub stronniczy ludzki osąd.
Rozkład błędów. Porównuj rodzaje błędów istotne w danym kontekście. Wyniki fałszywie dodatnie i fałszywie ujemne mogą nakładać bardzo różne obciążenia na różne grupy.
Dostęp i interakcja. Uwzględnij niepełnosprawność, język, łączność, kompetencje, wymagania dokumentacyjne i dostępność drogi niecyfrowej.
Sprzężenie zwrotne i środki naprawcze. Sprawdź, czy wyniki wzmacniają przyszłą niekorzystną sytuację oraz czy ludzie mogą poprawić dane, zakwestionować decyzje i uzyskać rzeczywiste zadośćuczynienie.

Gdzie niedyskryminacja najczęściej zawodzi.

Średnia wydajność przedstawiana jako sprawiedliwość. Ogólna dokładność ukrywa mniejsze grupy, rzadkie przypadki i nierówne koszty błędów.
Pojedynczy wskaźnik bez wyboru normatywnego. Zespoły wybierają miarę równości bez wyjaśnienia, dlaczego pasuje do danego prawa, decyzji i szkody.
Usunięte cechy chronione, zachowane zmienne zastępcze. Lokalizacja, wykształcenie, język, historia zatrudnienia lub zachowanie mogą odtwarzać wzorce związane z cechami chronionymi lub sytuacją społeczno-ekonomiczną.
Małe próby traktowane jak brak problemu. Niewystarczające dowody są raportowane jako równość, zamiast jako niepewność ograniczająca wdrożenie.
Niedopasowany benchmark. Zakłada się, że model zwalidowany w innym kraju, języku, instytucji lub populacji zadziała bez lokalnych dowodów.
Dostępność ograniczona do zgodności. Sprawdza się zgodność techniczną bez obserwacji, czy osoby z niepełnosprawnościami mogą samodzielnie wykonać rzeczywiste zadanie.
Ograniczanie ryzyka kończy się przy uruchomieniu. Po wdrożeniu nikt nie monitoruje rzeczywistych wyników, skarg, odstępstw ani kumulujących się pętli sprzężenia zwrotnego.

Pytania oceny.

Których decyzji, korzyści, obciążeń i praw dotyczy system oraz które grupy są narażone na prawdopodobne bezpośrednie, pośrednie lub intersekcjonalne pogorszenie sytuacji?
Jakie historyczne lub instytucjonalne nierówności mogą być zakodowane w celu, etykietach, zbieraniu danych lub procesie bazowym?
Czy dane są wystarczająco reprezentatywne i wiarygodne dla każdej istotnej populacji, języka, niepełnosprawności i kontekstu wdrożenia?
Które rodzaje błędów powodują określone szkody i jak wydajność, niepewność oraz wyniki różnią się między istotnymi grupami?
Dlaczego wybrano dane miary sprawiedliwości, jakie kompromisy tworzą i kto zatwierdził decyzję normatywną?
Czy pozornie neutralne cechy, progi, procedury lub wymagania dostępu mogą stawiać grupę chronioną w gorszej sytuacji?
Czy ludzie mogą skorzystać z dostępnej alternatywy, poprawić dane, poprosić o dostosowanie i uzyskać przegląd przez człowieka bez dodatkowej kary lub opóźnienia?
Jak organizacja wykryje pętle sprzężenia zwrotnego, pojawiające się nierówności i szkody, których nie przewidziały testy ilościowe?

Dowody do zebrania.

Mapa wpływu: Decyzja, objęte grupy, chronione prawa, potencjalna dyskryminacja bezpośrednia i pośrednia, ryzyko intersekcjonalne, konsekwencje błędów i istniejące nierówności.
Dokumentacja danych: Pochodzenie, kontekst zbierania, pokrycie populacji, braki, jakość etykiet, analiza zmiennych zastępczych, ograniczenia językowe i dostępności wraz z wyraźnie wskazaną niepewnością.
Analiza wyników: Istotne kontekstowo miary wydajności i błędów według grup oraz ich przecięć, gdy jest to zgodne z prawem, statystycznie uzasadnione i niezbędne, wraz z przedziałami ufności i ograniczeniami prób.
Dowody jakościowe: Ustrukturyzowany wkład osób objętych skutkami, organizacji przedstawicielskich, pracowników pierwszej linii, specjalistów dostępności oraz niezależnych ekspertów ds. równości lub danej dziedziny.
Rejestr działań ograniczających: Zmiany celu, danych, cech, progów, interfejsu, przeglądu przez człowieka lub drogi dostępu oraz ponowna walidacja pokazująca korzyści i nowe kompromisy.
Środki naprawcze i monitorowanie: Dostępne procedury odwołania, korekty i dostosowania; monitorowanie skarg i wyników; progi eskalacji i uprawnienie do ograniczenia lub zatrzymania użycia.

Progi decyzyjne.

Kontynuuj: Cel jest uzasadniony; dowody obejmują istotne grupy i konteksty; znaczące nierówności są rozumiane i kontrolowane; dostęp, dostosowanie, przegląd i monitorowanie działają.
Kontynuuj warunkowo: Luki dowodowe są ograniczone przez węższy zakres, dodatkowy przegląd człowieka, dostępne alternatywy lub monitorowany pilotaż, który nie naraża ludzi na nieodwracalną szkodę.
Zatrzymaj lub przeprojektuj: Cel lub zmienna zastępcza zawierają bezprawną lub nieuzasadnioną nierówność; istotnych rozbieżności nie można zmierzyć ani ograniczyć; w dowodach brakuje ważnych grup; albo osoby objęte skutkami nie mają praktycznej alternatywy i środka naprawczego.

Przetwarzaj dane chronione zgodnie z prawem. Nie zbieraj ani nie wywnioskuj cech chronionych tylko dlatego, że byłyby przydatne w testowaniu stronniczości. Najpierw ustal ważną podstawę prawną, niezbędność, zabezpieczenia i sposób zarządzania. Jeśli zgodny z prawem pomiar nie jest możliwy, zapisz niepewność i ogranicz użycie; nie zakładaj, że system jest sprawiedliwy.

Kontrole cyklu życia.

Przed pierwszym użyciem

Zdefiniuj pytanie o równość, zmapuj objęte grupy, oceń ryzyko danych i zmiennych zastępczych, wybierz miary właściwe dla kontekstu, przetestuj dostępność i zaangażuj osoby, które prawdopodobnie poniosą największy ciężar.

Podczas działania

Monitoruj rzeczywiste wyniki, nie tylko wskaźniki modelu. Analizuj różnice w zatwierdzeniach, błędach, odwołaniach, czasie oczekiwania, rezygnacjach, odstępstwach, dostosowaniach i skargach, w tym zmiany powodowane przez pętle sprzężenia zwrotnego.

Gdy zmieniają się warunki

Powtórz ocenę po zmianach populacji, języka, polityki, celu, progu, danych, interfejsu, kanału usługi lub warunków ekonomicznych. System może stać się dyskryminujący, gdy zmienia się otaczająca go instytucja.

Źródła i dalsza lektura.

Źródła pierwotne i instytucjonalne przeanalizowane na potrzeby tego dokumentu roboczego. Zastosowanie prawne należy ocenić dla konkretnego systemu i kontekstu.