Przejrzystość — oś oceny Standardu PACT

Co chroni ta oś.

Przejrzystość chroni świadomy wybór, właściwe wykorzystanie, odpowiedzialność i dostęp do środka naprawczego. Powinna ujawniać obecność AI, pełnioną funkcję, informacje kształtujące wynik, obszary niewiarygodności systemu i sposób zakwestionowania tego, co się wydarzyło.

Nie oznacza to żądania publikacji każdego parametru modelu, zbioru danych ani wiersza kodu. Więcej ujawnień może prowadzić do mniejszego zrozumienia. Ocena powinna sprawdzać, czy informacje są prawidłowe, przekazane na czas, dostępne i dopasowane do roli odbiorcy oraz konsekwencji decyzji.

Przejrzysty system ujawnia swoją rolę, pozwala zrozumieć ograniczenia i otwiera wyniki na rzeczywiste zakwestionowanie.

Trzy grupy odbiorców potrzebują różnych dowodów.

Osoby, których dotyczy system. Muszą wiedzieć, że AI miało udział w procesie, jaki był cel jego użycia, które główne czynniki wpłynęły na ich wynik, jakie są konsekwencje oraz jak uzyskać przegląd przez człowieka lub złożyć skargę.
Osoby obsługujące system. Potrzebują instrukcji, granic zamierzonego użycia, ograniczeń wydajności, wymagań dotyczących danych wejściowych, wskazówek o niepewności, środków nadzoru oraz informacji o rejestrowaniu i utrzymaniu.
Osoby zarządzające systemem lub go audytujące. Potrzebują możliwości prześledzenia danych, modeli, dostawców, wersji, decyzji, testów, incydentów, zmian i zaakceptowanego ryzyka rezydualnego.

Gdzie przejrzystość najczęściej zawodzi.

Informacja przekazana w złym momencie. Ogólna polityka prywatności wspomina o AI, ale osoba nie widzi jasnego komunikatu w chwili istotnej interakcji.
Etykieta bez wyjaśnienia roli. Określenie „wspierane przez AI” pojawia się bez wyjaśnienia, czy system tworzy treść, szereguje opcje, przewiduje ryzyko czy decyduje o dostępie.
Szczegół techniczny bez znaczenia. Nazwy modeli, wyniki dokładności lub listy funkcji są podawane bez wyjaśnienia praktycznych ograniczeń i możliwych dalszych działań.
Fałszywa precyzja. Wyniki i prawdopodobieństwa są prezentowane bez kalibracji, informacji o niepewności, ograniczeniach populacji ani kosztach różnych błędów.
Wyjaśnienie po fakcie. Ogólny opis systemu jest przedstawiany tak, jakby wyjaśniał czynniki istotne dla indywidualnego wyniku.
Nieprzejrzystość dostawcy. Ograniczenia umowne lub dotyczące własności intelektualnej uniemożliwiają podmiotowi wdrażającemu uzyskanie informacji potrzebnych do wypełnienia własnych obowiązków.
Nieaktualna dokumentacja. Komunikaty, instrukcje i wyjaśnienia opisują wcześniejszy model, zbiór danych, próg lub kontekst użycia.

Pytania oceny.

Gdzie i kiedy ludzie są informowani, że wchodzą w interakcję z AI lub że AI istotnie wpływa na decyzję ich dotyczącą?
Czy komunikat prostym językiem wyjaśnia cel, rolę i konsekwencje systemu oraz wskazuje odpowiedzialną organizację?
Czy osoba, której dotyczy wynik, może zrozumieć główne istotne czynniki i odróżnić je od ogólnych informacji o systemie?
Czy wyjaśnienie jest wystarczająco konkretne, by umożliwić korektę, zakwestionowanie lub ponowne rozpatrzenie przez człowieka?
Czy operatorzy znają zamierzone i zakazane zastosowania, znane ograniczenia, założenia dotyczące danych wejściowych, niepewność i wymagania nadzoru?
Czy organizacja może prześledzić, który system, model, źródło danych, wersja i próg przyczyniły się do konkretnego wyniku?
Czy komunikacja jest dostępna dla osób z niepełnosprawnościami, dopasowana do potrzeb językowych i poziomu kompetencji oraz — gdy to konieczne — dostępna kanałami niecyfrowymi?
Czy proces zmiany aktualizuje wszystkie komunikaty, instrukcje i wyjaśnienia przed użyciem zmienionego systemu?

Dowody do zebrania.

Macierz odbiorców: Dla każdej osoby, której dotyczy system, operatora, decydenta, audytora i regulatora: co musi wiedzieć, kiedy otrzymuje informację, w jakim formacie i kto odpowiada za jej aktualność.
Komunikaty w miejscu użycia: Kopie i zrzuty komunikatów w rzeczywistym punkcie interakcji, w tym dostępne i niecyfrowe alternatywy.
Wyjaśnienie wyniku: Przetestowany wzór łączący główne istotne czynniki, ograniczenia i dalsze kroki z konkretnym wynikiem, bez ujawniania danych innej osoby.
Instrukcje użytkowania: Cel, możliwości, granice działania, przewidywalne niewłaściwe użycie, warunki wejściowe, wskazówki interpretacyjne, środki nadzoru, utrzymanie i rejestrowanie.
Rejestr identyfikowalności: Pochodzenie danych i modeli, historia dostawców i wersji, konfiguracja, progi, logi, odpowiedzialność za decyzje i dokumentacja zmian.
Testy zrozumienia: Dowody od reprezentatywnych użytkowników, że informacja jest zauważana i rozumiana, w tym od osób z istotnymi potrzebami w zakresie dostępności i języka.

Progi decyzyjne.

Kontynuuj: Udział AI jest ujawniany we właściwym czasie; wyjaśnienia wspierają świadome użycie i możliwość zakwestionowania; operatorzy rozumieją ograniczenia; zapisy pozwalają odtworzyć istotny wynik.
Kontynuuj warunkowo: Luki dotyczą określonej grupy odbiorców lub kanału i mogą zostać usunięte przed narażeniem, przy wskazanym właścicielu, terminie i tymczasowym ograniczeniu użycia.
Zatrzymaj lub przeprojektuj: Organizacja nie potrafi wyjaśnić roli systemu, uzyskać niezbędnych informacji od dostawcy, odtworzyć wyniku, ostrzec użytkowników o istotnych ograniczeniach ani zapewnić zrozumiałej drogi zakwestionowania.

Testuj zrozumienie, nie sam fakt publikacji. Zapytaj reprezentatywne osoby, co ich zdaniem robi system, które informacje miały znaczenie, co może być błędne i jak zakwestionowałyby wynik. Samo istnienie dokumentu nie dowodzi, że przejrzystość działa.

Kontrole cyklu życia.

Przed pierwszym użyciem

Zmapuj odbiorców i decyzje, przygotuj warstwowe informacje, przetestuj zrozumienie i potwierdź, że warunki zakupu pozwalają organizacji uzyskać to, co musi ujawnić lub wyjaśnić.

Podczas działania

Monitoruj pytania bez odpowiedzi, tematy skarg, prośby o wyjaśnienia i niewłaściwe użycie przez operatorów. Sprawdzaj próbkowo, czy komunikaty pojawiają się we właściwym momencie i czy logi pozwalają odtworzyć rzeczywiste wyniki.

Gdy zmieniają się warunki

Aktualizuj komunikaty i instrukcje po każdej zmianie celu, modelu, danych, dostawcy, interfejsu, progu, możliwości lub objętej populacji. Niezapowiedziane zmiany zachowania traktuj jako incydenty zarządcze.

Źródła i dalsza lektura.

Źródła pierwotne i instytucjonalne przeanalizowane na potrzeby tego dokumentu roboczego. Zastosowanie prawne należy ocenić dla konkretnego systemu i kontekstu.