Wpływ społeczny — oś oceny Standardu PACT

Co chroni ta oś.

Ocena wpływu społecznego chroni ludzi i społeczności przed szkodami niewidocznymi wtedy, gdy ewaluacja kończy się na pojedynczej prognozie. System może traktować każdy przypadek spójnie, a jednocześnie ograniczać dostęp do usługi publicznej, intensyfikować pracę, osłabiać profesjonalny osąd, wykluczać użytkowników niecyfrowych, koncentrować władzę dostawcy lub przesuwać zasoby od osób najbardziej ich potrzebujących.

Ta oś ocenia zamierzone korzyści i niekorzystne skutki w całym cyklu życia. Obejmuje wpływy bezpośrednie, pośrednie i kumulacyjne; skalę, zakres, czas trwania i odwracalność zmiany; oraz rozkład korzyści i obciążeń. Korzyści nie unieważniają naruszeń praw. Należy je badać równolegle z minimalnymi zabezpieczeniami innych osi, a nie wymieniać jedne na drugie.

Właściwe pytanie brzmi nie tylko „czy system działa?”, lecz także „jaką instytucję i społeczność tworzy jego użycie?”.

Oceń sześć obszarów zmiany.

Dostęp i włączenie. Wpływ na dostępność, kwalifikowalność, przystępność cenową, język, niepełnosprawność, wykluczenie cyfrowe, czas oczekiwania i możliwość skorzystania z drogi niecyfrowej.
Praca i umiejętności. Jakość pracy, autonomia, obciążenie, nadzór, tempo, utrata umiejętności, przekwalifikowanie, przydział zadań, głos pracowników i warunki w szerszym łańcuchu wartości AI.
Dobrostan i relacje. Stres, godność, zaufanie, izolacja, zależność, narażenie na szkodliwe treści i zmiany relacji między pracownikami, instytucjami i społecznościami.
Władza instytucjonalna. Odpowiedzialność, profesjonalna swoboda osądu, możliwość kwestionowania, zależność zakupowa, koncentracja wiedzy i zdolność wycofania się lub zmiany dostawcy.
Demokracja i informacja. Uczestnictwo, debata publiczna, pluralizm, dostęp do wiarygodnych informacji, przestrzeń obywatelska i nierówna zdolność wpływania na sposób zarządzania systemem.
Środowisko i zasoby. Energia, woda, sprzęt, surowce, emisje, odpady, zapotrzebowanie na lokalną infrastrukturę oraz możliwość osiągnięcia tej samej wartości publicznej mniejszą metodą lub rozwiązaniem bez AI.

Gdzie ocena wpływu społecznego zawodzi.

Technologia jako odpowiedź z góry. Organizacja porównuje modele, ale nigdy nie porównuje AI z reformą procesu, dodatkowym personelem, prostszą regułą lub brakiem interwencji.
Korzyści policzone, obciążenia jedynie opisane. Wydajność jest kwantyfikowana, podczas gdy czas, wykluczenie, stres, utrata umiejętności i wykorzystanie środowiska pozostają anegdotyczne.
Konsultacje po podjęciu zobowiązania. Osoby objęte skutkami są zapraszane do reakcji dopiero po ustaleniu zakupu, budżetu i miar sukcesu.
Uwzględnieni tylko bezpośredni użytkownicy. Rodziny, pracownicy pierwszej linii, osoby niekorzystające z systemu, społeczności, dostawcy i ludzie reprezentowani w danych pozostają poza mapą interesariuszy.
Krótki pilotaż ukrywa skutki kumulacyjne. Testy nie ujawniają zależności, pętli sprzężenia zwrotnego, wypierania pracy ani zmian zachowania instytucji, które pojawiają się przy większej skali.
Korzyść z wydajności zatrzymana przez instytucję. Czas zaoszczędzony dzięki automatyzacji zwiększa liczbę spraw lub zakres monitorowania zamiast poprawiać jakość usługi, dostęp lub warunki pracy.
Brak scenariusza wycofania. Organizacja nie potrafi oszacować, co stanie się z ludźmi, pracą i dokumentacją, jeśli zniknie narzędzie, dostawca lub finansowanie.

Pytania oceny.

Jaki problem publiczny lub organizacyjny jest rozwiązywany, dla kogo i jakie dowody pokazują, że system AI jest proporcjonalną odpowiedzią?
Jakie są realistyczne alternatywy, w tym zmiana procesu, zwiększenie potencjału ludzkiego, prostsza technologia lub rezygnacja z działania?
Kto otrzymuje zamierzoną korzyść, kto ponosi koszt lub ryzyko, kogo brakuje w procesie i czyje zachowanie lub dane umożliwiają działanie systemu?
Jak dostęp, praca, autonomia, umiejętności, dobrostan, zaufanie, uczestnictwo demokratyczne i zapotrzebowanie środowiskowe mogą zmienić się w pilotażu i pełnej skali?
Które skutki są dotkliwe, szeroko rozpowszechnione, długotrwałe lub trudne do odwrócenia, nawet jeśli ich prawdopodobieństwo jest niepewne?
Jak osoby objęte skutkami, pracownicy i organizacje przedstawicielskie wpłynęły na cel, miary sukcesu, zabezpieczenia i warunki wycofania?
Które wskaźniki mogą z czasem ujawnić korzyści, obciążenia i niezamierzone skutki oraz kto ma uprawnienia do reakcji?
Jak organizacja zapewni środek naprawczy, wesprze adaptację i przywróci usługi lub pracę, jeśli system zostanie ograniczony lub usunięty?

Dowody do zebrania.

Problem i alternatywy: Udokumentowana potrzeba, poziom bazowy, teoria zmiany oraz porównanie opcji AI, bez AI i braku działania pod względem korzyści, kosztów, praw, niepewności i odwracalności.
Mapa interesariuszy: Użytkownicy bezpośredni i pośredni, osoby niekorzystające z systemu, których dotyczą skutki, pracownicy, społeczności, grupy interesu publicznego, dostawcy i przyszłe pokolenia, wraz z ich wpływem i podatnością.
Rejestr zaangażowania: Kto uczestniczył, jak usunięto bariery, co usłyszano, które decyzje się zmieniły, co się nie zmieniło i dlaczego, wraz z informacją zwrotną dla uczestników.
Rejestr wpływu: Pozytywne i niekorzystne skutki ocenione pod kątem skali, zakresu, czasu trwania, odwracalności, prawdopodobieństwa i rozkładu, wraz ze skutkami kumulacyjnymi i systemowymi.
Plan pomiaru: Poziom bazowy i wskaźniki dostępu, jakości usługi, pracy, dobrostanu, zaufania, zapotrzebowania środowiskowego i rozkładu wyników, łączące dowody ilościowe i jakościowe.
Ograniczanie skutków i transformacja: Właściciele, zasoby, harmonogramy, środki naprawcze, wsparcie pracowników i społeczności, wyjście od dostawcy, zwrot danych, ciągłość usługi i kryteria ograniczenia lub wycofania.

Progi decyzyjne.

Kontynuuj: Potrzeba i proporcjonalność są poparte dowodami; interesariusze objęci skutkami wpłynęli na plan; korzyści i obciążenia są mierzone; poważne i kumulacyjne skutki mają zarządzanie, ograniczenia i środki naprawcze.
Kontynuuj warunkowo: Niepewne skutki są testowane w odwracalnym, ograniczonym czasowo i niezależnie przeglądanym wdrożeniu, z chronionymi alternatywami i bez narażenia na nieodwracalną szkodę.
Zatrzymaj lub przeprojektuj: Prostsza alternatywa daje korzyść przy mniejszej szkodzie; podstawowy dostęp lub prawa pracowników są osłabione bez środka naprawczego; obciążenia nieproporcjonalnie spadają na grupy podatne; brakuje dowodów od interesariuszy; albo istotne skutki są nieodwracalne i niemożliwe do zarządzania.

Uczestnictwo musi mieć możliwość zmiany decyzji. Zapisz, które osoby mogą wpływać na cel, projekt, warunki wdrożenia i kryteria zatrzymania. Spotkania konsultacyjne bez praw decyzyjnych są działaniem komunikacyjnym, a nie zarządzaniem wpływem.

Kontrole cyklu życia.

Przed pierwszym użyciem

Ustal poziom bazowy, porównaj alternatywy, zaangażuj osoby objęte skutkami i pracowników, oceń prawa i wpływy kumulacyjne oraz ustaw mierzalne warunki skalowania, kontynuacji i wycofania.

Podczas działania

Mierz rozkład korzyści i obciążeń równolegle z wydajnością techniczną. Utrzymuj stałe drogi przekazywania dowodów przez pracowników, społeczności i osoby objęte skutkami oraz publikuj proporcjonalne ustalenia, gdy wymaga tego interes publiczny.

Gdy zmieniają się warunki

Powtórz ocenę, gdy zmienia się skala wdrożenia, zadania lub zatrudnienie, dostawca lub model, gdy obejmowana jest nowa populacja, rośnie zapotrzebowanie środowiskowe albo dowody pokazują zależność instytucjonalną i pętle sprzężenia zwrotnego.

Źródła i dalsza lektura.

Źródła pierwotne i instytucjonalne przeanalizowane na potrzeby tego dokumentu roboczego. Zastosowanie prawne należy ocenić dla konkretnego systemu i kontekstu.