Nei servizi sociali stanno entrando sistemi di intelligenza artificiale che incrociano i dati già in possesso degli enti – anagrafe, dichiarazioni ISEE, precedenti richieste di prestazioni – e ne ricavano previsioni, punteggi o liste di priorità. Quando un sistema di questo tipo suggerisce chi contattare, assegna una priorità o segnala un’anomalia, la qualità del welfare non dipende soltanto dalla precisione del calcolo. Dipende anche da ciò che accade quando il dato è incompleto, la previsione è sbagliata o la persona non si riconosce nella classificazione prodotta.
Una graduatoria, un controllo o una segnalazione possono incidere sull’accesso a una prestazione e sulla relazione di fiducia con l’istituzione. L’automazione può contribuire a ridurre tempi e non-take-up, ma non deve trasformare una correlazione in una verità amministrativa non discutibile.
Un recente approfondimento di Percorsi di Secondo Welfare sul welfare data-driven ha messo a fuoco proprio questa tensione: servizi più proattivi e mirati, da un lato; opacità, semplificazione e invisibilità di alcuni gruppi, dall’altro. Il passaggio operativo successivo al riconoscimento di questa tensione è progettare la contestabilità, cioè la possibilità concreta, per chi riceve la decisione, di capire su quale base è stata presa, correggere i dati sbagliati e ottenere il riesame di una persona.
La previsione non è il diritto
Un modello predittivo – la componente che, addestrata sui casi passati, calcola quanto un nuovo caso somigli a quelli già visti – identifica regolarità nei dati disponibili, nient’altro. Il diritto a una prestazione, invece, deriva da norme, criteri e circostanze individuali. Confondere i due piani produce un errore di governance: il punteggio diventa un criterio implicito, mentre la regola pubblica resta sullo sfondo.
Per evitarlo, ogni uso dell’IA dovrebbe dichiarare in anticipo la funzione svolta. Il sistema sta aiutando a individuare persone che avrebbero diritto a una prestazione e non l’hanno chiesta? Sta ordinando pratiche da verificare? Sta proponendo un esito? Oppure sta già attivando, riducendo o revocando un servizio? A effetti diversi devono corrispondere controlli diversi.
La prima garanzia è rendere visibile la distanza tra indicatore e decisione. Un punteggio di rischio – il numero con cui il sistema esprime quanto un caso somigli a quelli che in passato si sono rivelati critici, per esempio una domanda irregolare o una situazione di bisogno non dichiarata – può aprire un approfondimento; non dovrebbe diventare, da solo, una prova. Un dato mancante deve produrre una richiesta di integrazione o un passaggio umano, non un rigetto silenzioso.
Sei elementi per rendere una decisione contestabile
Una persona che ritiene di essersi vista negare un diritto per effetto di una scelta erronea presa con l’aiuto dell’intelligenza artificiale ha bisogno di appigli concreti su cui basare una contestazione ragionevole. Non basta il diritto astratto al ricorso: servono elementi che l’amministrazione deve mettere a disposizione perché contestare sia davvero possibile. Sono almeno sei, tutti verificabili dall’esterno e da predisporre prima che il sistema entri in funzione.
- Criterio leggibile: La persona deve poter conoscere la regola applicata e quali elementi della pratica sono risultati determinanti, con parole adatte al contesto e non con una descrizione tecnica del modello.
- Fonte e data del dato: Ogni informazione rilevante deve avere provenienza e aggiornamento verificabili. Se una fonte è incompleta o non più attuale, deve esistere un modo semplice per segnalarlo.
- Responsabile identificabile: Il servizio deve indicare chi risponde dell’esito e chi può riesaminarlo. “Lo ha deciso il sistema” non è una catena di responsabilità.
- Canale di correzione accessibile: La richiesta di revisione non può presupporre competenze digitali elevate né imporre di ricostruire da zero la pratica. Servono alternative assistite e non digitali.
- Revisione umana sostanziale: La persona incaricata deve avere tempo, informazioni e autorità per modificare l’esito. Una conferma automatica mascherata da controllo umano non corregge il problema.
- Tempi e continuità del servizio: La contestazione deve avere una scadenza chiara. Quando il ritardo può generare un danno, va previsto un percorso provvisorio che non interrompa il sostegno essenziale.
Questi elementi non sono soltanto una tutela successiva. Costringono l’organizzazione a chiarire dati, ruoli ed eccezioni prima dell’avvio del sistema. Per questo la contestabilità è anche uno strumento di progettazione e di qualità del servizio.
Il quadro europeo e il rischio di formule generiche
Molti di questi elementi non sono soltanto buone pratiche: per una parte dei sistemi impiegati nel welfare sono obblighi già previsti dalla normativa europea. Il Regolamento europeo sull’intelligenza artificiale considera ad alto rischio, tra gli altri, specifici sistemi usati da autorità pubbliche o per loro conto per valutare l’ammissibilità a prestazioni e servizi essenziali di assistenza pubblica, oppure per concederli, ridurli, revocarli o recuperarli. La classificazione dipende dall’uso concreto e dalle condizioni previste dal Regolamento: non ogni strumento digitale impiegato nel welfare ricade automaticamente nella stessa categoria.
Resta inoltre applicabile la disciplina sulla protezione dei dati. Le linee guida europee sulle decisioni automatizzate e la profilazione richiamano le garanzie collegate alle decisioni basate unicamente su trattamenti automatizzati che producono effetti giuridici o incidono in modo analogo significativamente sulla persona. Anche qui serve evitare slogan: l’articolo 22 del GDPR ha un perimetro e condizioni specifiche, da valutare caso per caso.
Il punto organizzativo è più ampio della sola classificazione normativa. Se un output influenza davvero una decisione, occorre sapere come viene usato, chi può discostarsene, quali evidenze rimangono e come una persona può chiedere la correzione. La conformità non si misura dalla presenza di una casella chiamata “human in the loop”, ma dalla qualità effettiva dell’intervento.
Misurare anche chi resta fuori
I controlli tradizionali tendono a guardare gli errori commessi sulle pratiche presenti nel sistema. Ma nel welfare serve misurare anche l’assenza: chi non presenta domanda, chi non lascia tracce digitali sufficienti, chi abbandona il percorso e chi non riesce a contestare. Queste persone possono non comparire nelle metriche operative pur essendo quelle più esposte all’esclusione.
Un monitoraggio utile dovrebbe quindi affiancare alla precisione del modello indicatori di servizio: richieste di correzione, esiti modificati dopo il riesame, tempi della revisione, accessi assistiti, abbandoni, differenze tra territori e gruppi, casi fermati per dati insufficienti. In tal senso, le soglie andrebbero riviste quando cambia il modello, una fonte o la popolazione servita.
È qui che si gioca la partita sul non-take-up. Gli stessi strumenti descritti in apertura possono segnalare a un ufficio le famiglie che con ogni probabilità rientrano nei requisiti e non hanno mai presentato domanda, trasformando un’attesa passiva in una proposta attiva. Ma la stessa infrastruttura riduce il mancato accesso solo a tre condizioni: che le persone individuate siano raggiunte con un canale che sanno usare, che chi resta fuori dal calcolo perché ha lasciato poche tracce digitali possa comunque farsi avanti, e che un dato sbagliato non produca un diniego che nessuno impugna. Misurare quante domande nascono dalle segnalazioni, e quante arrivano a buon fine, dice molto più della sola accuratezza del modello.
Una responsabilità distribuita, non dispersa
Nel welfare i processi attraversano amministrazioni, enti del Terzo Settore, fornitori e operatori di prossimità. La responsabilità può essere distribuita tra più attori, ma non deve diventare invisibile: il rischio è che, passando di mano, non sia più attribuibile a nessuno e che la persona si senta rimandare da un anello all’altro. Un registro operativo dovrebbe mostrare chi ha definito il criterio, chi ha validato i dati, chi gestisce le eccezioni e chi risponde alla persona.
AIPIA, Associazione Italiana Professionisti dell’Intelligenza Artificiale, lavora per tradurre alfabetizzazione, competenze e governance dell’IA in pratiche verificabili nei contesti professionali. In questa prospettiva, rendere contestabile una decisione significa progettare insieme tecnologia, procedura e relazione con la persona.
Un sistema di welfare è maturo quando sa spiegare non solo perché ha automatizzato, ma anche come si ferma e come si corregge. La possibilità di contestare non rallenta necessariamente l’innovazione: crea informazioni sugli errori, porta alla luce i casi invisibili e rende il servizio più affidabile. È qui che la supervisione umana smette di essere una promessa e diventa infrastruttura di fiducia.