Tempo di lettura: 7 minuti
Da quando computer e sistemi informatici fanno parte della vita quotidiana, un nuovo errore cognitivo colpisce il processo decisionale umano. Il bias dell’automazione, infatti, descrive quel fenomeno secondo il quale un individuo ignora o evita di cercare informazioni in contraddizione a una soluzione generata da un computer che viene considerata come quella corretta e ottimale. Durante una conferenza sui sistemi intelligenti organizzata dall’American Institute of Aeronautics and Astronautics nel 2004, Mary Louise Cummings, una delle prime donne pilota di caccia della Marina degli Stati Uniti poi diventata professoressa, ha presentato i rischi associati a questo bias in situazioni nelle quali è necessario prendere una decisione in tempi ristrettissimi[1].
Nello sviluppo di sistemi di supporto intelligenti, è fondamentale innanzitutto individuare in quali modalità l’automazione può aiutare un decisore umano e che livello di autonomia assegnare alla macchina. La lista di Fitts, che prende il nome dallo psicologo statunitense Paul Fitts, descrive quali siano le rispettive forze nel decision making di persone e computer[2].
Gli esseri umani sono particolarmente abili nel percepire pattern, improvvisare e utilizzare procedure flessibili, richiamare fatti rilevanti al momento giusto, ragionare per induzione ed esercitare giudizio. Al contrario, i computer sono migliori nel completare velocemente attività di controllo, compiere lavori ripetitivi e di routine, ragionare per deduzione e gestire diversi compiti complessi simultaneamente.
I livelli di automazione
I livelli di automazione descrivono invece il grado di autonomia lasciato al sistema informatico e si trovano su una scala da 1 a 10. Al livello più basso, il computer non offre supporto e la persona deve prendere ogni decisione. Salendo, la macchina offre un set completo di alternative, per poi arrivare a un unico suggerimento al livello 4. Al quinto grado di automazione, il sistema esegue l’operazione se la persona dà conferma e, al livello successivo, obbliga l’operatore a scegliere in una finestra di tempo limitata, prima dell’esecuzione automatica. Al livello 7, il computer informa dell’operazione svolta autonomamente solo se necessario, all’ottavo solo se gli viene richiesto e al nono solo se decide di comunicarlo all’operatore. Al grado più alto di automazione, il sistema opera ogni scelta autonomamente, ignorando la persona.
Gli esseri umani, spiega Cummings, tendono a commettere errori decisionali sotto stress, a causa di diversi fattori che sottostanno al bias dell’automazione. Ad esempio, un’altra distorsione cognitiva come il bias della conferma, che porta l’operatore a cercare solamente le informazioni a supporto della propria tesi, o il bias dell’assimilazione, fenomeno che descrive la tendenza di processare nuove informazioni contradditorie così da integrarle coerentemente nel modello mentale precedentemente creato, di fatto ignorando quelle prove che screditano la propria opinione[3]–[4]. Inoltre, il bias dell’automazione entra in gioco come processo di conservazione cognitivo: meno energie impegna il cervello, più un determinato percorso decisionale è favorito. Lasciare il maggior numero di decisioni possibile al computer è quindi un ottimo metodo per risparmiare energie.
Casi pratici
Secondo uno studio del 1994, il 40% dei piloti di linee commerciali si sono dimostrati troppo fiduciosi nei sistemi che, con un livello di automazione pari a 4, suggerivano piani di volo che erano significativamente sub-ottimali[5]. Ma, finché si parla di tratte poco efficienti, i problemi sono relativi. Il bias dell’automazione ha portato però anche vittime nel mondo dell’aviazione.
Nel 1972, il volo Eastern Air Lines 401 si schiantò nelle Everglades della Florida, portando alla morte di 101 persone tra passeggeri ed equipaggio. L’incidente fu probabilmente causato dall’eccessiva fiducia nei sistemi di volo dell’aereo. Durante l’esecuzione dei controlli per l’atterraggio, il carrello anteriore venne indicato come non sicuro. L’equipaggio inserì quindi il pilota automatico per concentrarsi sul problema, ignorando pochi minuti dopo una graduale discesa di altitudine, probabilmente dovuta a uno dei piloti che, inavvertitamente, aveva disattivato il pilota automatico colpendo per sbaglio la cloche. Fidandosi che il sistema di volo li avrebbe avvisati di qualsiasi problema e non accorgendosi della rapida discesa, l’aereo precipitò.
Per ridurre l’effetto di questo errore cognitivo, molti computer ora presentano tramite un display il trend di affidabilità del sistema. In un esperimento, i piloti che avevano a disposizione questo andamento hanno mostrato un minore bias dell’automazione rispetto a quelli che avevano ricevuto solamente l’affidabilità generale del sistema[6]. Lo sviluppo di sistemi intelligenti, conclude l’autrice, deve considerare l’operatore non solo come un elemento periferico, ma di fatti una componente integrata che, alla fine dei conti, determinerà il successo o il fallimento del sistema stesso.
Carlo Sordini
[1] Cummings, Mary. (2004). Automation Bias in Intelligent Time Critical Decision Support Systems. Collection of Technical Papers – AIAA 1st Intelligent Systems Technical Conference.
[2] Chapanis, A., Frick, F. C., Garner, W. R., Gebhard, J. W., Grether, W. F., Henneman, R. H., Kappaif, W. E., Newman, E. B., and Williams, A. C., Human Engineering for an effective air navigation and traffic control system, P. M. Fitts Eds., National Research Council Washington DC, 1951.
[3] Lord, C. G., Ross, L., and Lepper, M., Biased assimilation and attitude polarization: The effects of prior theories on subsequently considered evidence, The Journal of Personality and Social Psychology, 47, 1979, 1231-1243.
[4] Carroll, J. M. and Rosson, M. B., Paradox of the Active User, in Interfacing Thought: Cognitive Aspects of Human- Computer Interaction, J. M. Carroll Eds., MIT Press Cambridge, MA, 1987, 80-111.
[5] Layton, C., Smith, P. J., and McCoy, E., Design of a cooperative problem-solving system for en-route flight planning: An empirical evaluation, Human Factors, 36, 1994, 94-119.
[6] McGuirl, J. M. and Sarter, N. B., How are we doing?: Presenting System Confidence Information to Support Trust Calibration and Adaptive Function Allocation., Human Factors and Ergonomics Society 47th Annual Meeting, Denver, CO, 2003.
