Il dramma degli incentivi perversi
Ai tempi in cui l’India era parte dell’Impero Britannico i governanti di Delhi erano preoccupati del crescente numero dei cobra in città. A un certo punto a qualcuno venne un’idea geniale: offrire ricompense in cambio della pelle di cobra.
Come si può immaginare, per un po’ questo sistema aiutò a ridurre la popolazione dei cobra a Delhi. Tuttavia molto presto i più ingegnosi fra i cacciatori di cobra scoprirono un modo semplice per fare un sacco di soldi: allevare cobra allo scopo di ottenere ricompense in cambio della loro pelle.
Ovviamente quando i governanti lo scoprirono interruppero il sistema di ricompense. E a quel punto agli allevatori non restò che liberare i poveri serpenti. Morale della favola: il sistema di ricompense, pensato per ridurre la popolazione di cobra, ebbe l’effetto netto di aumentarla.
Effetto cobra
Questo aneddoto dà il nome al cosiddetto effetto cobra. Questo effetto si verifica quando si propongono incentivi per ottenere il risultato desiderato, ma questi incentivi finiscono per portare a risultati imprevisti e indesiderati. In questi casi si vuole genuinamente ottenere un effetto positivo, ma in pratica si pagano persone per peggiorare le cose.
Esistono altre formulazioni simili dello stesso concetto. La legge di Campbell, derivante dallo psicologo Donald T. Campbell, afferma che:
Più un indice quantitativo è usato per prendere decisioni in ambito sociale e più porterà a distorsioni e corruzioni nei processi sociali che avrebbe dovuto misurare.
Un esempio è l’utilizzo di un test per misurare le prestazioni scolastiche. Un simile test può essere un buon metro di giudizio quando misura le prestazioni degli studenti in un contesto educativo che mira a fornire competenze generali (come dovrebbe essere la scuola). Ma quando la prestazione nel test diventa l’obiettivo del sistema educativo, questo distorce sia la valutazione (rendendo il test meno valido) sia la qualità dell’educazione stessa (che ora ha lo scopo primario di far superare il test!).
Un’altra formulazione più generale, e che io preferisco, è la cosiddetta legge di Goodhart (dall’economista britannico Charles Goodhart):
Quando una misura diventa un obiettivo, smette di essere una buona misura.
Ormai è chiaro che, quando ci muoviamo all’interno di sistemi complessi come i fenomeni sociali, l’obiettivo che ci poniamo e gli incentivi associati distorcono il fenomeno che si intende misurare o migliorare. Non si scappa. Esempi sparsi:
In ambito scolastico possiamo ideare vari modi per misurare la qualità dell’insegnamento. Un modo semplice è calcolare le medie dei voti degli studenti di ogni insegnante. Questo però immediatamente incentiva ogni insegnante a dare voti più alti, rendendo inutile la misura stessa.
Per questioni ambientali può essere utile creare dei test misurare le emissioni prodotte da ogni singola automobile, penalizzando le aziende che producono automobili con emissioni più alte. Questo però può portare le case automobilistiche a corrompere gli addetti alle misurazioni, o a ideare sistemi per avere buone prestazioni solo durante i test in laboratorio, che però non corrispondono alle prestazioni su strada.
Il numero di follower di un divulgatore scientifico su Instagram può essere un modo di misurare il suo impatto e la qualità dei suoi contenuti. Quando però la quantità di follower diventa l’obiettivo primario, questo può portare a cambiare radicalmente il tipo di contenuti e di strategie di crescita adottate. Arrivando anche a snaturare del tutto il lavoro di divulgazione per il quale è diventato famoso.
In ambito lavorativo si possono ideare dei modi per valutare la produttività dei dipendenti di un’azienda, offrendo bonus ai dipendenti più produttivi. Ad esempio, a seconda del tipo di lavoro, premiando chi lavora ore in più, o chi chiama più clienti, o chi scrive più parole. Ma è molto facile che i dipendenti si concentrino sul raggiungere il bonus nel modo più efficiente possibile a discapito del valore creato per l’azienda, rendendo la “valutazione della produttività” totalmente inefficace nel promuovere la produttività aziendale complessiva. Magari i dipendenti lavorano ore in più per raggiungere il bonus, passandole però a sistemare la scrivania, temperare le matite e navigando su Reddit. Oppure allungano le frasi per arrivare al numero target di parole necessario per ottenere il bonus. O chiamano 12 volte lo stesso cliente per gonfiare i numeri delle chiamate effettuate. O si dedicano all’allevamento intensivo di cobra.
Bene. Tutti questi esempi pratici sono bellissimi e affascinanti, senza dubbio. Purtroppo però dobbiamo lasciarceli per un po’ alle spalle e proseguire il discorso in modo più astratto.
Disallineamento fra agenti diversi
Problemi di questo tipo sorgono quando si verificano le seguenti condizioni:
si ha una variabile A che si vuole misurare e/o migliorare (si vuole ridurre il numero di cobra vivi);
A è difficile da misurare e/o migliorare direttamente (è difficile per il governo contare i cobra e mettere su un piano centralizzato per lo sterminio dei cobra);
si sostituisce A con un’altra variabile B, più facile da misurare e/o migliorare direttamente (si sostituisce il numero di cobra vivi con le pelli di cobra morti, e si pagano le persone che arrivano con una pelle di cobra);
si pensa che A e B siano equivalenti (si pensa che più pelli di cobra arrivano e meno cobra vivi sono rimasti);
ops, in realtà A e B non sono equivalenti (più pelli di cobra significa solo che ci sono più cobra morti, non che ci sono meno cobra vivi).
Se due agenti diversi nello stesso sistema hanno valori diversi, non dovrebbe sorprendere che rincorrano obiettivi diversi. Il governo vuole meno cobra, il cacciatore di cobra vuole le ricompense. L’azienda vuole dipendenti produttivi, il dipendente vuole il bonus.
Ma questi problemi possono sorgere anche con un agente solo.
Così confuso da colpirsi da solo
Immaginiamo questo scenario: sono una persona che dà valore a relazioni stabili e di lungo termine, e sono single. La mia variabile A è la “qualità della mia vita amorosa”. Però la qualità della mia vita amorosa non è così facile da misurare e migliorare direttamente, perché si tratta di qualcosa di astratto e vago. Ho bisogno di qualcosa di più concreto e preciso. Il passo successivo può essere quindi cercare di misurare e migliorare una nuova variabile B: “numero di appuntamenti in un mese con persone nuove”.
Questo ha senso, perché se vado a zero appuntamenti non ho alcuna possibilità di incontrare un potenziale partner. Se vado a 1, 2, o 3 appuntamenti al mese le probabilità aumentano. Dopo un po’ però mi accorgo che sto uscendo con 74 persone al mese, ma questo non migliora in alcun modo la qualità della mia vita amorosa. Anzi la peggiora. In sintesi ho scoperto che massimizzare B non equivale a massimizzare A. Dannazione.
Il nocciolo del problema risiede quindi nell’avere obiettivi che sembrano allineati fra loro, ma che in realtà sono disallineati. Indipendentemente da chi rincorre questi obiettivi. Possono essere il governo e i cacciatori di cobra, un’azienda e i suoi dipendenti, o una persona sola alla presa coi suoi problemi amorosi.
Anzi, non è nemmeno necessario che ci siano persone di mezzo.
Gli incentivi perversi di una fabbrica di graffette intelligente
Il problema dell’offrire incentivi allineati ai nostri valori centrali è un bel problemino pure nell’ambito dell’intelligenza artificiale. Anzi, alcuni direbbero che è IL problemino dell’intelligenza artificiale. Per capire cosa intendo vi racconto un celebre esperimento mentale noto come paperclip maximizer:
Immaginiamo che un’azienda di graffette sviluppi un’Intelligenza Artificiale che come unico obiettivo ha quello di produrre più graffette possibile. L’IA capirà velocemente che sarebbe molto meglio se non ci fossero esseri umani, perché gli esseri umani potrebbero decidere di spegnerla (quindi riducendo il numero di graffette prodotte). Oltretutto gli esseri umani consumano un sacco di energia che potrebbe essere utilizzata per produrre graffette, e i corpi degli esseri umani contengono un sacco di atomi utili per creare graffette. Non è quindi strano pensare che il futuro che questa IA cercherà di raggiungere è un futuro pieno di graffette ma senza esseri umani.
E questo è chiaramente negativo per gli esseri umani.
Se avete seguito l’articolo fino a qui capirete subito che questo tipo di scenario (per ora ipotetico) è esattamente l’effetto cobra. Anzi, si può fare esattamente lo stesso esempio sostituendo solo alcune paroline. Chiamiamolo cobra maximizer.
Immaginiamo che il governo di Delhi voglia ridurre il numero di cobra, e sviluppi un’Intelligenza Artificiale che come unico obiettivo ha quello di uccidere più cobra possibile. L’IA inizialmente proverà a uccidere i cobra esistenti, ma capirà velocemente che se uccide tutti i cobra poi i cobra si estinguono (riducendo quindi il numero totale di cobra uccisi). Per uccidere più cobra deve quindi creare più cobra, quindi inizia ad allevare cobra. Oltretutto gli esseri umani consumano un sacco di energia che potrebbe essere utilizzata per allevare cobra, e i corpi degli esseri umani contengono un sacco di sostanze utili per nutrire i cobra. Quindi come risultato del lavoro di questa IA creata per uccidere i cobra si otterrà un mondo pieno di cobra (e senza esseri umani).
Purtroppo non ho una soluzione a questi annosi problemi, ma sono fiduciosa: qualcuno ha sicuramente pensato a fornire incentivi per accelerare la ricerca scientifica in questo campo. Quindi forse il mondo che ci aspetta non è pieno di graffette ma è pieno di paper scientifici con soluzioni a questo problema. Ma gli esseri umani consumano energia, e questa energia sarebbe utilissima per…
Oh, no.