Misurazione d’impatto: gli otto errori da evitare. Conclusione

Oggi concludiamo l’analisi degli errori da evitare nell’approccio alla misurazione d’impatto trattando gli ultimi 4 punti

Quinto erroreMancanza di flessibilità.
Quando i risultati sociali attesi sono conseguiti, o quando non lo sono, lo spazio in cui operano si trasforma. Le esigenze sociali evolvono naturalmente. Ogni sistema di misurazione deve tenere conto di questa esigenza di cambiamento e miglioramento. Tale revisione si rende necessaria dopo tre o cinque anni per la maggior parte delle misurazioni e dopo un periodo più breve per alcune.

Sesto Errore. Quantificazione a scapito della comprensione.
È ormai appurato che, malgrado l’elaborazione di diversi approcci utili alla quantificazione di risultati e impatti, questi sono sempre solamente il riflesso di una realtà più profonda e più sfumata del resoconto dell’intervento e dei cambiamenti che ne risultano. Il resoconto dei cambiamenti di vita, atteggiamenti e prospettive deve essere sempre prioritario e non essere mai omesso quando i risultati e gli impatti sono correttamente spiegati.

Settimo erroreMantenimento della proporzionalità.
Lo sforzo investito nella misurazione e il livello di precisione raggiunto, devono essere proporzionati all’uso cui è destinata la misurazione. Ciò corrisponde esattamente al concetto ampiamente riconosciuto della rilevanza in contabilità.

Ottavo errore.Burocrazia eccessiva.
La misurazione dovrebbe essere di sostegno e non utilizzare le scarse risorse e rallentare il processo decisionale all’interno delle imprese sociali che dovrebbero reagire con rapidità ed essere flessibili rispetto a un bisogno sociale in aumento.

Misurazione d’impatto: gli otto errori da evitare. Parte prima

Nella misurazione dell’impatto ci sono errori ricorrenti da evitare. Se la misurazione vuole essere efficace devono essere evitati alcuni errori. Oggi analizziamo i primi 4

 

Primo errore. Non considerare che la misurazione ha un impatto sui comportamenti.
Non riconoscere che la misurazione ha e dovrebbe avere un impatto sui comportamenti dei soggetti interessati, inclusi gli utenti del servizio. Il fatto di valutare una misurazione, di pubblicarla o di discuterne influenza i comportamenti e determina al tempo stesso apprendimento e cambiamento. Se tale fatto viene compreso e la misurazione viene realizzata consapevolmente, può essere utilizzato per incentivare comportamenti convergenti e di sostegno (ad es. un utente del servizio che comprende meglio come utilizzarlo e quali sono i vantaggi che ne trarrà ne migliorerà l’efficacia).

Secondo errore. Incentivi perversi
La tendenza naturale ad associare la misurazione alla definizione di obiettivi, e a spingere quindi diverse parti a conseguirli, fa fortemente temere che tali parti possano essere più inclini a raggiungere l’obiettivo, a prescindere dalla realizzazione del risultato atteso. La situazione diviene particolarmente preoccupante se vi è il rischio che 
gli obiettivi misurati spingano l’impresa sociale a selezionare delle schiere di beneficiari a cui è più facile erogare dei servizi, raggiungendo quindi obiettivi ma realizzando risultati più scadenti (tale processo viene definito «scrematura» o «scelta selettiva»). La misurazione non dovrebbe indurre l’IS a selezionare un obiettivo per garantire che gli indicatori siano soddisfatti invece di realizzare l’impatto sociale come previsto.

Terzo errore. Manipolazione o «scommessa».
Per ogni misurazione ci sarà sempre chi cercherà di manipolare il sistema affinché gli obiettivi mostrati appaiano come raggiunti. Questo rischio è sempre presente e l’unico sistema errato è quello che ignora tale rischio e non prende alcuna misura per ostacolare o controbilanciare questo problema. Le 
misure adottate devono essere specifiche per l’IS e per il progetto in questione.

Quarto errore. Esito considerati come risultati o impatti.
Mentre un organismo che fornisce un servizio può essere concentrato sulla realizzazione di esito, questi non costituiscono un obiettivo di per sé, ma un modo per raggiungerlo. Sebbene possano essere utilizzati come sostituti dei risultati, possono far deviare l’attenzione dai risultati stessi.

(segue nel prossimo articolo)

Impatto sociale. Le caratteristiche di una misurazione efficace

Continuiamo il nostro percorso di guida per la misurazione dell’Impatto sociale, affrontando oggi il tema delle caratteristiche di una misurazione efficace

Affinché la misurazione sia efficace essa deve essere:

  1. pertinente: relativa a, e derivante dai risultati che sta misurando;
  2. utile: nel soddisfare le esigenze dei soggetti interessati, sia interni che esterni;
  3. semplice: per come la misurazione viene condotta e presentata;
  4. naturale: derivante dal normale flusso di attività in direzione del risultato;
  5. certa: per come la misurazione è ottenuta e per come è presentata;
  6. compresa e accettata: da tutte le parti interessate coinvolte;
  7. trasparente e bene enunciata: in modo tale che il metodo con cui la misurazione viene condotta e il modo in cui essa si riferisce ai servizi e risultati interessati siano chiari;
  8. basata su delle prove: in modo che possa essere verificata, convalidata e sia da base per un continuo miglioramento.

I principi dello SROI possono, in taluni casi, anche offrire un insieme di principi base utili per la misurazione dell’impatto sociale rispetto ad altri indicatori. Essi sono (con l’interpretazione del gruppo fra parentesi):

  • Coinvolgere i soggetti interessati;
  • Comprendere che cosa cambia;
  • Valutare le cose che contano (per i soggetti interessati);
  • Includere solamente quello che è essenziale (questo costituisce una differenza rispetto al parere dei soggetti interessati);
  • Non chiedere troppo;
  • Essere trasparenti (spiegare chiaramente come si è giunti alla risposta, rivelando anche incertezze riguardanti le prove o supposizioni).
  • Verificare i risultati (sulla base di principi di ricerca validi).

Inoltre, per delineare un quadro completo e utile dell’impatto di un‘IS, è essenziale che la misurazione prenda in esame e quantifichi: 

  • l’impatto sociale sulle comunità e sugli individui;
  • l’impatto sociale a lungo termine piuttosto che solamente quello a breve termine;
  • il campo di applicazione o la portata dell’impatto sociale in termini di copertura geografica e la sua profondità, l’intensità o la portata dell’impatto in una zona ristretta, in particolare in termini di copertura di gruppi di popolazione specifici (ad es, svantaggiati, vulnerabili, a rischio);
  • l’impatto sociale diretto separatamente da quello indiretto, specificando chiaramente come si manifesta quello indiretto.

Questi aspetti chiave dell’impatto sociale rendono necessario misurare non solo l’impatto sociale dell’intervento ma anche alcuni aspetti della stessa IS che svolgono un ruolo fondamentale nel renderli tangibili. Essi sono:

A.la misura in cui l’impatto sociale si inscrive nella ragione sociale dell’IS così come indicato nei suoi statuti (che possono, a loro volta, essere definiti o meno dalla legislazione in vigore);

B. la misura in cui l’IS include nella sua governance i vari soggetti interessati coinvolti (fornitori, utenti, rappresentanti di comunità locali, associazioni ecc.): 

a.poiché il coinvolgimento dei soggetti interessati è quello che consentirà di ridefinire regolarmente le esigenze della comunità e quindi riaggiustare regolarmente gli esito dell’IS in funzione di tali esigenze, ma, di conseguenza, anche di riformulare regolar­mente l’impatto sociale desiderato;

b.poiché questo è ciò che fornisce pieno potenziale alla componente cognitiva (costru­zione delle capacità) del processo di misurazione dell’impatto sociale;

c.poiché genera una dinamica di inclusione che accresce sostanzialmente le possibilità che l’impatto sociale sia conosciuto, analizzato e misurato con accuratezza;

C.la misura in cui l’IS è parte di una rete orizzontale più ampia di relazioni fra imprese o consorzio o gruppo di IS;

D. la salute economica dell’IS, in funzione di parametri classici delle imprese (in termini di fatturato, utili, occupazione, effetto leva (rapporto passività/capitale proprio), produttività del lavoro, diversità dei clienti ecc. 

Esempio di misurazione 

Secondo gli studi locali sull’impatto condotti dal Consiglio nazionale dell’integrazione attraverso l’attività economica (CNIAE), in partenariato con lo Stato francese e con la soci­età di consulenza AVISE, i servizi di inserimento lavorativo attraverso l’economia sociale in Aquitania, Franca Contea e Paesi della Loira hanno permesso l’inserimento di oltre il 50% di dipendenti nel mercato del lavoro e al tempo stesso di risparmiare un totale di 104 milioni di euro per la nazione. Essi hanno garantito lavoro a oltre 60 000 dipendenti e offerto oltre 12 000 posti di lavoro a tempo pieno nel corso dell’anno dello studio. Da un lato contribuiscono all’economica locale: se generano un profitto di 171 milioni di euro, reim­mettono nell’economia locale 204 milioni di euro attraverso lo stipendio dei loro dipendenti (154 milioni di euro) e gli acquisti che effettuano da aziende del territorio (50 milioni di euro). Da un altro lato, consentono allo Stato di risparmi­are: se ricevono le sovvenzioni pubbliche (80 milioni di euro) e le esenzioni (19 milioni di euro) necessarie, sono anche contribuenti (45 milioni di euro). Inoltre, essi producono un risparmio diretto per i dispositivi sociali e medico-sociali: se prendiamo come riferimento i 18 300 euro che vengono normalmente anticipati per i disoccupati come costo per la società, tali servizi risultano quindi come contribuenti netti alla ricchezza nazionale.

Le 5 fasi della Teoria del Cambiamento

Le 5 Fasi della Teoria del Cambiamento o «catena del valore dell’impatto o «modello logico». Costituiscono la base della misurazione dell’impatto.  Un’impresa sociale, o uno dei suoi progetti, dispone di una riserva di risorse, denominate input. Questi possono essere finanziari, intellettuali, umani, strumentali o altro.

Attraverso tali input, essa svolge le proprie attività. Sviluppate sulla base di un modello finanziario equilibrato e dotato di fondi adeguati, queste attività si preoccupano innanzitutto di creare miglioramenti – cambiamenti – nella vita dei beneficiari.

Le attività presentano punti di contatto con i beneficiari, detti esito. Si può trattare, ad esempio, della presenza dell’utente del servizio a un corso o a un programma, la fornitura di un prodotto che il beneficiario utilizzerà in futuro, la creazione di un’interazione sociale – una comunità – per sostenerli o di un processo che interessa la vita del suo beneficiario, nonché un protocollo medico combinato alla fisioterapia o altre terapie per permettere un recupero completo. In ciascun caso l’esito è il mezzo che consente di ottenere un risultato o un impatto e non il risultato stesso.

Attraverso le attività e gli “esito” si ottiene il cambiamento nella vita dei beneficiari (sia gli utenti diretti del servizio che altri soggetti interessati, quali le famiglie, comunità, dipendenti, lo Stato ed altri fornitori di servizi). Questi cambiamenti sono i risultati di questo processo e sono definiti come la differenza tra la situazione che si sarebbe verificata senza la presenza del servizio o del prodotto interessato e la situazione che invece si è verificata grazie alla  sua presenza. Tali risultati possono essere a breve o a lungo termine, in funzione del bisogno soddisfatto e del servizio o prodotto fornito. Di norma i risultati sono descritti come primari (una conseguenza ragionevolmente diretta del servizio o del prodotto nella vita dell’utente del servizio) o secondari (un effetto indiretto nella vita dell’utente del servizio – «.e così sono stati in grado di… » – o nella vita di altre persone).

I risultati possono essere quindi valutati in termini di impatto sulla vita di tale persona o del valore ottenuto per un determinato soggetto interessato (persona) in ragione del servizio o prodotto fornito. Questo esclude il guadagno apportato dall’intervento di altri e tiene conto sia degli effetti positivi che di quelli negativi (questi ultimi sono noti come dislocazione) nonché di attribuzione: in quale misura l’impresa sociale è responsabile del risultato, in contrap­posizione con il risultato ottenuto per l’intervento di altri; effetto inerziale: risultato che si sarebbe prodotto comunque, a prescindere dall’intervento; esaurimento: la tendenza degli effetti di un intervento in un particolare momento a diminuire nel tempo.

Il modello logico che collega questi cinque elementi è noto come teoria del cambiamento ed è fondamentale. Tale modello mostra e spiega il nesso causale tra le attività intraprese e i risultati e l’impatto attesi. Il ragionamento sottostante deve essere compreso e spiegato in ogni circostanza. Deve essere sempre suffragato da elementi di prova proporzionati che spiegano i motivi per cui si suppone che tali risultati derivino da tale attività.

Occorre notare che alcuni operatori del settore confondono e non distinguono fra i risultati e l’impatto. Attribuiscono delle caratteristiche diverse (attribuzione alternativa) e altri ma non definiscono i risultati e l’impatto come due elementi diversi. Un’altra confusione terminologica risiede nella tendenza di alcuni a identificare gli esiti, chiamandoli poi «risultati». Tale confusione è indubbiamente più diffusa tra i finanziatori del settore pubblico.

Le cinque fasi che costituiscono la teoria del cambiamento possono essere definite e illustrate nelle tabella seguente