Misurare la Social Influence secondo Michael Wu

Riprendo a scrivere su questo spazio; non posso infatti non citare un articolo  pubblicato da Techcrunch a cura di Michael Wu di Lithium Inc (persona deliziosa che ho avuto modo di incontrare) e autore di  the science of Social), e che ha attirato la mia attenzione sulle problematiche e difficoltà  inerenti la misurazione del livello di influenza sociale (Klout & Co, per intenderci).

Michael nel suo articolo mette in guardia sulla validità ed efficacia degli algoritmi utilizzati dalle principali piattaforme; il punto è che misurano il livello di attività sociale ma nessuno puà affermare con certezza, senza tema di smenite, chi sta influenzando, o contribuito a influenzare veramente chi, dove, come , quando e su quale argomento specifico.

Il punteggio attribuito dalle singole piattaforme è perciò basato su un algoritmo, più o meno smart, che tutti in realtà possono creare. Non esiste una verifica, una validazione statistica, una base scientifica.E’ un problema di modello, traducibile  in algoritmo, che deve essere quindi essere validato.

Il punto secondo Michael è quello di analizzare l’efficacia di misurazione di un modello usando gli stessi criteri per un’analisi predittiva del valore di un titolo in borsa.
Se volessimo per esempio definire un modello predittivo per il valore in borsa del titolo di Apple dovremmo:

1.aver definito un modello per calcolare un parametro atteso (come il valore di un’azione in borsa) che tenga conto di una serie di variabili in ingresso
2. una misura indipendente dei risultati che il modello sta cercando di predire
3. una misura che calcola il gap tra la misura attesa e la misura reale

Il punto, dice Michael, che la misura indipendente, in questo caso il reale valore in borsa di un titolo deve essere davvero indipendente dal modello e dalle sue variabili, non parte di esso, altrimenti tutto il ragionamento viene inficiato.

Sono 3 i motivi per cui i Vendor non possono validare il modello secondo i principi sopra esposti:

1.  Dati:  non posseggono una fonte indipendente di dati inerenti l’influenza. Possono solo valutare l’algoritmo basandosi sulla loro  intuizione o piccole euristiche.

2. Eccesso di generalizzazione:  validano l’algoritmo sulla base di infliencer noti e cercano poi di generalizzare l’algoritmo su milioni di utenti

3. Validazione  circolare: usano dati reciproci, come i like e i retweet per la validazione.  Questi sono anche i dati che usano nei loro modelli e algoritmi.  E’ un errore tipico nella validazione dei modelli, che non garantisce alcun livello di accuratezza..

Insomma, la strada per l’influenza perfetta è ancora lunga da percorrere..