Depuis 2-3 jours, un article réalisé à partir de Facebook fait pas mal de bruit sur Twitter : on s’y indigne notamment du fait que l’équipe d’analyste s’est servi de ses utilisateurs à leur insu, un peu comme on le ferait de rats de laboratoire, en modifiant les résultats qui s’affichent dans le flux d’actualité. Intitulé ‘Experimental evidence of massive-scale emotional contagion through social networks‘, l’article suggère que l’expérimentation sur le flux d’actualité permet de montrer qu’une émotion peut être contagieuse sur les réseaux sociaux (en l’occurrence le titre est trompeur car il n’étudie qu’un seul réseau social en ligne, donc le pluriel n’a pas lieu d’être).
Les réactions que j’ai vues étaient d’ordre éthique : les personnes étaient mécontentes qu’on ait pu les utiliser sans leur consentement. Pour ma part, je préfère qu’on utilise mon activité Facebook à des fins de recherche plutôt que pour me fourguer de la publicité, mais surtout, je me demandais ce que valait cet article. Alors je l’ai lu. Ce n’est pas glorieux.
Pour le décrire brièvement, l’article a utilisé un échantillon de près de 700 000 utilisateurs de Facebook. Les auteurs ont analysé leurs publications et “l’émotion” qui s’en dégage (la proportion de mots positifs et négatifs utilisés). Ensuite, ils ont modifié l’algorithme qui détermine ce qui apparaît dans le flux d’actualité de ces personnes pour leur montrer plus de publications positives ou négatives et tester si cela avait un impact sur les publications de ces personnes. Par cette démarche, ils considèrent avoir démontré expérimentalement que l’émotion est contagieuse sur les réseaux sociaux.
Avons-nous une dream team ?
Pour être bien traitée, il me semble qu’une problématique telle que l’analyse d’un phénomène psychologique (une émotion) sur un réseau social en ligne mobilise plusieurs disciplines :
- Il faut une connaissance de la psychologie, afin d’être en mesure de définir ce qu’est une émotion avant de pouvoir mesurer sa contagion. Le premier auteur, Adam Kramer, est présenté comme data scientist chez Facebook mais il est titulaire d’un doctorat en psychologie ; cependant sa thèse ne portait pas du tout sur la notion d’émotion mais sur des enjeux de prise de décision ;
- Il faut être capable de comprendre la façon dont un médium comme Facebook peut s’articuler avec le phénomène psychologique étudié ; ici les compétences semblent rassemblées car les deux autres auteurs ont une formation en sciences de l’information et de la communication ;
- Du fait que l’article analyse le contenu textuel des publications Facebook pour en déduire l’expression d’une émotion positive ou négative, il faudrait un spécialiste de la fouille de texte (text mining), ce qu’aucun des trois auteurs ne semble être.
Il n’est donc pas certain que les différents aspects du sujet soient traités, mais il ne faut pas partir perdants : la formation n’est pas tout et on peut être compétent sur un sujet en faisant des recherches spécifiques pour la publication de l’article.
Une définition de l’émotion qui laisse sur sa faim
Il n’y a pas vraiment de définition de ce qu’est une émotion. Les auteurs emploient le terme “emotion” mais aussi “mood.” En réalité l’article n’analyse pas l’émotion elle-même mais son expression :
‘Emotional expression was modeled, on a per-person basis, as the percentage of words produced by that person during the experimental period that were either positive or negative.’
L’usage de termes positifs ou négatifs me semble pouvoir décrire plein d’autres choses que l’émotion : en traitement automatique du langage, c’est plutôt l’opinion que l’on décrit avec le spectre positif/négatif (on parle de “polarité” d’un discours) avec par ailleurs des catégories comme “neutre” et “mitigé” qui permettent de catégoriser les choses de façon un peu plus subtile. Par ailleurs on n’exprime pas systématiquement nos émotions sur Facebook, et si on les exprime, cela peut-être avec une image, un lien… Bref, il n’est pas du tout évident qu’on puisse associer une émotion et une publication sur Facebook.
Qu’est-ce qui est mesuré exactement ?
Dans l’article, la polarité d’un contenu est déterminée à partir d’une liste de mots positifs et négatifs, en l’occurrence un dictionnaire vendu en ligne, le LIWC 2007. De tels dictionnaires ont été assez couramment utilisés, notamment le SentiWordNet qui est à ma connaissance la référence dans le domaine. Il s’agit de dictionnaires, donc de listes de mots ; pour chacun de ces mots il est indiqué s’il est positif ou négatif. Ainsi ‘happy’ ou ‘good’ sont indiqués comme positifs, ‘sad’ ou ‘bad’ comme négatifs. L’analyse de sentiment à partir de dictionnaires polarisés donne des résultats peu satisfaisants : elle ne prend pas en compte les négations (‘I am not happy’ sera indiqué comme positif avec une telle technique), les modalisations (‘they think I am happy’), la nature du locuteur (‘you are happy’) ou encore l’ironie (‘I’m so happy I lost my wallet’). Pour le dire brièvement, c’est un choix très contestable et franchement pas très fiable.
Un indice du fait que la technique n’est pas satisfaisante est la remarque (dans l’article) selon laquelle les mots positifs et négatifs n’étaient pas corrélés (‘scarcely correlated’) : en réalité il me semble que les deux groupes devraient être négativement corrélés, c’est-à-dire que plus il y aurait de mots positifs, moins il y aurait de mots négatifs et inversement. Si les deux groupes augmentaient ou diminuaient ensemble, ce serait tout bonnement inquiétant, mais là les deux groupes ont l’air indépendants, ce qui ne confirme ni n’infirme quoi que ce soit.
Corréler l’émotion et sa trace
Quand bien même on serait en mesure d’identifier les publications positives et négatives, et que cette polarité serait le signe d’une émotion réellement éprouvée par l’auteur, cette histoire de contagion est-elle crédible ?
Pour qu’il y ait contagion, il faut que quelqu’un éprouve une émotion (à un instant T) puis qu’elle soit communiquée à quelqu’un d’autre (à un instant T+1) et que l’émotion de cette deuxième personne soit due à la communication de la première. Or il me semble qu’aucune de ces conditions n’est remplie :
- la dimension temporelle n’est pas évoquée, on parle de corrélation entre des émotions et non de dynamiques de diffusion ;
- rien ne prouve que l’émotion de la deuxième personne est due à ce qu’a exprimé la première. Ainsi un groupe d’amis homogène peut avoir globalement la même humeur sans s’être parlé : par exemple si vous soutenez la même équipe de foot, il est probable que vous exprimiez la même émotion que vos amis lorsque l’équipe gagne ou perd ;
- rien ne prouve que les émotions de la première et de la deuxième personne sont les mêmes. Avec la technique utilisée, une personne triste et une personne en colère verront toutes deux leurs publications classées en négatif, sans que leur réaction n’ait de rapport (par exemple, l’une peut avoir raté un examen et l’autre perdu son portefeuille). Il arrive sans cesse à nos amis des choses agréable ou désagréables en même temps que nous ; si vous n’avez que deux émotions possibles (positive ou négative), vous partagerez probablement celle où vous vous trouvez avec 50% de vos amis Facebook.
On part donc d’indices possibles d’une émotion, qu’on peine à détecter, pour supposer que leur corrélation a un sens et n’est pas fortuite.
Est-ce au moins crédible statistiquement ?
Sur le papier, les résultats ont l’air de confirmer l’hypothèse : quand on diminue la quantités de publications “négatives” que voit une personne, les siennes semblent être moins négatives également, et réciproquement. L’effet a l’air particulièrement vrai du ratio de termes positifs quand on réduit l’exposition à des termes positifs.
Toutefois on sait que les résultats négatifs sont rarement publiés, donc ce qu’on voit dans une publication confirme presque toujours l’hypothèse (c’est pratique) – du moins en apparence.
J’ai donc essayé de comprendre à quoi les chiffres correspondent, et il faut avouer que ce n’est pas clair : les variables dont l’article indique la valeur (r, z, d…) ne sont pas définies, donc on ne comprend pas bien à quoi elles correspondent. N’étant pas statisticienne, je ne suis pas capable d’évaluer les tests effectués (et on me souffle qu’ils ne sont pas clairs), mais il y a un test qui me semble assez parlant : retracer le graphique (en l’occurrence, uniquement les deux premiers qui ont l’air d’être les plus significatifs) en remettant une échelle correcte, c’est-à-dire qui commence à 0 et s’arrête à 100, puisque ce sont des pourcentages. Comme les valeurs ne sont pas indiquées, j’ai mis des valeurs approximatives en utilisant la graduation de l’axe, mais ça ne change pas grand chose car…
Là tout d’un coup, je sais pas vous mais je ne suis plus tellement ébahie par l’ampleur des résultats.
En résumé
Les méthodes employées par Facebook sont cavalières, mais surtout, elles ne sont pas concluantes :
- L’article généralise de “Facebook” à “les réseaux sociaux” (en ligne ?) ;
- on ne sait pas ce qu’est une émotion ;
- elle est modélisée de façon minimaliste ;
- sa détection est plus qu’approximative, sans doute pleine d’erreurs ;
- la contagion n’est pas analysée dans sa dimension temporelle ;
- l’analyse statistique n’est pas claire ;
- la corrélation est surinterprétée en causalité ;
- les résultats ne sont pas significatifs.
Je doute donc que Facebook ait manipulé les émotions de qui que ce soit.
Ta correction du graphique est un peu trop méchante, parce que tout texte contient une large fraction de termes neutres—le taux de termes d’un type ou de l’autre ne va jamais de 0 à 100, la borne supérieure est très inférieure à ça. La différence en points de pourcentage entre les termes positifs et négatifs est de 3.5 : je dirais que la variance des taux se situe quelque part dans cette zone.
Aussi, ce billet.
Oui, j’ai forcé le trait, car je trouve leur graphique à la limite de la malhonnêteté (on ne voit même pas un demi pourcent) : il me semble que la bonne pratique serait de faire commencer l’échelle à zéro. En tout cas la marge d’erreur de la technique utilisée est largement supérieure à ton estimation de la variance.
Leur échelle permet de montrer la magnitude des effets attendus contre celle des contrefactuels (les termes positifs restent stables quand on augmente la négativité, alors que les termes négatifs augmentent, et vice versa).
Ça ne me paraît pas plus grave que ça : il faut bien lire l’échelle attentivement pour voir qu’on est sur des variations en demi-point de pourcentage, mais je pense que c’est approprié pour du matériau textuel de cette nature.
À la rigueur, on pourrait demander à ce que les barres soient dessinées sur des échelles fixes (même axes horizontal et vertical) : ça aurait l’effet de diminuer de beaucoup la taille de la seconde série de résultats.
” il faut bien lire l’échelle attentivement” : c’est justement ça qui me pose problème, avec ma casquette de communicante. A mon sens ce n’est pas au lecteur de décrypter les résultats, ils doivent être présentés de façon claire et parlante, y compris dans les représentations visuelles. En l’état, le message qu’exprime le graphique est “nous avons des résultats” alors que c’est loin d’être évident. Ceci étant c’est à l’image de l’ensemble de l’article qui est assez cavalier sur la forme dans son entier.
Vu leur taille d’échantillon, les marges d’erreur ne sont plus un problème. C’est ce qu’ils ont voulu dire, et à mon avis, ils ont raison : cette étude tranche avec les groupes “contrôle” de 15–30 personnes qu’on trouve partout en psychologie sociale.
Ensuite, on peut critiquer la magnitude de l’effet : si tu montres des photos d’Abu Ghraib aux gens et obtiens qu’ils sont légèrement moins contents de leur petit déj’, il y a clairement un problème. Je ne sais pas trop quelle taille d’effet on peut attendre sur ce genre d’expérience…
P.S. Cette interprétation de la taille de l’effet confirme qu’il est effectivement minuscule.
Le problème n’est pas la taille de l’effet mais sa mesure : la technique utilisée ne permet pas de mesurer une émotion. En revanche on peut prendre l’étude sous l’angle du vocabulaire utilisé, en disant que si on expose un utilisateur à des publications où certains mots sont surreprésentés, il va avoir tendance à utiliser un peu plus ces mots. On reste donc au plan purement linguistique. Si l’effet qu’on cherche à mesurer est celui-ci, alors je suis d’accord pour dire qu’on observe un effet minuscule mais dont la mesure est statistiquement significative.
Je pense que malgré la taille de l’échantillon, il y a quand même un problème parce que les résultats ne sont pas statistiquement significatifs. Quand on prend le graphique en haut à droite avec respectivement 5.12% et 5.27% pour experiment et control avec une taille d’échantillon de 155000, le test statistique de comparaison des proportions échoue.
Sous R:
> e1=0.0527*155000
> e2=0.0512*155000
> size=155000
> prop.test(x=c(e1,e2),n=c(size,size))
2-sample test for equality of proportions with continuity correction
data: c(e1, e2) out of c(size, size)
X-squared = 3.5101, df = 1, p-value = 0.06099
alternative hypothesis: two.sided
95 percent confidence interval:
-6.889092e-05 3.068891e-03
sample estimates:
prop 1 prop 2
0.0527 0.0512
Avec une p-value de 0.06, ça me semble audacieux de conclure à une différence statistiquement significative entre les 2 échantillons.
Joli, tu ouvres ton blog et finis direct dans Le Monde 🙂
Ça m’apprendra à réagir à un sujet d’actualité 😀
Sur le coup, ta remise à l’échelle ne me paraît pas justifiée. Le graphique originel est correctement dimensionné pour permettre de juger de l’amplitude de l’effet par rapport aux barres d’erreur, ce qui est le principal. Quant à l’amplitude en termes absolus, c’est risqué de vouloir l’interpréter comme ça. Les effets mesurés sont généralement faibles en psychologie, que ce soit parce que chaque facteur a peu d’importance pris séparément ou que le protocole ne permette pas bien de les distinguer. En l’occurence leurs résultats me paraissent dans la norme des publis dans ce domaine…
Je confesse avoir un problème avec ce qui se fait en psycho expérimentale en général, ou du moins avec ce que j’ai pu lire. Après peut-être que les autres formes de mesure pratiquées permettent de se fier à des pouièmes de pourcentages, mais en traitement automatique du langage, ce n’est clairement pas satisfaisant quand tu utilises une technique comme les dictionnaires polarisés qui donnent des résultats à peine meilleurs qu’un tirage aléatoire.
Je réagis – tardivement – sur l’ensemble des commentaires et sur la source secondaire (le papier du Monde) d’abord.
Le papier du Monde est clairement un travail journalistique et plutôt positif/enthousiaste vis à vis des trouvailles “putatives”.
Pour votre (vos) commentaire (s), bravo ; ce qui est dit est sensé et pertinent : le ‘mood’ n’est pas l’émotion, boite à outils discutable, méthode non liée aux phénomènes de diffusion ou de propagation, analyse des données pas renversante et pas très concluante.
Une idée pour la recherche : se focaliser sur des “terrains” plus limités et des méthodes “big data” plus liés à la corrélation (ensae) ou à la diffusion (telecom) ; par exemple, sur les événements de “place” (Tahrir, Maidan, etc.) et la propagation des émotions.
Il y a quelques années, Dominique Moïsi a écrit une “Géopolitique de l’émotion”., dont le sujet est d’ailleurs bien plus large.
A l’IUT Compiègne, on juge les articles sur les diplômes obtenus par les auteurs?
Quant à la critique sur la définition de l’émotion, vous poussez le bouchon.
Bonjour,
– ce n’est pas un IUT mais une université (l’UTC) comme l’UTT et l’UTBM ;
– le diplôme ne fait pas tout, mais le parcours d’une personne est un bon indice de ses compétences (c’est comme ça que fonctionnent les ressources humaines) ;
– si vous pensez qu’éprouver une émotion c’est utiliser des mots positifs ou négatifs, libre à vous.
Bonjour,
Je suis bien triste de voir cet article cité dans de grand journaux. En effet, il est d’une effroyable médiocrité. Votre analyse statistique est totalement fausse.
Tout d’abord, changer les axes comme vous le faites pour démontrer que l’effet est négligeable est juste scandaleux. Ce qui compte pour déterminer un effet c’est le rapport entre celui ci, et son erreur. Il est ici statistiquement significatif, ce qui tend à valider leur hypothèse. Pour reprendre vos mots, vous avez dépassé les limites de la malhonneteté.
Ensuite vos commentaires sur les axes sont effrayant. Lorsque l’on publie dans une revue scientifique comme PNAS, l’on s’adresse à un public spécialisé. Ils savent donc lire les échelles d’un graphiques et en interpoler les données. Le but est de ne pas noyer les données et les effets graphiques. Si vous voulez les données brutes afin de les analyser je vous donnes quelques pistes: soit vous lisez le texte (un bon début), soit vous imprimez le graphique en grand et vous mesurez les distances par rapport aux axes, soit vous contactez directement les auteurs pour leur demander les données brutes.
Enfin quant aux variables que vous ne trouvez pas claires, sachez que lorsque l’on publie dans une revue scientifique son public spécialisé connaît les méthodes utlisées. Enfin, les limites de taille de publication, trois pages ici, ne suffisent pas à y inclure un cours de statistique pour pseudoscientifiques. A nouveau, avant de publier des âneries, je vous donne trois pistes: suivre des cours dans votre université ou sur internet (MOOCS), ou alors plus simple lire la page wikipedia sur les tests mentionés dans l’article.
Ceci me permet de rebondir sur votre premier argument quand aux diplômes des auteurs. Si je suis votre logique, lorsque vous même avouez n’avoir aucune connaissance en statistique ou en psychologie experimentale, qu’est ce qui vous autorise à publier votre mauvais article et à juger un article scientifique? De plus qu’est ce qui vous autorise à tenir un blog sur bigdata? Je ne vous empêche pas de le faire, c’est juste que votre argument est risible. Entre scientifiques, nous utilisons les arguments et les méthodes de l’autre pour juger de son travail.
Vos conclusions sont plus que discutables:
■L’article généralise de “Facebook” à “les réseaux sociaux” (en ligne ?) ;
>Certes, cela remet-il vraiment en question leur résultats?
■on ne sait pas ce qu’est une émotion ;
>C’est une revue pour spécialistes. Pas un cours de psychologie.
■elle est modélisée de façon minimaliste ;
>C’est le principe d’un modèle justement. Les modèles les plus simples sont les meilleurs. En ajoutant trop de paramètres à un modèle, on finit par n’y déceler que du bruit et a y correler tout et n’importe quoi. Pour chaque paramètre, on augmente la probabilité d’obtenir une corrélation due au hasard.
■sa détection est plus qu’approximative, sans doute pleine d’erreurs ;
>Vous n’y connaissez rien mais vous dites que c’est plein d’erreur pour soutenir votre hypothèse. Ce n’est pas un argument, ce n’est pas scientifique.
■la contagion n’est pas analysée dans sa dimension temporelle ;
>C’est faux, ils ont vérifié la semaine avant que les groupes. Ils appliquent leur “manipulation” et ensuite ils mesurent l’effet. Ils auraient pu pousser l’analyse plus loin, c’est peut être une limitation de cet article qui leur permettra de conduire des recherches supplémentaires sur les données déja obtenues.
■l’analyse statistique n’est pas claire ;
>Si, elle l’est. Le but dans un article de trois pages n’est pas d’écrire un cours de stat.
■la corrélation est surinterprétée en causalité ;
>C’est faux, ils mesurent “avant” “après” et utilisent des groupes de contrôle.
■les résultats ne sont pas significatifs. C’est faux, ils sont statistiquement significatifs. Votre argument ne veut rien dire. Quant à la petite taille de l’effet dont vous parlez, elle est grande en regard de l’écart type, ainsi que par rapport à une réduction de seulement 2.24% du News Feed.
Bonjour,
Il n’y a pas de MOOC dédié à l’épistémologie. C’est dommage, car à vous lire, on regrette qu’il n’en existe pas.
Il en existe plein pour les stats de bases, et savoir ce qui est significatif ou non..
Pour l’introduction: http://ocw.mit.edu/courses/sloan-school-of-management/15-075j-statistical-thinking-and-data-analysis-fall-2011/lecture-notes/
Bonjour,
Auriez-vous plutôt des PDF de cours de coloriage ? Pour les stats fussent-elle de base, je ne suis pas sûre de tenir le choc.
Je voudrai rajouter une couche.
Les tests statistiques classique ne sont pas conçu pour d’aussi grand échantillons, avec 700 000 participants, le moindre paramètre devient rapidement significatif (je l’ai testé avec 600 000 participants une 10 dizaines de variables, tout devient significatif du plus pertinent au plus stupide.)
Il y a deux solutions soit considéré la puissance de l’effet ( L’effet d’une punaise sur une cuvette sur le fait de s’asseoir n’est pas la même que l’effet du relief du côté face sur le résultat d’un pile ou face d’un lancé de pièce.)
La seconde tiré plusieurs fois des petits échantillons.
Ici l’effet est clairement faible et ne survivrait pas à un échantillonnage.
ce n’est pas la première fois que des auteurs cherchent la significativité en augmentant la taille de la population.