(#7) Le paradoxe de Simpson - YouTube (#7) Simpson's paradox - YouTube (#7) La paradoja de Simpson - YouTube (#7) Il paradosso di Simpson - YouTube (#7) Simpsons paradox - YouTube (#7) O paradoxo de Simpson - YouTube (#7) Парадокс Симпсона - YouTube

Bonjour à tous ! Good morning all !

Aujourd'hui je voudrais vous parler d'un paradoxe de statistique Today I would like to talk to you about a paradox of statistics Parleremo oggi di un paradosso in statistica I dag vill jag berätta om en statistisk paradox

qu'on appelle le paradoxe de Simpson. called the Simpson paradox. chiamato paradosso di Simpson som kallas Simpsons paradox.

Si vous ne connaissez pas ce paradoxe, If you don't know this paradox, Se non conoscete questo paradosso, Om ni inte känner till denna paradox

je vous promets que vous allez le trouver vraiment perturbant. Ich verspreche Ihnen, dass Sie es wirklich beunruhigend finden werden. I promise you will find it really disturbing. sono sicuro che lo troverete al quanto perturbante. lovar jag er att ni kommer finna den verkligt omvälvande.

Et une fois que vous aurez vu la vidéo, And once you've seen the video, Ed una volta que avrete visto il video, När ni sett klippet

je suis sûr que vous ne regarderez plus les chiffres de la même manière quand on vous montre des statistiques. Ich bin sicher, dass Sie Zahlen nicht noch einmal auf dieselbe Weise betrachten werden, wenn Ihnen Statistiken angezeigt werden. I'm sure you won't look at numbers the same way again when you are shown statistics. sono sicuro che non guarderete più le cifre allo stesso modo quando vi verranno mostrate delle statistiche. är jag säker på att ni inte kommer se på siffror på samma sätt när ni ser statistiskt material.

[Générique] [Generisch] [Scienza sorprendente]

Voilà, maginons, vous êtes à l'hôpital et vous venez de passer des examens Los geht's, du bist im Krankenhaus und hast gerade Prüfungen abgelegt Here we are, you are in the hospital and you have just taken exams Ecco qua, immaginiamo que siate in ospedale e que abbiate appena fatto degli esami Alltså, låt oss föreställa att ni är på sjukhus och har undergått prover

et puis là, pas de bol, il s'avère que vous avez un truc bizarre qui se révèle être une tumeur. Und dann, kein Glück, stellt sich heraus, dass Sie etwas Seltsames haben, das sich als Tumor herausstellt. and then, no luck, it turns out that you have something weird that turns out to be a tumor. e, sfortunatamente, si scopre che avete qualcosa di strano, che si rivela essere un tumore. och därpå, oturen är framme, det uppdagas att ni har någon konstig grej vilket visar sig vara en tumör.

Alors le médecin vous reçoit puis vous explique qu'il faut la soigner Dann empfängt Sie der Arzt und erklärt Ihnen, dass es notwendig ist, sie zu behandeln Then the doctor receives you then explains to you that it is necessary to treat her Il medico vi riceve e vi spiega che bisogna curarlo Så läkaren tar emot er och förklarar att den måste behandlas

et il vous dit que pour ça il existe deux types de traitements. and he tells you that there are two types of treatment for that. e vi dice che esistono due tipi di trattemento. och för det finns det två sorters behandlingar.

Le premier type de traitement, c'est d'utiliser des médicaments, Il primo tipo di trattamento sono delle medicine, Första metoden är att använda medicinering,

c'est ce qu'on appelle de la chimiothérapie this is called chemotherapy chiamata chemioterapia vilket kallas kemoterapi

et puis l'autre type de traitement c'est de faire une chirurgie. and then the other type of treatment is to do surgery. e l'altro tipo è un'operazione. och den andra metoden är att vidta kirurgi.

Et là, le médecin vous demande lequel des deux traitements vous voulez suivre. And there, the doctor asks you which of the two treatments you want to follow. E il medico vi propone quale dei due trattamenti volete seguire. I det läger frågan läkaren er vilken av de två behandlingarna som ni vill få

Alors à priori vous n'y connaissez pas grand-chose donc vous lui posez la question Also a priori weißt du nicht viel darüber, also stellst du ihm die Frage So a priori you don't know much about it so you ask him the question Non conoscendo granché gli chiedete Så a priori vet ni inte mycket om detta utan ställer den uppenbara motfrågan

qu'on a tous envie de se poser dans ce genre de situation, c'est-à-dire, dass wir uns alle in einer solchen Situation fragen wollen, d.h. that we all want to ask ourselves in this kind of situation, that is to say, quello che abbiamo tutti voglia di chidere inq uesto tipo di situazioni, ovvero som man alltid vill ställa i den typen av situation, dvs,

c'est lequel des deux traitements qui marche le mieux ? which of the two treatments works best? quale dei due trattamenti è più efficace? vad funkar bäst?

Alors là, le médecin vous sort les chiffres d'une étude statistique qui a été faite au niveau national Dort gibt Ihnen der Arzt also die Zahlen einer statistischen Studie, die auf nationaler Ebene durchgeführt wurde So there, the doctor gives you the figures of a statistical study that was carried out at the national level Il medico vi parla dunque di cifre di uno studio statistico que è stato fatto a livello nazionale Så läkaren visar er siffror från en statistisk studie som gjorts på nationell nivå

et qui recense les taux de guérison des mille derniers patients und die die Heilungsraten der letzten tausend Patienten auflistet and which lists the cure rates of the last thousand patients que riporta il tasso di guarigioni degli ultimi 1000 pazienti och som återger andelen tillfrisknanden bland de tusen första patenterna

qui ont été traités avec chacune des deux techniques. die mit jeder der beiden Techniken behandelt wurden. which were treated with each of the two techniques. che hanno seguito ognuna delle due terapie. som behandlats med var och en av metoderna.

Alors les chiffres les voici : So the numbers here are: Le cifre sono: Här är siffrorna :

dans le cas des médicaments, le taux de guérison a été de 76 % in the case of drugs, the cure rate was 76% per quanto riguarda le medicine, il tasso di guarigione è stato del 76% i fallet med medicinering tillfrisknar 76%

et dans le cas de la chirurgie, il a été un peu moins élevé, il a été de seulement 66 %. und im Falle einer Operation war es etwas niedriger, es waren nur 66 %. and in the case of surgery, it was a little lower, it was only 66%. e nel caso dell'operazione, è stato un po' più basso, soltanto del 66%. och i fallet med kirurgi lite färre, endast 66%.

Donc l'affaire paraît claire, les médicaments marchent un peu mieux Quindi la cosa sembra chiara, le medicile funzionano meglio Saken tycks klar, medicinering fungerar lite bättre

donc vous décidez de partir sur un traitement à base de médicaments. Sie entscheiden sich also für eine medikamentöse Behandlung. decidete dunque di scegliere un trattamento a base di medicinali. så ni bestämmer er för behandling med medicinering.

Et puis quelques jours plus tard, vous rencontrez votre médecin traitant Und dann triffst du ein paar Tage später deinen behandelnden Arzt Poi, qualche giorno dopo, incontrate il vostro medico curante Några dagar senare möter ni er behandlande läkare

et il n'a pas l'air tout à fait d'accord avec votre choix und er scheint mit deiner wahl nicht ganz einverstanden zu sein and he doesn't seem to quite agree with your choice che non è proprio d'accordo con la vostra scelta och han verkar inte fullt ut nöjd med ert val

et vous explique qu'en fait ça dépend de la taille de la tumeur. und erklärt Ihnen, dass es tatsächlich auf die Größe des Tumors ankommt. e vi spiega che effettivamente dipende dalla grandezza del tumore och förklarar att det beror på tumörens storlek.

Alors, il cherche dans ses papiers et il retrouve une étude Allora, cercando tra i suoi documenti, trova uno studio Därför letar han i sina papper och finner en studie

qui montre les taux de guérison, mais séparés par taille de tumeur. che mostra il tasso di guarigione, ma fatto secondo la grandezza del tumore som visar andelen tillfrisknanden men separerat på tumörens storlek.

Alors, voici les chiffres: Ed ecco qui le cifre: Här är siffrorna:

pour les grosses tumeurs, qu'on définit comme étant celles de plus de 2 cm, per i grandi tumori, di più di 2 cm, För stora tumörer, vilket definieras som varandes större än 2 cm,

le taux de guérison des médicaments est de 49% et celui de la chirurgie est de 63% il tasso di guarigione dei medicinali è del 49% e quello delle operazioni è del 63% är andelen tillfirsknanden med medicinering 49% och med kirurgi 63%

donc sur les grosses tumeurs, c'est la chirurgie qui marche le mieux. quindi, sui grandi tumori, è l'operazione ad esserepiù efficace. vilket betyder att för stora tumörer är det kirurgi som fungerar bäst.

Puis sur les petites tumeurs, Poi sui piccoli tumori, För de små tumörerna,

le taux de guérison des médicaments est de 82% et celui de la chirurgie de 90%. il tasso di guarigione dei medicinali è dell'82% e quello dell'operazione del 90%. är andelen tillfrisknanden för medicinering 82% och för kirurgi 90%.

Donc sur les petites tumeurs, c'est aussi la chirurgie qui marche le mieux. Quindi, per i piccoli tumori, è lo stesso l'operazione a funzionare meglio. Alltså är det kirurgi som fungerar bäst även för de små tumörerna.

Donc là, vous êtes complètement perdu, A questo punto, site completamente persi, Så här är man alldeles borta,

vous avez une étude qui vous dit que les médicaments marchent mieux avete da una parte uno studio che vi dice che sono le medicine che funzionano meglio ni har en studie som visar att medicinering funkar bäst

et une autre étude qui vous dit que c'est toujours la chirurgie qui marche le mieux. e dall'altra uno studio che vi dice che è sempre l'operazione a funzionare meglio. och en annan studie som säger att det alltid är kirurgi som funkar bäst.

Alors vous prenez les deux études, vous les comparez, vous essayez de comprendre quelle est la différence Prendete dunque i due studi, li confrontate, cercate di capire quale sia la differenza Alltså tar ni de två studierna och jämför och försöker förstå skillnaden

et puis soudain vous réalisez qu'en fait, und dann merkst du plötzlich, dass tatsächlich ed improvvisamente vi rendete conto che in effetti, och plötsligt inser ni att

ces chiffres ne forment qu'une seule et même étude, ce sont exactement les mêmes chiffres. queste cifre costituiscono uno stesso ed unico studio, sono esattamente le stesse cifre. siffrorna härstammar från samma studie, det är helt enkelt samma siffror.

Je vais vous montrer. Vediamo. Jag skall visa er.

Ici je vous ai remis les chiffres de la deuxième étude donc on sépare par taille de tumeur Qui, vi ho rimesso le cifre del secondo studio, divise in base alla grandezza del tumore Här återger jag er siffrorna från andra studien, dvs med separation på tumörens storlek.

et vous voyez, je ne vous mets pas seulement les taux de guérison, e come potete vedere, non vi metto soltato il tasso di guarigione, och ni ser att ni inte bara får andelen tillfrisknanden,

je vous mets aussi à chaque fois combien de patients ont été traités comme ça. Ich gebe Ihnen auch jedes Mal, wie viele Patienten so behandelt wurden. vi metto anche, per ogni volta, quanti pazienti pazienti sono stati trattati con questa tecnica. utan också hur många patienter som behandlats på de olika sätten.

Si on fait le total du nombre de patients qui ont été traités par médicament Se calcoliamo il totale del numero dei pazienti che hanno seguito il trattamento attraverso attraverso i medicinali Om man räknar ihop antalet patioenter som behandlats med medicinering

et bien on retrouve le chiffre que je vous ai donné tout à l'heure et le taux de guérison est de 76%. ritroviamo la cifra che vi ho dato poco fa ed un tasso di guarigione del 76%. finner man att man återfår den första siffran jag gav er för tillfrisknande nämligen 76%

Et si vous faites la somme des chiffres des patients qui ont été traités par chirurgie, E se calcolate la somma delle cifre dei pazienti che hanno effettuato un'operazione, Och om ni summerar för de patienter som behandlats med kirurgi,

vous retrouvez aussi le chiffre que je vous ai donné et avec un taux de guérison de 66%. trovate anche qui la cifra che vi ho dato e con un tasso di guarigione del 66%. återfår ni också den inledande siffran om 66% tillfrisknanden.

Donc si vous ne me croyez pas, je vous conseille de revenir un petit peu en arrière Also, wenn du mir nicht glaubst, schlage ich vor, dass du einen Schritt zurück gehst Quindi, se non mi credete, vi consiglio di tornare un po' indietro Så om ni inte tror mig råder jag er att rulla tillbaka klippet

et vous pouvez vérifier mes calculs. e verificare i miei calcoli. så att ni kan verifiera mina beräkningar.

On voit bien que, au global les médicaments ont un taux de guérison meilleur Vediamo bene che, in generale, i medicinali hanno un più alto tasso di guarigione Man finner att sammantaget ger medicinering en högre andel tillfrisknanden

mais si on sépare par type de tumeur, ma se dividiamo per tipo di tumore, men om man separerar på tumörens storlek

c'est la chirurgie qui a toujours un taux de guérison meilleur. è sempre l'operazione ad avere un miglior tasso di guarigione. är det alltid kirurgi som har högst andel tillfrisknanden.

[Générique] [Il paradosso di Simpson]

Là, normalement, vous vous demandez, comment c'est possible. Vi starete chiedendo, come può essere possibile Det normala är att fråga sig hur det kan vara möjligt.

Comment est-ce qu'en partant des mêmes chiffres, Wie kommt es, dass ausgehend von den gleichen Zahlen, Com'è possibile, che parlando delle stesse cifre Hur kan man dela upp samma siffror

je peux, au global, conclure que les médicaments marchent le mieux io possa concludere che i medicinali funzionino meglio in generale kan jag i sammantagen mening dra slutsatsen att medicinering funkar bäst

mais sur chaque type de tumeur prise individuellement, ma che, per un tipo di tumore preso individualmente, men givet typen/storleken för sig,

conclure que c'est la chirurgie qui marche le mieux. concludere che sia l'operazione a funzionare meglio. dra slutsatsen att kirurgi funkar bäst.

Alors, je vous rassure, il n'y a pas d'erreur, il n'y a pas de manipulation, il n'y a pas de truc. Also, ich versichere Ihnen, es gibt keinen Fehler, keine Manipulation, keinen Trick. Allora, tranquilli, non c'è nessun errore, nessuna manipolazione, nualla. Jag försäkrar er att det inte är handhavandefel, det är inget trixande, det är inget förfelande.

Ce que vous voyez là, c'est juste les vrais chiffres Quello che vedete qui, sono le cifre reali Det ni ser är de riktiga siffrorna

et vous êtes face à ce paradoxe de statistique qu'on appelle le paradoxe de Simpson. e siete davanti ad un paradosso di statististica che si chiama paradosso di Simpson. och ni står inför den statistiska paradox som kallas Simpsons paradox.

C'est un paradoxe qui dit que, certaines données statistiques, Es ist ein Paradox, das besagt, dass bestimmte statistische Daten, E' un paradosso che dice che, alcuni dati statistici, Det är en paradox som säger att vissa statistiska data

suivant la manière dont on les analyse, on peut aboutir à une conclusion Je nachdem, wie wir sie analysieren, können wir zu einer Schlussfolgerung kommen secondo il modo in cui li analizziamo, possiamo giungere ad una conclusione utifrån hur de analyseras kan utmynna i en slutsats

ou à la conclusion opposée. o alla conclusione opposta. eller den omvända slutsatsen.

Là, le problème, c'est que vous avez vraiment envie de savoir quel traitement marche le mieux. Qui, il problema è che voi volete assolutamente sapere qual è il trattamento che funziona meglio. Problemet är att ni verkligen vill veta vilken behandling som fungerar bäst.

Est-ce que c'est les médicaments ou est-ce que c'est la chirurgie ? Le medicine o l'operazione ? Är det medicinering eller kirurgi?

Est-ce qu'il faut croire la première manière de présenter les choses ou plutôt la deuxième ? Devo credere al primo o al secondo modo di presentare le cose ? Skall man tro på det första sättet att återge underlaget eller det andra?

Je vous laisse vous faire votre opinion pendant une seconde puis je vais vous donner la réponse. Vi lascio riflettere alla vostra propria opinione per un secondo, poi vi do la risposta. Jag låter er skapa er egen uppfattning under någon sekund och sen ger jag er svaret.

En fait la vérité, c'est que c'est la chirurgie qui marche le mieux. In effetti la verità è che l'operazione che funziona meglio. Det rätta svaret är att kirurgi fungerar bäst.

Le fait que les médicaments aient l'air d'avoir des taux de guérison plus élevés en moyenne, Die Tatsache, dass die Medikamente im Durchschnitt höhere Heilungsraten zu haben scheinen, Il fatto che i medicinali possano sembrare avere un miglior tasso di guarigione in media, Det faktum att medicinering tycks ha högst andel tillfrisknande i snitt

c'est juste une apparence. es ist nur ein Schein. è solo un'apparenza. är bara synbarligt.

Pour comprendre ça, il faut retourner dans le détail des chiffres. Per capirlo, dobbiamo tornare in dettaglio alle cifre. För att förstå det måste vi titta noggrannare på detaljerna i siffrorna.

Il y a deux observations importantes à faire. Bisogna fare due osservazioni importanti. Det fins två viktiga observationer att göra.

La première c'est que les grosses tumeurs La prima è che i grandi tumori Den första är att de stora tumörerna

ont des taux de guérison plus faibles que les petites tumeurs. haben niedrigere Heilungsraten als kleine Tumoren. hanno delle percentuali di guarigione meno importanti rispetto ai piccoli tumori. har lägre tillfrisknandegrad än de små.

Ce n'est pas très surprenant, on imagine que les grosses tumeurs sont plus difficiles à guérir. Non è sorprendente, dato che i grandi tumori sono più difficili da curare. Det är inte förvånande, man kan föreställa sig att det är de svåraste att återställa.

La deuxième observation importante, c'est que quand on a une grosse tumeur La seconda osservazione importante da fare è che, quando si ha un tumore di grandi dimensioni Den andra viktiga observationen är att när man har en stor tumör

on utilise beaucoup plus souvent la chirurgie que les médicaments. si effettua molto più spesso un'operazione che un trattamento medicale. används mycket oftare kirurgi än medicinering.

Donc qu'est-ce qui se passe, en fait intrinsèquement la chirurgie fonctionne mieux, Quindi quello che succede è che intrinsecamente l'operazione funziona meglio, Så det som händer är att kirurgi har ett inneboende bättre resultat.

sauf que, historiquement, dès qu'on a eu un cas difficile, außer dass, historisch gesehen, sobald wir einen schwierigen Fall hatten, except that, historically, as soon as we have had a difficult case, solo che, istoricamente, non appena si aveva un caso difficile, förutom att man historiskt, när man haft svårare fall

on a beaucoup plus souvent utilisé la chirurgie que les médicaments. si è più spesso ricorso all'operazione che alle medicine. mycket oftare valt kirurgi än medicinering.

Donc sur les données statistiques, quand on regarde tout ça, Quindi, sulla base dei dati statistici, quando si guarda nell'insime Så i det statistiska underlaget, när man ser till allt detta

le score de la chirurgie est moins élevé parce qu'on lui a toujours filé les cas difficiles. die OP-Punktzahl ist niedriger, weil ihm immer schwierige Fälle gegeben wurden. the score for surgery is lower because he has always been given difficult cases. la percentuale del ricorso all'operazione è più alto perché abbiamo affidato a quest'ultima i casi più difficile blir kirurgins utfall sämre för alla svåra fall hamnar där.

Pour comprendre comment ça peut se produire ce genre de situation, au niveau statistique, Per capire come possa prodursi una simile situazione a livello statistico, För att förstå kan man skapa den sortens situation i statistisk mening,

il faut faire appel à une notion qu'on appelle le facteur de confusion. Sie müssen etwas verwenden, das als Störfaktor bezeichnet wird. bisogna fare appello a una nozione chiamata fattore di confusione. måste vi erinra oss begreppet den förvirrande faktorn.

Qu'est-ce qu'on essaie de faire ici ? Was versuchen wir hier zu tun? Cosa cerchiamo di fare qui? Så vad är det vi försöker göra här?

On essaie d'étudier un lien de cause à effet entre le choix du traitement et la guérison. Wir versuchen, eine Ursache-Wirkungs-Beziehung zwischen der Wahl der Behandlung und der Heilung zu untersuchen. Cerchiamo di trovare una connessione causa effetto tra la scenta del trattamento e la guarigione. Vi försöker studera ett samband mellan orsak och verkan mellan val av behandling och tillfrisknande.

Alors, la probabilité de guérison dépend du choix du traitement Allora, la probabilità di guarigione dipende dalla scelta del trattamento Alltså, sannolikheten för tillfrisknande beror på valet av behandling

mais elle dépend bien sûr de tout un tas d'autres facteurs aber es hängt natürlich von einer ganzen Reihe anderer Faktoren ab ma questa ovviamente, dipende da tutta una serie di fattori men det beror också, så klart, på en massa andra faktorer

et notamment de la taille de la tumeur. e soprattutto dalla dimensione del tumore. och speciellt tumörens storlek.

Sauf que dans les données qu'on utilise, Solo che, nei dati che usiamo, I det givna sifferunderlaget däremot

la taille de la tumeur a aussi joué sur les choix des traitements qu'on a utilisés. Auch die Größe des Tumors spielte bei der Wahl der eingesetzten Therapien eine Rolle. la dimensione del tumore è calcolata in base ai trattamenti utilizzati. inverkar redan tumörens storlek på vilken behandling som valts.

Vous vous souvenez, à chaque fois qu'on avait des grosses tumeurs Denken Sie daran, jedes Mal, wenn wir große Tumoren hatten Vi ricordate, ogni volta che avevamo dei tumori di grandi dimensioni Ni kommer ihåg att varje gång man haft stora tumörer

on avait plutôt tendance à utiliser la chirurgie que les médicaments. vi era una tendenza ad utilizzare l'operazione piuttosto che le medicine. har man tenderat att använda kirurgi snarare än medicinering

Et donc on a un facteur externe, la taille de la tumeur, qui joue à la fois Abbiamo quindi un fattore esterno, la dimensione del tumore, che constibuisce Så det finns en extern faktor, nämligen tumörens storlek, som både spelar in

sur la conséquence mais aussi sur la cause qu'on veut étudier. sulla conseguenza e sulla cause che vogliamo studiare. på utfallet men även på orsaken på det vi studerar.

Donc c'est ça qu'on appelle un facteur de confusion et c'est quand on est dans ce genre de situation Questo è quello che chiamiamo fattore di confusione ed è quando ci troviamo in questo tipo di situazioni Det är vad man kaklar en förvirrande faktor och det är i det här läget

que le paradoxe de Simpson peut se produire. che il paradosso di Simpson potrebbe prodursi. som Simpsons paradox uppstår.

Pour bien vous faire comprendre ça, je vais prendre un exemple Perché sia ben chiaro, prenderò un altro esempio För att ordentlig förstå detta skall jag ta ett exempel

qui est peut-être un petit peu caricatural mais qui est intéressant. che può sembrare un po' esagerato, ma interessante. som kanske är något karakteristiskt men ändå intressant

Un jour, j'écoutait un débat à la radio sur les bienfaits, ou pas, du redoublement Eines Tages hörte ich im Radio eine Debatte über den Nutzen oder Schaden von Klassenwiederholungen. Un giorno, stavo ascoltando un dibattito alla radio, sui benefici, o meno del ripetere l'anno a scuola En dag hörde jag en radiodebatt om nyttan eller ej med att gå om en klass

et l'un des deux protagonistes disait la chose suivante, il disait : ed uno dei due protagonisti diceva : en av de medverkande sade det följande:

Alors, je veux bien croire que la question des bienfaits du redoublement soit compliquée So, I want to believe that the question of the benefits of repeating a year is complicated Allora, posso capire che la questione sui benefici del ripetere l'anno sia complicata Jag tror alla gånger att frågan om nyttan med att gå om en klass är komplicerad

mais ce dont je suis sûr, c'est que cet argument, il est stupide. ma sono sicuro che questa motivazione è stupida. men jag är ändå säker på att detta argument är dumt.

Je pense que vous voyez pourquoi, les élèves qu'on fait redoubler, en général, Penso che capiate perché. Gli alunni che ripetono l'anno, in generale, Ni inser säkert varför. De lever som går om är

c'est ceux qui sont en difficulté scolaire sono quelli che hanno delle difficoltà a scuola i allmänhet de som har svårt i skolan.

donc ce n'est pas hyper surprenant de constater qu'à la fin, non è quindi strano constatare che alla fine, så det är inte jätteförvånande att dessa elever till slut

ces élèves là ont des notes moins bonnes que les autres au bac. siano questi studenti ad avere dei voti meno buoni alla maturità. får sämre betyg än de andra.

Si vous regardez finement le truc, vous voyez qu'on est aussi dans une situation où on a un facteur de confusion. Se ci pensate, siamo nuovamente in una situazione con un fattore di confusione. Ni inser vad som är underliggande här, att det återigen är ett fall med en förvirrande faktor.

Ce qu'on essaie de faire, c'est d'étudier le lien de cause à effet Quello che cerchiamo di fare, è di studiare il legame causa effetto Det man vill göra är att se sambandet mellan orsak och verkan

entre le fait de redoubler ou pas et les notes au bac zwischen Wiederholung oder nicht und Abitur tra il fatto di ripetere l'anno o meno ed i voti alla maturità mellan att gå om en klass eller ej samt slutbetyg.

et on a un facteur qui est le niveau scolaire de l'élève qui va jouer sur ses notes au bac und wir haben einen Faktor, der das Schulniveau des Schülers ist, der seine Noten im Abitur beeinflusst ed abbiamo un fattore, che è il livello scolastico de l'alunno, che influisce sui voti alla maturità och man har en faktor som är elevens skolastiska nivå vilken spelar inte på betyget

mais qui va aussi jouer sur le fait qu'on ait choisi de le faire redoubler ou pas. aber das spielt auch mit der Tatsache, dass man sich dafür entschieden hat, es zu wiederholen oder nicht. ma questo stesso fattore influisce anche sul fatto che abbiamo scelto di fargli ripere l'anno o meno. men som också inverkar på huruvida man väljer att gå om eller ej.

Donc le niveau scolaire de l'élève est un facteur de confusion et si on l'oublie, Quindi, il livello scolastico dell'alunno è un fattore di confusione, e se lo eliminiamo, Därmed är elevens skolastiska nivå en förvirrande faktor och om man glömmer den,

on aboutit à une conclusion qui est erronée au plan statistique giungeremo ad una confusione che è sbagliata da un punto di vista statistico utmynnar man i en missvisande slutsats i statistisk mening

qui est que, faire redoubler les élèves ça fait baisser leurs notes au bac. Das heißt, wenn die Schüler ein Jahr wiederholen, sinken ihre Noten im Bac. sarebbe a dire, far ripetere l'anno all' alunno fa abbassa i suoi voti alla maturità. som lyder att betygen går ner av att gå om ett skolår.

[Générique] Le paradoxe de Simpson

Pour bien montrer que les facteurs de confusion et donc le paradoxe de Simpson Per mostrare che il fattore di confusione, e quindi il paradosso di Simpson För att ytterligare visa att förvirrande faktorer, dvs Simpsons paradox

peuvent se cacher un petit peu partout dans les statistiques, je vais prendre encore un autre exemple. überall in der Statistik ein wenig verstecken kann, nehme ich noch ein Beispiel. possono nascondersi un po' dappertutto nella statistica, prendo ancora un altro esempio. kan gömma sig lite överallt i statistiken skall jag ta ännu ett exempel.

Imaginons que vous vouliez étudier le lien qui existe entre la consommation de bière des gens et leur libido. Angenommen, Sie möchten den Zusammenhang zwischen dem Bierkonsum der Menschen und ihrem Sexualtrieb untersuchen. Immaginiamo che vogliate studiare il legame che esiste tra il consumo di birra delle persone e la loro libidine. Låt oss föreställa oss att ni vill studera ett eventuellt samband mellan folks ölkonsumtion och deras sexlust.

Alors qu'est-ce que vous faites? Vous prenez un échantillon représentatif de la population Also wie geht's dir? Sie ziehen eine repräsentative Stichprobe der Bevölkerung Allora, come fareste? Prendete un campione rappresentativo della popolazione Så vad gör ni? Tar ni en representativt urval av befolkningen

et vous leur soumettez un questionnaire où ils doivent évaluer leur consommation hebdomadaire de bière und du schickst ihnen einen Fragebogen, in dem sie ihren wöchentlichen Bierkonsum einschätzen müssen e gli sottoponete un questionatio nel quale devono riportare il consumo di birra fatto settimanalmente och låter dem fylla i ett frågeformulär där de får utvärdera sin ölkonsumtion per vecka

puis noter leur libido sur une échelle de 1 à 10. successivamente valutare la loro libidine su una scala da 1 a 10. och därefter skriva upp sin sexlust på en skala mellan 1 och 10.

Très bien, vous distribuez le questionnaire, vous récupérez les réponses, Sehr gut, Sie verteilen den Fragebogen, sammeln die Antworten, Bene, distribuite il questionario, recuperate le risposte, Gott så, ni delar ut frågeformuläret och samlar in svaren,

vous analysez les données analizzate i dati därpå analyserar ni de givna datat

puis vous décidez de faire un graphique qui va montrer la libido en fonction la consommation de bière. poi decidete di fare un grafico che mostra la libidine in funzione alla consumazione di birra. därvid beslutar ni att göra en plottning som visar sexlusten som funktion av ölkonsumtionen.

Donc sur ce graphique, chaque point représente une des personnes que vous avez interrogées Quindi, su questo grafico, ogni punto rappresenta una delle persone che avete intervistato Så i plotten representerar varje punkt en utfrågad person

et montre sa consommation de bière et sa libido. e mostra la sua consumazione di birra e la sua libidine och visar sin ölkonsumtion och sexlust.

Donc qu'est-ce qu'on voit sur ce graphique ? Cosa vediamo quindi su questo grafico? Vad ser man alltså i plotten?

On voit qu'il semble y avoir une belle corrélation entre les deux, c'est-à-dire que Vediamo che sembra esserci una connessione tra le due, ovvero Man ser att det tycks finnas en tydlig korrelation mellan de två, dvs att

plus on boit de bière, plus on a une libido élevé. più beviamo birra, più abbiamo un aumento di libido. ju mer öl man dricker desto mer går sexlusten upp.

Là, super vous vous préparez à faire un communiqué de presse avec Kronenbourg et soudain, Ecco, apposto, vi preparate a fare un comunicato stampa per Kronenbourg ed improvvisamente, Suveränt. Läge för att förbereda en presskommuniké med Kronenbourg men plötsligt

quelqu'un vous demande qu'est-ce qu'il se passe si on regarde qualcuno vi chiede che succede se guardiamo frågar någon vad som händer om man tittar på

quels sont les hommes et quelles sont les femmes sur ce graphique. quali sono gli uomini e quali le donne su questo grafico. vilka som är män och vilka som är kvinnor i plotten.

Alors vous reprenez vos données et vous retracez le graphique Allora riprendete i dati e rifate il grafico Så ni återgår till era data och återskapar plotten

en coloriant différemment les hommes et les femmes. colorando in modo diverso gli uomini e le donne. med olika färgläggning för män och kvinnor

Et là, voilà ce que vous obtenez. Ed ecco qua il risultato. Och här är vad ni får ut.

En fait vous voyez que chez les femmes, Infatti, noterete che nelle donne, Så ni ser att för kvinnor

la consommation de bière n'a pas franchement d'influence sur la libido, Bierkonsum hat keinen wirklichen Einfluss auf die Libido, il consumo di birra non ha influenza sulla libido, finns egentligen inget inflytande av öl på sexlusten,

même plutôt une influence négative addirittura un'influenza piuttosto negativa eller till och med en negativ sådan

et puis chez les hommes et bien il n'y a pas vraiment d'influence non plus. e nemmeno negli uomin ha molta influenza. och hos män tycks det inte heller finnas något verkligt inflytande.

Vous voyez que si on différencie par sexe, Vedete che, se differenziamo per sesso, Det framgår att om man särskiljer på kön,

en fait, il n'y a pas du tout de corrélation entre la consommation de bière et la libido non c'è nessuna relazione tra consumo di birra e libidine finns det ingen korrelation alls mellan ölkonsumtion och sexlust.

et pourtant si on oublie de regarder ça différencié par sexe, on a l'impression qu'il y a une corrélation. e pertanto, se dimentichiamo di guardare secondo una differenza per sesso, abbiamo l'impressione che ci siamo una connessione. trots att sambandet tycks tydligt om man glömmer att se det särskiljt.

Donc on est encore une fois dans exactement le même genre de situation, Siamo quindi ancora una volta esattamente nello stesso tipo di situazione Vi är alltså återigen i samma slags situation,

c'est-à-dire qu'on essaie d'étudier le lien de cause à effet entre consommation de bière et libido vale a dire, che cerchiamo di studiare il legame causa effetto tra conumo di birra e libidine dvs att man försöker studera sambandet mellan orsak och verkan mellan ölkonsumtion och sexlust

et on a un facteur de confusion qui est le sexe des gens ed abbiamo un fattore di confusione che è il sesso delle persone och det finns en förvirrande faktor som är könet.

qui joue à la fois sur la consommation de bière (parce que les hommes ont tendance à boire plus de bière) was sich sowohl auf den Bierkonsum auswirkt (da Männer dazu neigen, mehr Bier zu trinken) che influisce da una parte sul consumo di birra (perché gli uomini hanno tendenza a bere più birra) som både spelar in på ölkonsumtionen (för män tenderar att dricka mer öl)

et sur leur libido (parce que les hommes ont tendance à avoir une libido plus élevée). e dall'altro sulla libidine (perché gli uomini hanno tendenza ad avere più libidine). och deras sexlust (för män tenderar att ha högre sexlust)

Alors, je vous rassure, ça c'est une étude fictive, c'est moi qui ai inventé les chiffres Allora, tranquilli, è uno studio inventato, ho intentato io le cifre Här skall tillstås att det är en fiktiv studie, det är jag som hittat på siffrorna

mais des situations de ce genre là, je vous promets qu'il en existe partout. ma delle situazioni di questo tipo, vi giuro che esistono ovunque. men jag lovar er att den här typen situation finns överallt.

Voilà, j'espère vous avoir convaincus que le paradoxe de Simpson peut se cacher un peu partout Spero di avervi convinto che il paradosso di Simpson può nascondersi un po' dappertutto Så, jag hoppas ha övertygat er om att Simpsons paradox kan gömma sig lite överallt

et donc qu'il faut toujours être méfiant quand on regarde des statistiques e che bisogna quindi diffidare quando si guardano delle statistiche. och att man alltså måste vara varsamt när man ser på statistik

Maintenant la question c'est, qu'est-ce qu'il faut faire pour pouvoir se prémunir de ce paradoxe ? Adesso la questione è : cosa bisogna fare per prevenire questo paradosso? Nu till frågan om hur man förbereder sig för denna paradox?

Alors, il n'existe que deux solutions. Allors, esistono solo due soluzioni. Det finns bara två lösningar.

La première méthode c'est qu'il faut savoir qu'il y a un facteur de confusion Die erste Methode besteht darin, zu wissen, dass es einen Störfaktor gibt La prima è che bisogna sapere che esiste un fattore di confusione Den första är att veta om det finns en förvirrande faktor

il faut y avoir pensé et il faut analyser les données en conséquence. bisogna averci pensato ed analizzato i dati in base a questo. det måste man ha tänkt på och analysera och förstå datat i dess ljus

C'est ce qu'on a fait par exemple dans le cas de la tumeur, on a analysé les données par taille de tumeur Quello che facciamo, per esempio, nel caso del tumore è analizzare i dati in base alla dimensione del tumore Det är exempelvis vad man gör i fallet med tumören, man analyserar datat per tumörstorlek

et c'est ce qu'on a fait aussi dans le cas de la bière et de la libido où on a différencié l'analyse par sexe. ed è quello che abbiamo fatto anche nel caso della birra e della libidine, dove abbiamo differenziato l'analisi in base al sesso. och det är också vad man gör i fallet med öl och sexlust då man särskiljt analysen på kön.

Mais ça, ce n'est pas évident parce qu'il faut connaître le facteur de confusion. Non è facile, bisogna conoscere il fattore di confusione. Men det är inte lätt för man måste veta om den förvirrande faktorn.

Par exemple, dans mon cas du redoublement, c'était un petit peu évident, In meinem Fall der Klassenwiederholung war es zum Beispiel ein bisschen offensichtlich, Per esempio, nel caso della ripetizione dell'anno, era più semplice, I mitt exempel med att gå om en klass var det ganska uppenbart,

je pense que tout le monde avait senti le piège. Ich glaube, jeder hatte die Falle gespürt. penso che tuttia abbiate capito il trabocchetto. där tror jag alla anande att det fanns en fälla.

Dans le cas de la bière et de la libido c'était beaucoup moins évident de penser au facteur de confusion Nel caso della birra e della libidine invece, era molto meno semplice pensare al fattore di confusione I fallet med öl och sexlust var det betydlig mindre uppenbart att förstå vilken den förvirrande faktorn var

et puis dans le cas des tumeurs, si vous n'êtes pas un spécialiste du sujet, e nel caso del tumore, se non siete specialisti, och i fallet med tumören, förutsatt att ni inte är specialist på ämnet,

il n'y a aucune chance que vous y pensiez. es gibt keine Möglichkeit, darüber nachzudenken. è impossibile che venga in mente. var det omöjligt för er att komma på det.

Donc, qu'est-ce que ça nous montre ça ? Also, was zeigt uns das? Quindi, cosa ci dimostra tutto questo? Så vad förstår vi av allt detta?

Ça nous montre que quand on regarde des statistiques, on ne peut pas se passer d'avoir quelqu'un Es zeigt uns, dass wir beim Blick auf Statistiken nicht darauf verzichten können, jemanden zu haben Ci dimostra che quando leggiamo delle statistiche, dobbiamo avere qualcuno Det visar oss att när man ser på statistik är det oundgängligt att ha någon Bize istatistiklere baktığımızda, birine sahip olmadan yapamayacağımızı gösteriyor.

qui sait de quoi il parle, qui connaît le domaine dont il est question. wer weiß, wovon er spricht, wer weiß, von welchem Gebiet er spricht. che sappia di cosa si parla, che conosca l'argomento di cui si parla. som vet vad han pratar om, som kan området det handlar om.

Ça, je pense que c'est une leçon importante parce que vous savez, à l'heure des big data, de l'open data, Ich denke, dies ist eine wichtige Lektion, denn Sie wissen, im Zeitalter von Big Data, von Open Data, Penso che sia un'importante lezione perché, sapete, nei big data, open data, Det tror jag är en viktig läxa för ni vet hur big data och öppen data kommit på sistone

on a l'impression qu'il y a plein de données disponibles partout abbiamo l'impressione che ci siano un sacco di dati disponibili ovunque och då upplevs det som att det finns massor av tillgänglig data överallt

et que n'importe qui peut aller piocher des données, les analyser et puis tirer des conclusions. und dass jeder Daten abrufen, analysieren und daraus Schlussfolgerungen ziehen kann. and that anybody can go and take data, analyze it and then draw conclusions. e che chiunque possa recuperare delle informazioni, analizzarle e trarne delle conclusioni. och att vem som helst avbilda data, analysera den och dra slutsatser.

Et bien en fait, non ce n'est pas vrai, on ne peut pas se passer de quelqu'un qui sait de quoi il parle. Nun ja, nein, das stimmt nicht, man kann nicht auf jemanden verzichten, der weiß, wovon er spricht. Well actually, no that's not true, we can't do without someone who knows what they're talking about. Ebbene, in effetti, non è così, non possiamo evitare di avere qualcuno che sappia di cosa si parla. Egentligen är det inte sant, man kan inte tillgå någon som vet vad han talar om. Aslında, hayır bu doğru değil, ne hakkında konuştuklarını bilen biri olmadan yapamazsınız.

L'autre option pour être sûr de ne pas tomber dans le paradoxe de Simpson, c'est de faire une expérience. Un'altra opzione, per essere sicuri di non cadere nel paradosso di Simpson è di fare un esperimento. Andra möjligheten att försäkra sig om att inte hamna i Simpsons paradox, är att göra ett experiment.

Dans tous les exemples dont je vous ai parlé, à chaque fois, on utilise des données qui existent déjà, In tutti gli esempi dei quali vi ho parlato, vengono utilizzati dei dati già esistenti, I alla de exempel jag redovisat har jag använt data som redan funnits,

c'est ce qu'on appelle, une étude rétrospective. è quello che viene chiamato uno studio retrospettivo. vilket man kallar en återblickande studie.

Alors que si on crée de toutes pièces une expérience dont on va analyser les données, Wenn wir dagegen ein Experiment von Grund auf neu erstellen, dessen Daten wir analysieren, Mentre, se creiamo noi stessi un esempio, per il quale analizziamo i dati, Om man i stället skapar datat som skall analyseras

on fait ce qu'on appelle, une étude prospective. facciamo quello che si chiama uno studio prospettivo. gör man det som kallas en framåtblickande studie.

C'est quoi la différence ? Qual è la differenza? Vad är då skillnaden?

Je vous ai dit, un facteur de confusion pose problème parce qu'il influe Come vi ho detto, un fattore di confusione crea problemi perchè influisce Det är det jag talat om, en förvirrande faktor skapar problem genom att den påverkar

à la fois sur la cause et la conséquence qu'on souhaite étudier. sulla cause e sulla conseguenza che vogliamo analizzare. både orsak och inverkan på det man studerar.

Donc la solution, c'est de casser le lien entre le facteur de confusion et la cause. Quindi la soluzione è quella di rompere il legame tra il fattore di confusione e la causa. Därmed är lösningen att bryta förhållandet mellan den förvirrande faktorn och orsaken.

On va prendre un exemple. Prendiamo un esempio. Vi tar ett exempel.

Si je reviens sur le cas du redoublement, qu'est ce qu'il faudrait faire pour prouver à coup sûr Tornando all'esempio della ripetizione dell'anno scolastico, cosa dovremmo fare per dimostrare in modo sicuro Om jag återgår till exemplet med att gå om en klass, vad skulle man behöva göra för att säkerställa

si le redoublement est efficace ou pas ? se ripetere l'anno è efficace o meno? om det är effektivt att gå om en klass eller ej?

Et bien, ce qu'il faudrait faire c'est prendre une classe, la couper en deux au hasard E bene, prendere una classe, la dividere in due in modo casuale Det man skulle få göra är att ta en klass och dela den på två med slump

et dire, la première moitié je la fait redoubler et la deuxième moitié je la fait passer. e dire, la prima metà la faccio promuovere e la seconda metà la faccio ripetere. och säga att ena halvan får gå om en klass medan den andra går ut.

Si on fait ça, dans chacun des deux groupes, on aura des élèves de tous les niveaux In questo modo, in ognuno dei due gruppi, avremo degli alunni di tutti i livelli På det viset kommer båda grupperna innehålla elever på alla nivåer

et donc à la fin, en comparant les notes au bac de ces deux groupes, e quindi alla fine, confrontando i voti dei due gruppi alla maturità, och på slutet jämföra betygen vid examen för båda grupperna.

on pourra savoir s'il y a vraiment un impact positif du redoublement sur les notes au bac. sapremo se esiste veramente un impatto positivo della ripetizione dell'anno sui voti alla maturità. man kommer kunna veta om det finns en verklig positiv inverkan på betygen genom att gå om.

Vous voyez que le problème de ce genre de chose, Vedete che il problema in questo tipo di cose, Det framgår för er att problemet med en sådan sak

c'est que faire une expérience comme ça, ça peut être très compliqué, ça peut être très long, è che fare un esperimento di questo tipo, può risultare complicato e molto lungo, är att genomföra ett sådant experiment, det kan vara komplicerat eller utdraget.

ça peut poser des problèmes d'éthique può causare problemi etici det skall ställa oss inför etiska problem.

mais pourtant, c'est le seul moyen de prouver à coup sûr un lien entre une cause et un effet. ma d'altra parte, è l'unico modo di provare con certezza un legame causa effetto. men det är det enda sättet att med säkerhet påvisa ett förhållande mellan orsak och verkan.

D'ailleurs, c'est pour ça que quand on développe un nouveau médicament, D'altrondde, è per questo che quando si crea una nuova medicina, Det är förresten därför man vid utvecklandet av nya mediciner,

à un moment donné, pour prouver l'efficacité du médicament, ad un certo punto, per provare la sua efficacia, alltid vid ett givet ögonblick, för att påvisa ett läkemedels effekt

on doit toujours faire une étude prospective si deve sempre fare uno studio prospettivo alltid måste utföra ett framåtblickande experiment

et c'est pour ça que développer un nouveau médicament, ed p per questo che creare un nuovo medicinale, och därför blir det alltid dyrt att utveckla mediciner

ça coûte cher et ça prend du temps parce qu'il y a toujours des tests très longs à faire costa caro ed è lungo, perché vi sono sempre dei lunghi test da fare och tar mycket tid då testerna alltid tar lång tid att genomföra

mais qui sont absolument nécessaires pour être sûr de se prémunir de tout les effets des facteurs de confusion. ma che sono assolutamente necessati per avere la certezza di essersi premuniti dagli effetti dei fattori di confusione. men alltid är helt nödvändiga för att vara säker på att förvirrande fakrorer undanröjts.

[Générique] Le paradoxe de Simpson

Alors, j'espère vous avoir convaincus qu'il faut toujours se méfier des statistiques Allora, spero di avervi convinti que bisogna sempre fare attenzione alle statistiche Jag hoppas att jag övertygat er om att man alltid måste akta sig för statistik

mais qu'il faut s'en méfier de manière intelligente. osservarle in maniera intelligente. och på ett intelligent sätt.

C'est-à-dire que quand on vous montre des chiffres, Voglio dire, che quando vi vengono mostrate delle cifre, Det betyder att när ni visas siffror,

il faut toujours que vous vous demandiez si ces chiffres viennent d'une étude rétrospective, bisogna che vi chiediate sempre se le cifre vengano da uno studio retrospettivo, måste ni alltid fråga er om underlaget varit bakåtblickande,

c'est-à-dire qu'on a analysé des chiffres existants ovvero, che sono state analizzate delle cifre già esistenti dvs att det analyserade är existerande siffror

ou s'ils viennent d'une étude prospective, où on a fait une expérience. o se vengono da uno studio prospettivo, dov'è stata fatto un esperimento. eller om de kommer från en framåtblickande studie eller om et experiment gjorts.

S'ils viennent d'une étude rétrospective, il faut faire attention, il peut y avoir des facteurs de confusion. Se vengono da uno studio retrospettivo, bisogna fare attenzione, ci possono essere dei fattori di confusione. Om de kommer från en återblickande studie måste man akta sig då det kan finnas förvirrande faktorer

On ne les connaît pas forcément et on peut conclure des choses qui sont complètement fausses. Possiamo non conoscerli e potremmo dedurne delle cose completamente sbagliate, Man kan inte vara säker på att känna till dem och dra helt felaktiga slutsatser

par contre, si c'est une étude prospective alors là, il y a un peu plus de chances que ce soit du solide. invece, se è uno studio prospettivo, ci sono più possibilità che sia qualcosa di veritiero. Om det däremot är en framåtblickande studie är det mycket troligare att materialet är slutsatsgrundande.

A titre d'exercice, on peut se demander ce que ça donnerait de faire une étude prospective As an exercise, one can wonder what it would be like to do a prospective study Come esercizio, possiamo chiederci come sarebbe fare uno studio prospettivo Som en övning kan man fråga sig vad det kan ge att göra en framåtblickande studie.

dans mon cas de la bière et de la libido. nel mio caso, della birra e la libidine. i mitt fall med öl och sexlust.

Qu'est-ce qu'il faudrait faire ? Cosa dovremmo fare? Hur skulle det gå till?

Il faudrait prendre un groupe de personnes, alors par exemple, vous Bisognerebbe prendere un gruppo di persone, per esempio voi Man skulle få ta en grupp personer, exempelvis ni

et puis il faudrait, pour chaque personne, lui attribuer au hasard un niveau de consommation de bière e poi bisognerebbe, per ognuni persona, attribuirgli a caso un livello di conumo di birra och därefter skulle varje person godtyckligt tilldelas en konsumtionsnivå av öl

dont par exemple, si ça vous intéresse vous vous inscrivez en commentaire. che potete scrivere nei commenti se vi interessa. så till exempel om ni uppger intresse för detta bland kommentarerna nedan

Moi je vous donne au hasard un niveau de consommation de bière Io vi do a caso un livello di consumo di birra ger jag er en konsumtionsnivå slumpvis för öl

compris entre, mettons, 0 et 20 bières par semaine. compreso tra, per esempio, 0 e 20 birre alla settimana. i intervallet 0 till 20 öl i veckan.

Vous vous y tenez pendant un mois Voi cercate di farlo per un mese Ni kan hålla på med det i en månad

et au bout d'un mois vous notez votre libido sur une échelle de 1 à 10. ed alla fine del mese scriverete la vostra libidine su una scala da 1 a 10. och efter månaden notera er sexlust på en skala från 1 till 10.

Et comme ça, on aura éliminé tous les facteurs de confusion Ed in questo modo avremo evitato tutti i fattori di confusione På det sättet har man eliminerat alla förvirrande faktorer

et on saura vraiment si la consommation de bière a une influence sur la libido. e sapremo veramente se il consumo di birra ha un'influenza sulla libidine och vet på riktigt om ölkonsumtion påverkar sexlusten.

Merci d'avoir regardé cette vidéo, Grazie di aver guardato questo video, Tack för att ni tittat på detta klipp,

si elle vous a plu, vous pouvez m'aider à faire connaître la chaîne en partageant la vidéo. se vi è servito, potete aiutarmi a diffon dere il canale condividendo questo video. och om ni gillat den kan ni göra kanalen känd genom att dela den

Vous pouvez aussi bien sûr vous abonner, me retrouver sur Facebook, sur Twitter Potete ovviamente seguirmi, mi trovate su Facebook e su Twitter Ni kan också prenumerera , hitta mig på facebook, på Twitter

et aussi sur mon blog "Science étonnante". anche sul mio blog "Science étonnante". och även på min blogg "Science étonnante".

Merci, à bientôt ! Grazie e a presto ! Tack och ses snart igen!