Saturday 4 November 2017

Jo SVT, Cato Institute länkar visst till Lundaforskarnas artikel

SVT sände i torsdags på SVT Nyheter Skåne ett tv-inslag (med tillhörande webbartikel) om ett blogginlägg på Cato Institutes blogg. Blogginlägget handlar om en studie med titeln ”No evidence of publication bias in climate change science”. En av författarna till studien, Lundaforskaren Johan Hollander, säger i inslaget att bloggförfattarna med inlägget har fått forskarnas text att ”säga det precis motsatta”. Reportern säger i inslaget följande.
Cato Institute försvarar sig i ett mejl till SVT Nyheter med att det bara rör sig om ett blogginlägg och att det därför inte ställs samma krav som på en vetenskaplig artikel. Om man både läser bloggen och artikeln har ingenting förvanskats, menar Cato Institute. Men, på deras hemsida länkas inte till ursprungsartikeln.
Påståendet som reportern gör i slutet är falskt. Cato Institute länkar visst till ursprungsartikeln. Om man läser blogginlägget ser man klart och tydligt redan i första meningen en länk till artikeln. Den länkas från ordet ”paper”. Kan det då vara så att de har lagt till länken efter att SVT gjorde inslaget? Nej! För om man kollar med Wayback Machine så ser man att de länkar till artikeln redan i den tidigaste bloggögonblicksbilden som innehåller inlägget, från 2 februari 2017 (dagen efter att blogginlägget publicerades). Artikeln är för övrigt open access, vilket ytterligare stärker Cato Institutes försvarslinje.

Det felaktiga påståendet sändes i etern och spelar en betydande roll i inslagets argumentation. Jag anser därför att det minsta SVT kan göra är att läsa upp en rättelse i en kommande sändning av SVT Nyheter Skåne.

Uppdatering 2017-11-10: Jag har efter mejlväxling med SVT fått min önskan om tv-rättelse hörsammad. Den lästes upp i avsnittet som sändes i går kl. 18.30, exakt en vecka efter att felaktigheten sändes. Rättelsen, som börjar 10 minuter och 31 sekunder in i programmet, lyder som följer.
Och så ska vi göra en rättelse. I ett inslag i torsdags förra veckan berättade vi om Lundaforskaren Johan Hollander, som ansåg sig ha fått en vetenskaplig artikel om metoderna bakom klimatforskningen kapad och förvrängd av den amerikanska tankesmedjan Cato Institute. I inslaget sas felaktigt att tankesmedjan på sin hemsida inte hade länkat till Hollanders ursprungsartikel. Vi beklagar misstaget.

Friday 13 October 2017

Ekot förvirrar om nyanländas utbildningsnivå

Onsdagen den 4 oktober rapporterade Sveriges Radios Ekot om att många beredskapsjobb har gått till nyanlända. Twitterkontot @roskilde1658 skrev angående rapporteringen följande:
Hej @sr_ekot ”många nyanlända har höga utbildningar”. Vänligen definiera många och höga. Ca 14 min in i 17:45-sändning.
Den sändningen finns här. Ekot svarade med följande tweet:
Hej, ledsen att vi dröjt med svar. Uppgifterna är Statskontorets. Det framgår men vi kunde ha varit tydligare här.
Hanif Bali, partistyrelseledamot i Moderaterna, frågade:
Kan ni länka till uppgifterna då?
På detta svarade Ekot först:
Satskontoret: 58 procent som fått beredskapsjobb har eftergymnasial utbildning. 42 procent av jobben har gått till nyanlända.
Och fem minuter senare:
Om du vill ha fler detaljer kan du kontakta Statskontoret. /Mvh Mona Hambraeus, producent Ekot 
http://www.statskontoret.se/globalassets/publikationer/2017/2017109.pdf
Trots att fler frågor ställdes till Ekot i tråden kom inga fler svar från dem. Det märkligaste svaret är det där procentsatser om 58 procent och 42 procent anförs. Det är nämligen så, att sammanhanget i vilken frasen ”många nyanlända har höga utbildningar” yttrades var denna mening:
43 procent av de statliga beredskapsjobben har gått till nyanlända, enligt en rapport från Statskontoret, och eftersom många nyanlända har höga utbildningar, kan det vara en förklaring till att majoriteten av beredskapsjobben gått till just högutbildade, enligt Statskontoret.
Man kan inte ha de nyanlända som förklaring till att beredskapsjobben gått till högutbildade om allt man vet är hur stor andel av jobben som gick till nyanlända och hur hur stor andel som gick till högutbildade. Med den informationen vet man ju inte om de som var nyanlända var mer eller mindre högutbildade än de som inte var nyanlända. I den sista tweeten länkade Ekot till rapporten. Men på bloggen I allmänhetens tjänst - granskning av public service skrev bloggägarna att de inte kunde hitta någonstans i rapporten där Statskontoret hävdar att ”många nyanlända har höga utbildningar”. Inte heller jag kunde hitta påståendet i rapporten.

Uppenbarligen hade Ekot hoppat i galen tunna och jag bestämde mig för att försöka gå till botten med det hela. Av reportrarna fick jag via mejl veta att de fått förklaringen från en intervju som de hade gjort med utredaren, Maria Karanta. I ett mejl till henne citerade jag förklaringen och frågade vad grunden för påståendet om att många nyanlända hade höga utbildningar var och hur hon definierade ”många” och ”höga”. I ett första mejl skrev hon följande:
Vi har uppgifter från Arbetsförmedlingen om utbildningsnivån hos nyanlända som fått beredskapsjobb. De finns dock inte i rapporten.
I ett annat mejl besvarade hon båda mina frågor genom att bifoga en tabell (se längst ner i blogginlägget) och skriva följande:
Enligt uppgifter från Arbetsförmedlingen har 76% av de nyanlända som fått beredskapsjobb eftergymnasial utbildning. (se bifogad tabell)
Med eftergymnasial utbildning avses minst en termin på universitet/högskola. Enligt Arbetsförmedlingen är variabeln utbildningsnivå ganska osäker för nyanlända. 
Som ni ser i tabellen nedan har 76 procent av de nyanlända och bara 45 procent av de övriga inskrivna eftergymnasial utbildning. Det verkar som att Ekot aldrig tog reda på de siffrorna. Hade de gjort det så hade de kanske bättre förstått vad de gjorde och formulerat sig på ett sätt som gjorde det tydligt att det Statskontorets utredare avsåg var utbildningsnivån på de nyanlända som fick beredskapsjobb jämfört med de övriga inskrivna, inte utbildningsnivån hos nyanlända i allmänhet. Den senare tolkningen verkar vara den som de flesta som lyssnade gjorde, i alla fall att döma av Twittertråden och det tidigare nämnda blogginlägget.

En annan kritik jag har är att Ekot inte är tydliga med vad som kommer från myndighetsrapporten och vad som kommer från en muntlig intervju med utredaren. Det är till och med så att de inte nämner i nyheten att de har gjort en intervju med utredaren – de nämner bara rapporten. Svar på muntliga frågor har mindre auktoritet än en myndighetsrapport underskriven av generaldirektören. Dessutom blir det svårare att granska uppgifter och resonemang om man inte vet exakt varifrån de kommer. Hela den här historien illustrerar detta faktum.

Antal beslut om moderna beredskapsjobb 1 januari–31 juli 2017 som avsett nyanlända respektive övriga inskrivna vid Arbetsförmedlingen, utbildningsnivå

Utbildningsnivå
Nyanlända
Andel
Övriga inskrivna
Andel
Total
Andel
Saknar formell grundläggande utbildning
4
2 %


4
1 %
Förgymnasial utbildning kortare än 9 år
9
4 %
14
5 %
23
4 %
Förgymnasial utbildning 9 (10) år
8
3 %
26
9 %
34
7 %
Gymnasial utbildning
33
15 %
123
41 %
156
30 %
Eftergymnasial utbildning
170
76 %
134
45 %
304
58 %
Total
224
100 %
297
100 %
521
100 %

Monday 4 September 2017

Nej Lars Wilderäng, Ekot plagierade inte Dagens Arena

Bloggaren och författaren Lars Wilderäng publicerade i går på sin blogg Cornucopia inlägget ”Ekots Olle Zachrison medger - man var ute efter att smutskasta Ulf Kristersson”. Inlägget handlar om den text som lades ut på Ekots redaktionsblogg i förrgår med anledning av den numera borttagna ”bakgrundslistan” om moderaten Ulf Kristersson. Wilderäng skriver i ett stycke följande:
Listan som Ekot publicerade var direkt hämtad från den socialistiska webtidningen Dagens Arena och var alltså förutom helt osaklig och partisk även ett plagiat. Ni kan läsa den Googlecachade numera raderade Ekot-artikeln hos Google och jämföra.
I detta blogginlägg granskar jag om det verkligen finns fog för att påstå att Ekots lista är ”direkt hämtad” från Dagens Arena och ett ”plagiat”. Min metod är att helt enkelt följa Wilderängs uppmaning och jämföra de två artiklarna. Eftersom Googlecachen visar en version där en punkt är borttagen (den om rasismanklagelsen) så använder jag den första versionen som finns arkiverad av Wayback Machine istället (länk).

Bakgrund

Samma dag som Ulf Kristersson meddelade att han kandiderar till partiledare för Moderaterna, fredagen den 1 september, publicerade Ekot en artikel på webben med rubriken ”Ulf Kristerssons politiska bakgrund”. Artikeln innehöll en lista med sjutton punkter ordnade efter årtal, från 1988 då han valdes till ny Muf-ledare till 2017 då han meddelade sin kandidatur. Ekot publicerade också en bild på Twitter som sammanfattade listan. För dessa två publiceringar fick Ekot kritik för att listan var obalanserad (stor andel negativa punkter), och kanske på grund av kritiken så raderade Ekot samma dag både tweeten och artikeln och publicerade en omarbetad version av listan. Ekot har motiverat borttagandena här.

Dagens Arenas lista publicerades den 11 december 2014 efter att Kristersson blev ny ekonomisk-politisk taleperson för Moderaterna. I ingressen till artikeln skriver Dagens Arena att Ulf Kristersson är ”en man som både slinter med tungan och har dykt upp i flera kontroversiella sammanhang” och att de har ”hela listan”.

Genomgång

Ekots lista har sjutton punkter och Dagens Arenas lista har tio. Fem av punkterna handlar om samma sak:
  1. Dagens Arena:  1) ”Den svenska modellen är som apartheid”.
    Ekot: 1994: Jämför svenska modellen med apartheid i bok
  2. Dagens Arena: 4) Kinaresa med frun var tredje månad för skattebetalarnas pengar: Inga problem!
    Ekot: 2008: Åkte var tredje månad till Kina – för 128 000 kronor
  3. Dagens Arena: 5) Städhjälp? Det tar vi svart.
    Ekot: 2007: Kristersson har anlitat städhjälp svart
  4. Dagens Arena: 6) ”Hur känns det att bo i en lägenhet som är vikt åt svårt sjuka och hemlösa?” Inga kommentarer!
    Ekot: 2008: Får våning i Stockholm avsedd för utsatta
  5. Dagens Arena: 7) Lägenhetsaffär 2.
    Ekot: 2010: Får uppmärksammat hyreskontrakt – igen
Om man bara tittar på andelen gemensamma punkter är det långt ifrån rimligt att hävda att Ekots lista är ”direkt hämtad” från Dagens Arena. Varken fem av sjutton eller fem av tio är särskilt stora andelar. I texten på Ekots redaktionsblogg står det: ”En reporter fick i uppdrag att göra en faktagenomgång av blåsväder den moderate partiledarkandidaten Ulf Kristersson varit i genom åren.” Hur många blåsväder kan Ulf Kristersson ha hunnit vara med om egentligen? Det är väl inte konstigt att några av punkterna är gemensamma, om det nu var kontroverser som Ekot fokuserade i övermått på? Som stöd för mitt resonemang kan jag nämna att Wikipedia-sidan för Ulf Kristersson tar upp fyra kontroverser under rubriken ”Kontroverser”, och samtliga av dem finns med i både Ekots lista och Dagens Arenas lista. Den enda som inte tas upp är den om Kinaresorna, nummer två ovan. Ingen av de fyra kontroverserna på Wikipedia har Dagens Arenas listartikel som källa.

Man kan också titta på formuleringarna och vilka detaljer som tas upp. Om det finns någon sanning i Wilderängs påstående om plagiat så bör det Ekot skriver om de fem gemensamma punkterna i misstänkt hög grad likna det som Dagens Arena skriver om dem. Jag går igenom de fem punkterna i tur och ordning:

  1. Dagens Arenas beskrivning består nästan enbart av ett relativt långt citat från boken. Ekot tar upp detaljer om boken som Dagens Arena inte nämner och har bara en kort formulering inom citationstecken: ”faller offer för”. Den formuleringen finns inte i Dagens Arenas långa citat.
  2. Ekot skriver utförligare än Dagens Arena. Ekot ger honom titeln ”socialborgarråd”, Dagens Arena skriver bara ”borgarråd”. Ekot har med två citat från Kristersson, Dagens Arena har inget citat. Jag kan inte se någon direkt influens från Dagens Arenas text i Ekots text.
  3. De enda ord som finns i båda är ”städhjälp”, ”det”, ”svart”, ”2007”, ”att”, ”Ulf”, ”Kristersson” och ”anlitat”. Ekot skriver att brottet skedde under större delen av 2001.
  4. Dagens Arena skriver att lägenheten egentligen var vikt till ”sjuka och hemlösa”. Ekot använder en annan fras, ”sjuka och behövande”, och radar dessutom i nästa mening upp kategorier av männniskor som Ersta diakonisällskap hyr ut lägenheter till. Ekots text innehåller en rad detaljer som inte finns med i Dagens Arenas text. Dagens Arena fokuserar på en intervju i SVT:s program Hemlös som inte nämns av Ekot.
  5. Även här har Ekot många detaljer som inte finns hos Dagens Arena. Jag kan inte hitta någon uppenbar influens från Dagens Arena i Ekots text.
Om man istället menar att plagiatet består i själva idén att man gör en punktlista över Ulf Kristerssons karriär så kan jag bara konstatera att det knappast är en originell idé att i punktform sammanfatta någons offentliga liv.

Slutsats

Det finns inget som tyder på att Ekot på något sätt baserade sin artikel på Dagens Arenas artikel. Wilderängs anklagelse om plagiat är grundlös.

Anklagelsens historia

Lars Wilderäng är inte den första som har pekat på Dagens Arenas text och hävdat att likheter mellan de båda listorna tyder på att Ekot hämtade mycket från Dagens Arenas lista. Först ut bland dem med många läsare var såvitt jag kan se den borgerliga debattören Rebecca Weidmo Uvell som redan på fredagen samma dag som Ekot publicerade sin lista skrev på sin blogg i ett inlägg att ”en del” av det som Ekot skriver ”verkar” vara ”hämtat” från Dagens Arenas artikel. Dagen därpå skrev SvD-kolumnisten Thomas Gür i ett Facebookinlägg att Ekots medarbetare ”plankade” Dagens Arenas genomgång och att artikeln ”helt baserades på” Dagens Arenas artikel. Dagen efter det var det så dags för Wilderäng att skriva om kopplingen till Dagens Arenas artikel, och nu hette det alltså att listan var ”direkt hämtad” från Dagens Arena och till och med ett plagiat.

Wednesday 23 August 2017

SVT gör felaktiga tolkningar av en Sifo-undersökning beställd av Svenska kyrkan

SVT publicerade i går en artikel med rubriken ”Fler kvinnor tror på Gud – men kvinnor vänder ryggen till”. Den rapporterar om en ny Sifo-undersökning som har gjorts på uppdrag av Svenska kyrkan. Jag har per mejl på förfrågan till Svenska kyrkan fått tillgång till en mer utförlig presentation av undersökningen. I detta blogginlägg granskar jag huruvida påståenden som görs i artikeln verkligen har stöd i undersökningen.

Men först ska jag kommentera en sak som inte nämndes i SVT:s artikel, nämligen att bland dem som svarade på frågorna (1000 st) så uppgav 73 procent att de var medlemmar i Svenska kyrkan. Detta är högre än andelen för befolkningen i stort (61 procent år 2016). De svarande är alltså inte helt representativa för den svenska befolkningen. Konsekvensen är rimligen att befolkningen som helhet är mindre gudstroende än vad man kan tro när man läser siffrorna. Detta borde SVT ha nämnt i artikeln.

I ingressen skriver SVT följande:
Svenskar är kända för att vara ett sekulariserat folk, men trots det fortsätter en majoritet av invånarna i Sverige att tro på ”något”.
Påståendet om en majoritet stöds inte alls i undersökningen. Det är bara 43 procent som väljer ett svarsalternativ där man anger att man tror på något. 35 procent svarar ”Jag tror inte på någon Gud, övernaturlig makt eller kraft” och 22 procent svarar ”Jag vet inte vad jag ska tro på”. Inte heller stöds påståendet enligt brödtexten själv av andra liknande undersökningar som har gjorts: ”I studier som gjorts de senaste åren uppger stadigt drygt 40 procent av svenskarna att de har någon form av tro.”

SVT:
Av kvinnorna är det 27 procent som anger att de inte tror på någon gud överhuvudtaget, motsvarande siffra för männen är 41 procent.
Siffrorna stämmer. Svarsalternativet var ”Jag tror inte på någon Gud, övernaturlig makt eller kraft”.

SVT:
Totalt uppger 43 procent av svenskarna att de tror på gud, men bara nio procent av dessa svarar att de tror på en opersonlig högre makt, de flesta svarar mer svävande att gud snarare är något inom varje människa än något utanför.
Påståendet om 43 procent tycker jag är tveksamt. Det är bara ett av alternativen som innehåller ordet ”Gud”, nämligen ”Jag tror att Gud snarare är något inom varje människa än något utanför”, och det alternativet får bara 20 procent. För att få det till 43 procent måste man även räkna med alternativen ”Jag tror på en högre makt som man ha en personlig relation till” (14 procent) och ”Jag tror på en opersonlig högre makt eller kraft” (9 procent). Det är såvitt jag kan bedöma inte orimligt att definiera Gud så att båda de alternativen innebär gudstro, men att skriva att 43 procent ”uppger att de tror på Gud” anser jag är lite missvisande.

Siffran nio stämmer, men svarsalternativet var ”Jag tror på en opersonlig högre makt eller kraft”. Ordet kraft utelämnas alltså av SVT. Eftersom kraft och makt inte är direkta synonymer tycker jag att SVT gör fel som förkortar svarsalternativet på det sättet.

Påståendet om ”de flesta” stämmer inte om man med ”de flesta” menar en majoritet av dem som svarar att de tror på något, vilket jag skulle säga följer av den enda korrekta betydelsen av ”de flesta”. Det är dock det vanligaste av de tre alternativen.

Sunday 6 August 2017

Vad en "studie vid Oxford" egentligen säger om Twitter-länkar till falska nyheter i den franska valrörelsen

I en ledarartikel skriver Arvid Åhlund på di.se om falska nyheter och vad man bör göra för att motverka dem. I artikeln påstås följande:

Inför valet i Frankrike i våras översköljdes väljare av påhittade historier. En fjärdedel av alla politiska nyheter som delades på Twitter under valrörelsen var falska, enligt en studie vid Oxford.

I detta blogginlägg granskar jag huruvida man verkligen kan dra den slusatsen av studien. Med största sannolikhet är det den här studien som avses. Ingenstans i studien finner jag någon grund för påståendet att en fjärdedel av nyheterna var falska. Hur kan det då komma sig att påståendet görs? Svaret tror jag är att Reuters gör ett snarlikt påstående i den här artikeln, som refererar till samma studie, och att Reuters tolkning når Åhlund. I Reuters artikel står nämligen följande skrivet:

Just days before France votes in the first round of a presidential election, the study [by Oxford University researchers] said misinformation at times has accounted for one-quarter of the political links shared on Twitter in France. It defined "junk news" as deliberately false stories and those expressing "ideologically extreme, hyper-partisan or conspiratorial" views with logical flaws and opinions passed along as facts.

Även här nämns andelen en fjärdedel, och inte heller den här gången finner jag något stöd i studien. Om man jämför de båda citaten så kan man konstatera att en skillnad mellan dem är att Åhlund skriver att nyheterna var falska medan Reuters använder ordet "misinformation". Den som läser texten på di.se får intrycket att studien slår fast att en fjärdedel av alla politiska nyheter var "påhittade historier". Själva studien är på bara fem sidor, så jag har svårt att tro att det är jag som har missat något i den. Att motbevisa Reuters påstående är enklare än att göra detsamma för Åhlunds, i och med att Reuters skriver mer utförligt om studien. Jag tänker därför nu, likt jag nyss gjorde för Åhlunds påstående, ge den bästa förklaringen jag kan komma på till varför Reuters skrev som de gjorde, för att på så sätt försöka övertyga er om att Reuters, och därmed Åhlund, har fel.

Eftersom Reuters direkt efter meningen om en fjärdedel skriver ner studiens definition av "junk news", är det troligt att de menar att det är "junk news" som står för en fjärdedel av länkarna. Vad är det då som studien egentligen säger om "junk news" och dess procentandel? Det "kluriga" för någon som är dålig på att läsa statistik och under stark tidspress är att någon procentsiffra för "skräpnyheternas" andel av de totala länkarna aldrig ges i tabellen som visar de olika kategoriernas andelar (tabell 3). Anledningen är att länkarna är uppdelade i två olika nivåer av kategorier, och skräpnyheternas kategori tillhör kategorierna på den lägre nivån. "Junk news" är en underkategori till kategorin "Other Political News and Information".

Vad man kan se i tabellen är att "Other Political News and Information" står för 19,6 procent av totalen och att "Junk News" står för 21,3 procent av alla länkarna som faller under den övre kategorin "Other Political News and Information". Enkel matematik ger att "Junk News" därmed står för 0,213 * 0,196 = 0,041748, dvs. ungefär fyra procent av totalen. Långt ifrån en fjärdedel alltså! Min gissning är att Reuters läste siffran 21,3 procent och trodde att det var skräpnyheternas andel av totalen. Nu är ju visserligen 21,3 procent en femtedel snarare än en fjärdedel, men de kanske tänkte att om det ligger mellan en fjärdedel och en femtedel så går det bra att skriva en fjärdedel.

Jag tycker det är dåligt av Arvid Åhlund och di.se att publicera en text som förvanskar en studies resultat. Studien finns tillgänglig för alla och är på bara fem sidor, så att köpa ett påstående som görs om den av Reuters utan att faktakolla är illa. Dessutom framgår det hos Reuters att "junk news" inte bara inkluderar "deliberately false stories" medan Åhlund ger intrycket av att han menar falska nyheter i betydelsen "påhittade historier". Min syrliga slutkläm får bli att jag genom denna granskning ironiskt nog har avslöjat en "falsk nyhet".