Ja du, det är inte lätt. Även om man är forskare själv så kan det vara problematiskt om man arbetar inom ett annat ämnesområde.

Min första åtgärd när jag vill kolla en rapport används som argument är att skumma igenom den för att se om den faktiskt stödjer det som den används som argument för. Förvånansvärt ofta är det inte så -- eller åtminstone med en hel del reservationer. Ofta handlar det om använda rapportens slutsatser utan att bry sig om förutsättningarna för de slutsatserna.

Jag försöker förstås också göra en bedömning av metodiken, men det kan vara svårt om man arbetar i ett annat forskningsområde.

Är rapporten publicerad i en peer-reviewad tidskrift så tittar jag efter vilken. Handlar det om en respekterad tidskrift så blir det pluspoäng. Om jag inte känner till tidskriften så försöker jag titta på vem som ger ut den, vilken policy den har, vilka som är redaktörer och vad de har gjort tidigare.

Är det inte en peer-reviewad rapport -- t.ex. en utredningsrapport -- så tittar jag på vilka referenser som finns i rapporten och vad författarna har publicerat i övrigt.

Jag förstår att mycket av detta inte är så lätt för en person som inte själv är utbildad forskare. Men jag vet inte vad man skall göra åt det. Det ligger så att säga i sakens natur att forskningsrapporter skrivs för och av forskare.

Kanske skulle jag skriva en förklaring av de termer du tar upp ovan:

• Metastudie: En studie som görs genom att man granskar ett stort antal andra studier. Det finns alltid ett moment av slump i varje experimentell studie. Även en välgjord undersökning kan komma till en slutsats som inte stämmer. Olika undersökningar kan ha olika utgångspunkter, avgränsningar etc. och därför komma till -- till synes -- olika slutsatser. Genom att titta på en mängd studier så kan man jämna ut sådana skillnader och få ett mera pålitligt resultat som så att säga är summan av alla andra studier.
• Peer review: Att en rapport granskas av andra forskare. (Alltså författarnas "likar" -- peers.)
• Korrelation: Samband. Att det finns en korrelation mellan två företeelser betyder att de förekommer tillsammans
• Kausalitet: Orsakssamband. Att det finns en kausalitet mellan två företeelser betyder att den ena orsakat den andra. Korrelation innebär inte automatiskt kausalitet. Sambandet kan vara en ren tillfällighet, eller så finns det någon tredje företeelse som är orsak till båda de första. Roligt exempel: I de flesta flygolyckor har piloterna mörka strumpor (korrelation). Innebör det att mörka strumpor orsakar flygolyckor (kausalitet)?
• Dubbelblindad. Vid ett experiment där man jämför olika saker (t.ex. en ny medicin mot sockerpiller) så vet varken försöksledaren eller försökspersonerna vilket som är vilket. (Däremot vet förstås någon annan det, så att det går att dra slutsatser efteråt.)

Jag skulle vilja ha lite information kring hur en undersökning/studie i allmänhet initieras. Hur går det till rent praktiskt med finansiärer, urvalskriterier, eliminering av felkällor osv?

Om vi ska ta upp enskilda exempel, så kritiserar Robert Hahn, forskningschef vid Södertälje Sjukhus, Edzard Ernst, professor i alternativmedicin, för att ha skalat bort för många studier i sina metastudier om olika alternativmedicinska behandlingar:

• "I en meta-analys av växten "maca", en rotfrukt som tydligen används för att förbättra sexualdriften, tar Ernst bort 84 av 88 studier (96%). Två av de kvarvarande 4 visade god effekt, och i en studie som inte gjorde det var materialet ändå för litet för att kunna ge signifikans. Bekvämt nog undviker Ernst att beräkna odds ratio och därmed att bekräfta rotfruktens effekt. Han drar slutsatsen - som alltid - att han inte kan finna några starka evidens. Så går det till när Ernst utnämner en alternativ terapi till bluff!"

Det här tycker jag är intressant. Hur gör man i allmänhet en metastudie? Och läste vi Hahns blogginlägg så fick vi kanske några till begrepp att förklara:

• Odds ratio
• Konfidensintervall

Nyttig tråd!

Den vetenskapliga metoden, i sin bredaste mening, kan (mycket förenklat) sammanfattas med att man testar hypoteser. Hypoteser är inte gissningar i vardaglig mening, utan snarare "informerade gissningar", d.v.s. de baseras på tidigare kunskap (generellt och förenklat).

Om testerna ger stöd för hypotesen "behåller" man den, och t.ex. reproducerar testerna för att se om det verkar vara något allmängiltigt, eller om resultaten berodde på något (fel) i just detta test.

Ju fler som kan reproducera resultaten, desto mer tillförlitliga anses resultaten. Sedan har vi teoribildningen. En vetenskaplig teori beskriver ett fenomen (t.ex. evolution, gravitation etc), och dessa teorier "startas" med hypoteser som har stöd i resultaten. (Det här kan man dissekera i oändlighet, men ungefär så, i alla fall).

Teorierna utmärks bl.a. av att de 1) gör testbara förutsägelser och 2) klarar av att täcka upp för de observationer man gör rörande ett specifikt fenomen. Teorier kan revideras och byggas ut, allt eftersom nya fynd görs. Nuförtiden är det mycket osannolikt att etablerade teorier förkastas helt och hållet, eftersom vi faktiskt vet en hel del om de fenomen som teorierna beskriver, och det är - som sagt - osannolikt att den kunskapen vi har är helt fel.

Det är alltså inte omöjligt att de kommer att förkastas i framtiden. Det är bara osannolikt.

I (natur)vetenskap hanterar man inte heller absoluta sanningar som i matematik eller logik, eftersom vetenskapliga teorier/hypoteser egentligen bara är "sanningar" som ännu inte har motbevisats. Vetenskap är i mångt och mycket "sant tills annat visas", mycket förenklat återigen.

Många kan bli förvirrade och förargade över vetenskapens förmåga att ändra åsikt, men det är en bra egenskap, att revidera om nya fynd eller indikationer ger oss skäl för det. Alternativet vore att dogmatiskt hålla fast vid något, oavsett vad verkligheten säger oss.

Vetenskap är alltså först och främst en metod, en process, ett tillvägagångssätt för att nå och söka kunskap. Det är inte ett mål eller en slutprodukt. Därför är det inte konstigt att vår kunskap om saker och ting ändras. Den ändras till det bättre, till det alltmer exakta hela tiden.

Begreppen som diskuteras ovan har mer att göra med forskningsmetodik, d.v.s. exakt hur man testar.

#8

Jag tror det är viktigt att trycka på det som anundi skriver om teorier.

En "teori" i vetenskaplig mening är en beskrivning av något. Sådana beskrivningar kan vara mer eller mindre heltäckande och mer eller mindre tillförlitliga. Det är alltså alltid fel att avfärda något med att det är "bara en teori". Att någonting är en teori säger i sig ingenting om hur pass trovärdigt det är. En del teorier är mycket spekulativa medan andra är så väl underbyggda att det verkar nästan otänktbart att de skulle vara fel.

Däremot är det vanligt att en teori visar sig vara ofullständig. Newtons gravitationsteori är t.ex. inte fel, men den är ofullständig eftersom den bara kan beskriva gravitationen när små massor är inblandade som rör sig med låga hastigheter. Annars behöver man använda allmän relativitetsteori.

[Ett antal inlägg togs bort för att de inte höll sig till ämnet. De inläggen lämpar sig bättre i trådarna "definition av hälsa" och "Vad är en mänsklig varelse?". Tack för att ni håller er till ämnet för varje tråd, eller skapar en ny om diskussionen börjar spåra i sidled. / Per]

Ja, det där med avfärdandet "det är ju bara teorier" tycks vara vanligt. Samma sak med invändningarna om att vetenskapen ändrar konsensus titt som tätt. Det är bland annat därför jag startade denna tråd.

Jag anser att den vetenskapliga metoden, med allt vad den innebär av möjligheter till ekonomiskt styrd, vinklad forskning, fusk och bristfällig peer review osv, är det bästa sätt vi har för att göra objektiva analyser av vår omvärld. Lite som demokrati och yttrandefrihet: jag måste acceptera att även människor med åsikter jag finner helt förkastliga måste få rösta och säga sin mening. Det är på grund av detta som det är extra viktigt med en öppen debatt om, och granskning av, allmänintressant vetenskap och forskning, samt att forskningsfusk osv fördöms och beivras öppet. Min upplevelse är att förtroendet för forskning och forskare generellt är mycket lågt bland icke-akademiker. En av orsakerna tror jag just är de här missförstånden kring vad den vetenskaploga metoden är och hur den fungerar.

Jag skulle vilja lämna ett annat exempel (som relaterar till en annan diskussion jag är involverad i). Jag dubbelcheckar studier som rör amning i västvärlden och kom till denna summering på PubMed: Breast-feeding and risk of childhood acute leukemia.

I studien kom man fram till lite siffror som vi kanske kunde prata om vad de egentligen betyder:

• "Ever having breast-fed was found to be associated with a 21% reduction in risk of childhood acute leukemias (odds ratio [OR] for all types combined = 0.79; 95% confidence interval [CI] = 0.70-0.91). A reduction in risk was seen separately for AML (OR = 0.77; 95% CI = 0.57-1.03) and ALL (OR = 0.80; 95% CI = 0.69-0.93)."

Ingen som vill ta sig an att förklara siffrorna i inlägg #12?

En annan term som jag nyligen kommit i kontakt med, även om jag även tidigare förstått själva kontantan av, är "impact factor".

#13

Jag är inte den bästa på statistik så jag överlåter det åt någon annan, men impact factor kan jag (försöka) förklara.

Det anges som ett mått på en (vetenskaplig) tidsskrift, och beskriver hur mycket artiklarna i tidsskriften citeras. Att bli citerad är (oftast) något bra.

Alltså, en journal/tidsskrift med hög impact factor publicerar artiklar som sedan citeras/refereras relativt ofta. Detta kan tolkas som att artiklarna håller hög kvalitet, eftersom många vill hänvisa till dem i andra studier eller annan forskningen.

Impact factorn räknas ut i efterhand, och måste inte betyda att kommande artiklar håller hög kvalitet eller att de också kommer att citeras eller refereras till ofta, men man kan anta det, eftersom det skulle kunna betyda att kontrollen är god, att endast någorlunda högkvalitativa studier slipper igenom granskningen.

Naturligtvis är impact factor i sig ingen kvalitetsgaranti, men det är mest troligt alltid en fördel med hög sådan.

Här kan man läsa mer om detta: 
http://en.wikipedia.org/wiki/Impact_factor

Brister och kritik mot detta mått listas där.