|
科學(xué)之路困難重重。 其實(shí)天下難事一大堆，烤出可口的法式長棍很難，記住每個(gè)朋友的生日很難，搞科研也很難。但是科學(xué)研究有一個(gè)特點(diǎn)，就是它的難度可以被量化：p值。p值可以幫助我們識(shí)別有顯著統(tǒng)計(jì)學(xué)意義的研究結(jié)果，不過想要得到較低的p值很難。 在醫(yī)療科學(xué)領(lǐng)域，具備統(tǒng)計(jì)學(xué)意義往往意味著提出了一個(gè)好的問題、有大量的患者樣本、并且能夠做好相關(guān)的分析和計(jì)算。提出好問題得夠聰明，大量的患者樣本得有足夠的資源，做好分析和計(jì)算則需要研究人員足夠勤奮，讓某個(gè)研究人員或者研究小組同時(shí)具備這些條件就難了。拿我個(gè)人來說，我就一直不明白冰箱里的那些存儲(chǔ)箱都是干嘛用的，更別說搞清楚臨床研究的整個(gè)工作流程了。 但不幸的是，當(dāng)今的科學(xué)界對(duì)每一項(xiàng)研究的p值都非常重視，以確保這些p值能夠告訴他們想要得到的信息。研究所得的數(shù)據(jù)不僅應(yīng)該意義重大，還應(yīng)該可重復(fù)。不幸的是，不少研究結(jié)果往往是不可重復(fù)的。實(shí)際上，有一些人說我們現(xiàn)在正處于“可重復(fù)性危機(jī)”的漩渦之中。大量的研究表明，醫(yī)學(xué)和社會(huì)科學(xué)領(lǐng)域已經(jīng)發(fā)表的大多數(shù)研究結(jié)果雖然在一開始取得了很好的p值，卻幾乎都是不可重復(fù)的。 那么為什么會(huì)出現(xiàn)這種危機(jī)呢？難道是因?yàn)榭茖W(xué)界盛行欺騙和懶惰的不良風(fēng)氣，想要解決危機(jī)就只能推翻科學(xué)界？可能這個(gè)問題比想象中的更為復(fù)雜，研究設(shè)計(jì)應(yīng)該怎么做，真正可重復(fù)的科學(xué)結(jié)果到底是什么，學(xué)界應(yīng)該就這些取得共識(shí)。 20世紀(jì)20年代，RonaldFisher首次提出了P值的使用標(biāo)準(zhǔn)，最初用于識(shí)別有統(tǒng)計(jì)學(xué)意義的結(jié)果。小于0.05的P值通常被用作閾值，有時(shí)候也會(huì)聽到這樣的解釋，“做出錯(cuò)誤假設(shè)的幾率低于5%�！边@種解釋是不準(zhǔn)確的。它實(shí)際的意思是，“如果假設(shè)完全錯(cuò)誤，那么得到這些結(jié)果（或者更極端的結(jié)果）的幾率低于5%”（定義p值還有很多更為精確的方式，但是這個(gè)應(yīng)該就可以了）。雖然這兩種版本的解釋之間差異不大，但是卻十分重要。 舉個(gè)例子，假設(shè)你是星艦號(hào)的科學(xué)官，貨艙里裝著小麥與小黑麥，準(zhǔn)備運(yùn)往薛曼星系，星際聯(lián)邦和克林貢帝國正在爭奪那兒的主權(quán)。有一天，你在糧倉里發(fā)現(xiàn)了很多毛球族，毛球們吃掉了糧倉的糧食，而且其中一半的毛球已經(jīng)死了。假設(shè)在毛球族生命周期已知的情況下，毛球死亡數(shù)量超過了我們的預(yù)期，那么糧食很有可能被克林貢人下毒了。接下來就應(yīng)該進(jìn)行統(tǒng)計(jì)檢驗(yàn)了！ 1000個(gè)毛球族中454個(gè)死亡，其他546個(gè)還活著。已知毛球族的壽命，以及艦上所有毛球族都是由上周帶來的兩個(gè)毛球繁衍而來的（毛球族繁殖速度非�？欤�，正常情況下，死亡率不會(huì)超過10%。標(biāo)準(zhǔn)的統(tǒng)計(jì)測(cè)試會(huì)得出一個(gè)小于0.0001的p值，這決定了我們對(duì)毛球族死亡率的預(yù)估是否準(zhǔn)確，不過對(duì)一大批已經(jīng)死亡的毛球族進(jìn)行長時(shí)間觀察的可能性很低。 P值小，就排除了毛球族按預(yù)期概率死亡的情況。這是否意味著克林貢人對(duì)糧食下了毒？因?yàn)閜值很小，所以形勢(shì)似乎對(duì)他們不利，但是這不一定就意味著都是克林貢人的錯(cuò)。前面也說到了，p值并不是為了檢驗(yàn)我們的假設(shè)（毛球族死亡率高于正常水平，可能是因?yàn)檫@些邪惡的克林貢人）是否正確。相反，這個(gè)研究只是想要證明如果毛球族的生命周期是一定的，不太可能出現(xiàn)一半族群死亡的情況�？赡芪覀冄芯康拿蜃逭脤儆趬勖^短的那一類，可能這種毛球族討厭小麥，也有可能是有人在中子等離子體流穿過貨艙的時(shí)候逆轉(zhuǎn)了它的的極性，導(dǎo)致時(shí)間出現(xiàn)了折疊（這一假設(shè)很有可能是正確的，所有的星際迷都可以作證）。換句話說，一個(gè)低p值并不意味著我們的假設(shè)是正確的，只是在提醒我們（目前）不要忽略它。 如果可供測(cè)試的毛球數(shù)量很少，也會(huì)得出具有誤導(dǎo)性的p值�？赡艽蜷_糧倉的時(shí)候清理出了一部分毛球族，導(dǎo)致剩下的可供測(cè)量的毛球族數(shù)量很少，只找到了六個(gè)活著的毛球族以及四個(gè)已經(jīng)死了的�？紤]到我們可能再也找不到任何死毛球了，我們還是得出了一個(gè)重要的p值（p=0.0018）。然而我們還是可以提出這樣的疑問，因?yàn)槲覀冎粚?duì)少數(shù)的毛球族進(jìn)行了測(cè)試，那么對(duì)于測(cè)試結(jié)果的準(zhǔn)確性有多大的把握呢？ 另一項(xiàng)測(cè)試表明，我們有95%的信心保證毛球族死亡的真實(shí)比例在10%至70%之間。因?yàn)槲覀冾A(yù)期自然死亡的毛球族占10%的毛球族，所以相對(duì)而言這個(gè)區(qū)間范圍還是挺大的。相反，當(dāng)我們要對(duì)1000個(gè)毛球族進(jìn)行測(cè)試的時(shí)候，毛球族95%的置信區(qū)間范圍死亡率為42%-48%。 這是在暗示這都是克林貢人搞的鬼嗎？我們有一些證據(jù)可以表明克林貢人阻礙了薛曼星系的殖民化（雖然證據(jù)至今還不是很明確），但是這跟當(dāng)前科學(xué)界的可重復(fù)性危機(jī)有什么關(guān)系呢？ 一，可重復(fù)性需要對(duì)大量的對(duì)象進(jìn)行研究。我們已經(jīng)發(fā)現(xiàn)，即使是在p值很小的情況下，樣本的大小都會(huì)影響結(jié)果的準(zhǔn)確性。除了p值之外，提供更多的參數(shù)逐漸成為現(xiàn)在發(fā)表科學(xué)研究的標(biāo)準(zhǔn)要求，列出置信區(qū)間將有助于我們規(guī)范研究的可靠性。這樣列出來之后，會(huì)發(fā)現(xiàn)，如果只是對(duì)十個(gè)毛球族進(jìn)行研究，那么得到的結(jié)果很難給人留下深刻的印象。在貿(mào)然攻打克林貢國之前，可能還得對(duì)更多的毛球族進(jìn)行另外一次測(cè)試。當(dāng)然，這一點(diǎn)對(duì)于臨床研究同樣適用。如果研究得到的P值好得令人詫異，多半的原因是因?yàn)闃颖咎×恕?/font> 二，可重復(fù)性需要一個(gè)良好的假設(shè)。在毛球族測(cè)試研究中，p值低并不意味著我們的假設(shè)就是對(duì)的。撇開等離子體流引起的時(shí)間褶皺理論，我們真正有信心的是毛球族的死亡可能與糧食有關(guān)。由于食用了那些糧食，所以毛球族死亡速度超過了預(yù)期，那些沒有吃的則安然無恙。在這種情況下，認(rèn)為是克林貢人在搞破壞似乎是個(gè)合理的猜想，但是也有可能跟糧食本身有關(guān)，畢竟他們想建立殖民地的星球是一個(gè)新的空間混合體。 克林貢人是否在糧食中下了毒，糧食本身是否有問題，這兩個(gè)因素可能會(huì)影響我們重復(fù)毛球族研究的能力，這也是為什么說在遇到可重復(fù)性危機(jī)的時(shí)候干草叉也很實(shí)用的原因。糟糕的研究設(shè)計(jì)與分析都會(huì)降低一項(xiàng)研究的可重復(fù)性，即使是那種p值已經(jīng)很低的研究。因此科學(xué)界就有義務(wù)找到一個(gè)更好的方法來激發(fā)適當(dāng)?shù)姆治龊脱芯康募夹g(shù)從而確保可以發(fā)表可重復(fù)性更高的研究。 針對(duì)如何更好地做研究報(bào)告和研究設(shè)計(jì)以改善這一問題，最近已經(jīng)有很多人提出了建議。這是一個(gè)好事，在沒有有效成果的研究上浪費(fèi)錢（通常是公眾的錢）會(huì)阻礙我們探索科學(xué)真相的進(jìn)程。所以那些訴諸“p黑客”的人，請(qǐng)使用正確的統(tǒng)計(jì)測(cè)試或者研究子集來反駁那個(gè)神奇的“p值<0.05”，注意一下我們的小情緒。 缺乏可重復(fù)性由多種原因引起的，可能也存在同樣多的解釋，研究人員的不稱職并不是唯一的原因。例如，繼續(xù)我們的太空小麥/毛球族研究可能也沒法證明克林貢人就是邪惡的糧食下毒犯。也許更多的研究會(huì)表明雜交小麥在太空中是不穩(wěn)定的從而分解成了對(duì)毛球族而言致命的毒藥（這也被證明會(huì)導(dǎo)致人身上難看的皮疹）。此外，毛球族可能比想象中的要更多樣化，部分種群在太空中容易病變，從而更容易受到太空小麥的毒害。因此，我們的研究是不可重復(fù)的，但是有用的。最初我們完全沒有想到雜交小麥會(huì)出問題�；谒赖舻拿蜃迕劝l(fā)了一個(gè)想法，即其死亡可能是由于小麥有毒，我們最終針對(duì)雜交小麥、太空旅行和毛球族如何相互作用得出了一個(gè)復(fù)雜卻可重復(fù)的解釋。最初的研究對(duì)于深化最終發(fā)現(xiàn)太空小麥問題的研究很有必要。 舉一個(gè)更為現(xiàn)實(shí)的例子，我們?cè)?jīng)做過一項(xiàng)研究，主要研究預(yù)測(cè)癌癥風(fēng)險(xiǎn)的基因變異的可重復(fù)性。我們的重點(diǎn)并不在于可重復(fù)性，而是在于針對(duì)一國國民實(shí)施的基因腫瘤風(fēng)險(xiǎn)研究是否適用于另一個(gè)國家的人們。我們發(fā)現(xiàn)，根據(jù)一項(xiàng)標(biāo)準(zhǔn)，那些研究通常無法適用于其他國家的人。大多數(shù)基因腫瘤風(fēng)險(xiǎn)研究無法在不同的民族中重復(fù)執(zhí)行。然而我們也發(fā)現(xiàn)有些基因變異的基本作用在不同民族之間具有共通性。另一項(xiàng)研究得出的p值可能低于0.05，但是在一組人群中得到的高風(fēng)險(xiǎn)標(biāo)記物更容易預(yù)測(cè)另一組人群的高風(fēng)險(xiǎn)而不是低風(fēng)險(xiǎn)。 因此，這些“不可重復(fù)”的研究看起來還是有意義的。他們測(cè)試的遺傳標(biāo)記還不能供臨床使用，但是它們都指向了相同的生物學(xué)效應(yīng)，這些效應(yīng)在臨床上可能就是有意義的。特別是，已經(jīng)測(cè)試過的變異基因可能就是真正風(fēng)險(xiǎn)等位基因的標(biāo)記物，或者非常接近，只是不完全符合研究等位基因的位置。 這就指出了一個(gè)很少被提及的、與可重復(fù)性危機(jī)相關(guān)的有趣問題：可重復(fù)性有多少才是正確的？這不僅僅是一個(gè)科學(xué)問題，也是一個(gè)倫理問題。接受低的可重復(fù)性意味著實(shí)施更難的研究，而且是在以實(shí)施大量結(jié)果不明了的研究為代價(jià)的前提下。獲取高可重復(fù)性則可以節(jié)省時(shí)間和金錢，但是卻意味著更多科學(xué)問題將沒法得到應(yīng)有的答案。 正如我們所說，樣本容量太小是導(dǎo)致可重復(fù)性不足的關(guān)鍵性因素。針對(duì)小型群體所做的研究所得出的效果明顯會(huì)比現(xiàn)實(shí)世界中的大，因此導(dǎo)致可重復(fù)性低。因此有人提議說只有具有優(yōu)先級(jí)可能性的研究才應(yīng)該被實(shí)施。根據(jù)這項(xiàng)標(biāo)準(zhǔn)，一項(xiàng)測(cè)量細(xì)微影響或者只影響一小部分的人的研究不應(yīng)該被實(shí)施，例如能延長癌癥患者幾個(gè)月壽命的藥物研究。這成為了一個(gè)相關(guān)性越來越強(qiáng)的問題，特別是在癌癥研究中，因?yàn)槲覀儼l(fā)現(xiàn)很多疾病其實(shí)就是相關(guān)疾病的一個(gè)集合，每一種相關(guān)集合都只會(huì)影響一小部分人。 在研究死亡的毛球族（或者預(yù)測(cè)癌癥風(fēng)險(xiǎn)的變異基因）時(shí)，構(gòu)思好的假設(shè)可能會(huì)遇到哪些困難，這一點(diǎn)值得考慮。實(shí)際上，初次提出的假設(shè)正確且可重復(fù)的幾率很小，而且初步研究可能也不會(huì)對(duì)得出預(yù)期結(jié)果提供太大的幫助。我們只能寄希望于它會(huì)引出下一項(xiàng)更好的研究。但是如果可重復(fù)性是衡量和實(shí)施研究的主要標(biāo)準(zhǔn)，那么這項(xiàng)研究根本就不會(huì)被執(zhí)行。 決定是否實(shí)施一項(xiàng)研究的標(biāo)準(zhǔn)應(yīng)該是哲學(xué)性質(zhì)的而不僅僅是科學(xué)性質(zhì)的，意識(shí)到這一點(diǎn)很重要。難道科學(xué)研究的目標(biāo)不是有效實(shí)現(xiàn)利益的最大化嗎？還是說，在受益的只是少數(shù)群體、可重復(fù)新較低的前提下，道德原則應(yīng)該服從科學(xué)原則？前者可以被認(rèn)定為是實(shí)用功利主義的一種表現(xiàn)，認(rèn)為最符合道德原則的行為才能惠澤大多數(shù)人，而且這種惠澤程度可以憑經(jīng)驗(yàn)衡量。這種方法的優(yōu)點(diǎn)是可量化，幾乎任何實(shí)用的事物（套用實(shí)用主義的一個(gè)哲學(xué)概念）都可以被量化。數(shù)字更適用于交流溝通，至少與模棱兩可的價(jià)值概念相比是這樣的。然而功利主義者有一個(gè)信念，即“實(shí)用”與“道德上正確”基本上是一樣的，這一信念也成了功利主義的根基。這種思維模式無法容許正義的存在。它指出任何帶有明顯自我犧牲、利他主義或博愛傾向的行為，如果符合道德原則，那么就應(yīng)該為所有人謀福利。只為少數(shù)人謀福利的行就為是不符合道德原則的。這似乎是一種比較委婉的自我犧牲形式，但是考慮到研究經(jīng)費(fèi)的緊張情況，這并不是一個(gè)人可能會(huì)做出的最小犧牲。 科學(xué)之路苦難重重。我們不僅要在所有工作的最后得出一個(gè)好的p值，這就需要構(gòu)思一個(gè)好的假設(shè)并且對(duì)足夠大的群體進(jìn)行研究；我們還需要能夠利用哲學(xué)理論來捍衛(wèi)自己的研究。我們是否將自己局限于影響力大的研究，為此聚集大量的患者作為研究樣本，確保研究具有較高的可重復(fù)性，從而確保研究經(jīng)費(fèi)得到了高效率的利用？還是說，雖然研究的可重復(fù)性較低，只要存在讓人們受益的可能性，我們就應(yīng)該進(jìn)行研究？或者在假設(shè)處于構(gòu)思的最初階段時(shí)，我們還沒有足夠的研究來證實(shí)需要對(duì)什么進(jìn)行測(cè)試，那么我們是否可以在一個(gè)未知的領(lǐng)域重新進(jìn)行研究？ 提高研究效率有助于減少可重復(fù)性問題，而且在決定研究什么的時(shí)候不用擔(dān)心平等和公正的問題。但是顯然這不是一個(gè)非此即彼的決策過程。努力改善可重復(fù)性問題，或者至少突出重復(fù)實(shí)施研究過程中出現(xiàn)的問題，其出發(fā)點(diǎn)都是好的。然而將可重復(fù)性的門檻設(shè)置得過高也就違背了我們對(duì)科學(xué)的訴求。大多數(shù)人對(duì)科學(xué)的認(rèn)知中都包含了實(shí)踐和對(duì)新的科學(xué)領(lǐng)域不斷的探索，研究中出現(xiàn)不可重復(fù)性沒準(zhǔn)就是一條通往真理的必經(jīng)之路。
（本文為Dr.Brain Ring 原創(chuàng)）
科學(xué)界出現(xiàn)可重復(fù)性危機(jī)，不可重復(fù)未必就沒有意義 | 
收藏
分享
支持
反對(duì)
提升卡
置頂卡
沉默卡
喧囂卡
變色卡
千斤頂
照妖鏡
