『實驗』的基本概念：控制與重複

『實驗』是找出因果關係最根本的方法*。在學校教育中，我們其實都學過實驗的基礎概念和重要性。然而在實際工作與生活中，卻還是常常看到有人將現象與因果混淆，做出錯誤的決定。本篇我們介紹實驗的基本概念。

---

為什麼現象不能代表因果關係？

我們看到兩件事情（“經常”）同時發生或是接連發生，常常會直覺它們有因果關係：也就是 『A 造成 B』這種推斷。這種想單然爾的推論當然是不正確的。造成兩件事相關聯的原因，除了因果關係之外，也很有可能是『隱藏變因』、『因果相反』，也可能根本『只是巧合』或是來源於認知偏誤。

隱藏變因與因果錯置

隱藏變因指的是有其他我們沒有考慮到的因素，例如有錢的人會用好一點的手機，也會更健康（可能因為更注重健康飲食、生活較沒有壓力等等），不能錯認為用好的手機對健康有幫助。我們在『相關性、因果關係與結構模型』這篇文章中，對隱藏變因與因果相反有更深入的說明。

巧合與認知偏誤

『巧合』比想像中更容易發生，比如找車位時唱了某一首歌，忽然就找到一個絕世好位，是不是那首歌有神奇的魔力? 一些認知偏誤也可能讓我們錯認因果關係，例如每天你回家時，家裡的貓就會在門口等你，是不是牠跟你心電感應？（其實可能門口就是牠最喜歡的位置）看新聞感覺名校學生更容易自殺，有可能只是他們比較容易上新聞。

為什麼我們要做實驗，就是為了排除這些隱藏變因、巧合與認知偏誤，盡可能的確認真正的因果關係。

實驗的基本概念：控制與重複

Control group

實驗的一個要點，就是要有『控制組』（control group），與接受實驗操作的『實驗組』（treatment group）做為對照。（這個翻譯有一點誤導性，在這裡，『控制』的意思是控制其他變因。）

設計控制組可以說是設計實驗的精髓，關鍵就是控制組要盡量保有除了想證實的『原因』以外，實驗組的所有特性和經歷的操作。

安慰劑（placebo）

醫療實驗中，實驗組的受試者會吃某種藥丸，而對照組也會被給予所謂『安慰劑』（placebo），並且受試者（甚至實驗操作者）都不知道自己拿到的藥丸是否含有目標成分。這種設計，就可以排除實驗組的成效是否來自於『自認為吃了藥丸』的心理作用。

A/B test basics

現在的很多公司，會用 A/B test 來表示他們做的『實驗』。簡單來說就是把受試對象（通常是用戶）分為A/B 兩組，A 是控制組（control），Ｂ是實驗組（treatment）。在網路軟體服務的公司中，這種實驗很容易大規模操作，所以大部分公司甚至希望所有用戶體驗的新設計，在全面上線之前都要有實驗證明效果。

多重控制組

有時候，控制組可以有好幾個，代表不同程度的『接近實驗組』。例如要證明『海水澆灌』對植物的影響，控制組可以有『淡水澆灌』以及『不澆灌』兩種。

重複（Replication）

實驗的另一個要點就是重複。重複的目的主要是要證明觀察到的反應不是巧合。另外，如果要讓實驗的結果更具有普遍性，重復的樣本就要包含合理的範圍。重複太少，很有可能會因為『巧合』，而造成 overfitting 的問題。如果一種『解酒藥』的實驗只在幾個 20~24 歲亞洲男性身上做過實驗，就很難判定其是不是對其他群體也有一樣效果。

樣本數（Sample size）與 power analysis

至於需要重複多少次，也就是『樣本數』（Sample size）該有多大才夠，則需要統計的專業知識去分析估算。很多公司內部都有算樣本數的工具，google 搜尋 “sample size calculator” ，也可以找到很多結果)。用來估計樣本數的分析，有時會叫做『power analysis』，power 指的是『檢測出期待的結果的能力』。

---

『實驗』是找出因果關係最根本的方法*，而控制與重複是構成一個合格實驗的關鍵。工作與生活中，不一定人人都要像科學家、統計學家依樣夠設計很好的實驗，但是了解其原理，才能夠正確解讀現象、避免被矇騙，做出正確的決策。

*我們在『相關性、因果關係與結構模型』中介紹過的其他找出因果關係的方法，都只是在實驗不可行或是代價太大的情況下，可以使用的替代方案。