回首頁
關於TPMMA
協會組織
入會辦法
藥業特別貢獻獎
藥業終身奉獻獎
傑出經理人
醫藥行銷師(MR)專區
醫藥運銷管理師暨流通冷鏈管理師專區
公 文
出版刊物
週訊
管理格言
品味人生
諺語偶拾
輕鬆一下
文章分享
協會動態
照片影音
歷次研討資訊
線上教學
相關網站
/ 文章分享
首頁
>> 出版刊物 >> 文章分享
字體:
小
.
中
.
大
分享:
為什麼 A/B 測試沒那麼有效了?那是因為演算法在作怪
發佈時間:
2025/1/17
點閱率:
68
│
平台演算法所造成的「分歧遞送」(
Divergent Delivery
)會嚴重干擾
A/B
測試的結果,你可以簡單把「分歧遞送」理解成個人化廣告。
A/B
測試(
A/B testing
)過往視為行銷人的利器,用以測試不同廣告素材的效果,進而優化廣告效益。但是最近有新的商學院研究指出,
A/B
測試其實沒那麼有效了!這是怎麼回事呢?
先說結論,其實這就是各個網路、社群的演算法又在作怪了。美國密西根大學
Eric Schwartz
、南方衛理會大學
Michael Braun
兩位學者的研究指出
,平台演算法所造成的「分歧遞送」(
Divergent Delivery
)會嚴重干擾
A/B
測試的結果。你可以簡單把「分歧遞送」理解成個人化廣告,如果你在那些大型社群平台上做
A/B
測試過程,即使這些使用者屬於同一受眾,但平台的演算法會根據廣告內容和使用者特徵,將不同廣告投放給不同群體的使用者。
兩位學者基於與美國底特律市的合作經驗,分享了一個
A/B
測試的實地實驗案例。他們利用
Facebook
的「測試事件」工具,測試不同創意元素的廣告對招募員工的效果。實驗結果顯示,不同性別的使用者,看到不同廣告的比例有顯著差異,例如主打女性警官的廣告,更容易被投放給女性使用者。
這種做法看似能提升廣告效益,卻讓
A/B
測試的結果失真,無法真實反映廣告素材本身的優劣或「美醜」。舉個例子,一家景觀設計公司想測試兩種品牌定位:強調美觀或強調永續。他們分別設計了「美觀廣告」和「永續廣告」,並在社群平台上進行
A/B
測試。平台演算法可能會將「美觀廣告」更多地投放給關注居家裝飾的使用者,而將「永續廣告」更多地投放給關注環保議題的使用者。由於兩組受眾的特性不同,最終的轉換率差異可能來自於受眾本身的差異,而非廣告素材的差異。
除此之外,過去學界曾嘗試透過同時執行多個獨立的廣告活動來進行
A/B
測試,但這種方法已被證明無法確保使用者隨機分配到不同的廣告組別,進而影響了研究的內部效度。
分歧遞送的成因來自於平台演算法的核心價值:精準投放。平台透過分析使用者數據,預測哪些使用者對哪些廣告更感興趣,進而將廣告投放給最有可能產生轉換的使用者,以提升平台和廣告主的收益。然而就是這種基於「關聯性」(
Relevance
)的投放策略,卻破壞了
A/B
測試的隨機性。
許多行銷人誤以為,使用平台提供的「保留測試」(
Holdout Test
)功能,就能解決分歧遞送的問題。保留測試是指將受眾隨機分為兩組,一組看到廣告,一組看不到,藉此比較兩組的轉換率差異,以評估廣告效益。然而,保留測試只能確保單一廣告的效益評估是有效的,無法解決不同廣告之間受眾不平衡的問題。
更令人擔憂的是,分歧遞送可能導致
A/B
測試結果出現「符號反轉」(
Sign Reversal
)。例如,在「永續廣告」的例子中,即使「永續廣告」在所有使用者群體中都比「美觀廣告」更有效,但由於平台將「永續廣告」更多地投放給了對任何廣告反應都較弱的使用者,最終結果可能顯示「美觀廣告」的效果更好,導致這種現象會讓行銷人做出錯誤的決策,選擇效果較差的廣告素材。
那麼,面對分歧遞送的陷阱,行銷人該怎麼辦?
首先必須認清
A/B
測試的局限性,並根據不同的行銷目標,選擇合適的測試方法。如果只是想預測哪個廣告素材在特定平台上效果更好,那麼現有的
A/B
測試工具就足夠了。但如果想將測試結果應用於更廣泛的行銷決策,例如制定品牌策略或規劃線下廣告,那麼就必須謹慎解讀
A/B
測試結果,並考慮分歧遞送的影響。
其次,行銷人應要求平台提高透明度,提供更多關於演算法如何影響
A/B
測試結果的資訊。例如,平台可以公開哪些使用者特徵會影響廣告投放,以及不同廣告之間的受眾差異。唯有如此,行銷人才能更準確地解讀
A/B
測試結果,避免做出錯誤的決策。
核稿編輯:
Sherlock
(
轉自
INSIDE
)
top