平台演算法所造成的「分歧遞送」（Divergent Delivery）會嚴重干擾 A/B 測試的結果，你可以簡單把「分歧遞送」理解成個人化廣告。

A/B 測試（A/B testing）過往視為行銷人的利器，用以測試不同廣告素材的效果，進而優化廣告效益。但是最近有新的商學院研究指出，A/B 測試其實沒那麼有效了！這是怎麼回事呢？

先說結論，其實這就是各個網路、社群的演算法又在作怪了。美國密西根大學 Eric Schwartz、南方衛理會大學 Michael Braun 兩位學者的研究指出，平台演算法所造成的「分歧遞送」（Divergent Delivery）會嚴重干擾 A/B 測試的結果。你可以簡單把「分歧遞送」理解成個人化廣告，如果你在那些大型社群平台上做 A/B 測試過程，即使這些使用者屬於同一受眾，但平台的演算法會根據廣告內容和使用者特徵，將不同廣告投放給不同群體的使用者。

兩位學者基於與美國底特律市的合作經驗，分享了一個 A/B 測試的實地實驗案例。他們利用 Facebook 的「測試事件」工具，測試不同創意元素的廣告對招募員工的效果。實驗結果顯示，不同性別的使用者，看到不同廣告的比例有顯著差異，例如主打女性警官的廣告，更容易被投放給女性使用者。

這種做法看似能提升廣告效益，卻讓 A/B 測試的結果失真，無法真實反映廣告素材本身的優劣或「美醜」。舉個例子，一家景觀設計公司想測試兩種品牌定位：強調美觀或強調永續。他們分別設計了「美觀廣告」和「永續廣告」，並在社群平台上進行 A/B 測試。平台演算法可能會將「美觀廣告」更多地投放給關注居家裝飾的使用者，而將「永續廣告」更多地投放給關注環保議題的使用者。由於兩組受眾的特性不同，最終的轉換率差異可能來自於受眾本身的差異，而非廣告素材的差異。

除此之外，過去學界曾嘗試透過同時執行多個獨立的廣告活動來進行 A/B 測試，但這種方法已被證明無法確保使用者隨機分配到不同的廣告組別，進而影響了研究的內部效度。

分歧遞送的成因來自於平台演算法的核心價值：精準投放。平台透過分析使用者數據，預測哪些使用者對哪些廣告更感興趣，進而將廣告投放給最有可能產生轉換的使用者，以提升平台和廣告主的收益。然而就是這種基於「關聯性」（Relevance）的投放策略，卻破壞了 A/B 測試的隨機性。

許多行銷人誤以為，使用平台提供的「保留測試」（Holdout Test）功能，就能解決分歧遞送的問題。保留測試是指將受眾隨機分為兩組，一組看到廣告，一組看不到，藉此比較兩組的轉換率差異，以評估廣告效益。然而，保留測試只能確保單一廣告的效益評估是有效的，無法解決不同廣告之間受眾不平衡的問題。

更令人擔憂的是，分歧遞送可能導致 A/B 測試結果出現「符號反轉」（Sign Reversal）。例如，在「永續廣告」的例子中，即使「永續廣告」在所有使用者群體中都比「美觀廣告」更有效，但由於平台將「永續廣告」更多地投放給了對任何廣告反應都較弱的使用者，最終結果可能顯示「美觀廣告」的效果更好，導致這種現象會讓行銷人做出錯誤的決策，選擇效果較差的廣告素材。

那麼，面對分歧遞送的陷阱，行銷人該怎麼辦？

首先必須認清 A/B 測試的局限性，並根據不同的行銷目標，選擇合適的測試方法。如果只是想預測哪個廣告素材在特定平台上效果更好，那麼現有的 A/B 測試工具就足夠了。但如果想將測試結果應用於更廣泛的行銷決策，例如制定品牌策略或規劃線下廣告，那麼就必須謹慎解讀 A/B 測試結果，並考慮分歧遞送的影響。

其次，行銷人應要求平台提高透明度，提供更多關於演算法如何影響 A/B 測試結果的資訊。例如，平台可以公開哪些使用者特徵會影響廣告投放，以及不同廣告之間的受眾差異。唯有如此，行銷人才能更準確地解讀 A/B 測試結果，避免做出錯誤的決策。

核稿編輯：Sherlock

(轉自INSIDE)