抖音广告投放|使用AB实验工具时，常遇到的问题解答

Q1: 配置实验时预估实验样本充足度是什么意思 ?

A1:预估实验样本充足度是指在实验对象起量后，对实验对象样本充足度的预估。

Q2:当实验的预估实验样本充足度<80%时是否能开始实验 ?

A2:可以开始实验，但建议在确保实验中的抖音广告投放计划/组有足够预算，出价合理，且实验与广告投放有足够的重叠时间下进行实验。

Q3: 实验报告的获胜概率是什么意思 ?

A3:获胜概率指如果我们再做一次一模一样的实验，得到相同实验结论的概率是多少

Q4:为什么实验对象的获胜概率比较低 ?

A4:实验可信度受实验对象数据量，实验对象间的差异大小，实验对象数据的波动(方差)影响。获胜概率低可能是因为:1.实验的曝光、点击、转化数不够，2.各实验对象间数据并没有什么差异，3.实验对象的实验指标波动较大并不稳定。

Q5:为什么广告计划C,D,E的点击率相同，但C的获胜概率更高 ?

A5:实验报告并非仅根据实验指标作为判断优质计划的依据，系统同时也会考虑实验对象的数据稳定性。虽然C,D,E的点击率一样但由于C的点击率表现更加稳定，因此C会被系统判定为优质广告计划。总体上来说系统会将实验指标表现优异且波动小的实验对象识别为“效果较好”广告计划/组。

Q6:实验周期和投放周期在报告解读上的区别 ?

A6:实验报告仅对实验周期内的广告数据表现进行计算，仅能代表实验周期内实验指标的表现结果

Q7:什么时候结束实验比较合适 ?

A7:建议在实验得出获胜概率较高的计划/组后，或实验有明显结论后再调整实验状态，结束实验。结束实验后可以关停获胜概率较低的计划/组的投放，将更多的资源倾向优质的抖音广告投放计划/组。

Q8:使用工具时感觉组/计划起量有问题，是否和AB实验工具相关，或者能否靠AB工具解决 ?

A8:AB实验工具本身是为需要对比的广告计划或广告组提供一个不相互竞争的无偏实验场景。不解决在竞争投放环境下计划本身的起量问题。没有起量的计划在实验中会被认定为数据量不足，无法得出统计上可信的结论。