机器学习西瓜书:评估方法

通常,我们可以通过实验测试来对学习器的泛化误差进行评估并进而做出选择 留出法 “留出法”直接将数据集DDD划分为两个互斥的集合,其中一个集合作为训练集SSS,另一个作为测试集TTT,即D=S∪TD=S\cup TD=S∪T,S∩T=∅S\cap T = \varnothingS∩T=∅。 注意:训练/测试集的划分要尽可能保持数据分布的一致性,避免因数据划分过程引入额外的偏差而对最终结果产生影响。通常采用“分层采样” “分层采样”是保留类别比例的采样。例如对数据集DDD有1000个样例,其中包含500个正例,500个反例。70%样本作为训练集SSS,30%样本作为测试集TTT,则分层采样得到的S