第十一章 核对与校验：让数据可信

整理这件事，做久了会发现一个规律：真正花时间的往往不是把加拿大数据从各个页面复制下来，而是事后核对它们能不能互相对上。前几周我一直在处理加拿大28的开奖记录，每天大概三百多条，刚开始图快，抓完就往表格里一贴，结果月底做汇总时发现有两天的记录总数对不上，差了七条。七条看起来不多，但放在一条时间线上，就像绳子中间断了一小截，后面所有的平均值、间隔统计都会跟着偏。从那以后，我把核对单独拎出来当成一道工序，不再和整理混在一起做。

具体怎么核对，我现在的做法是分三层。第一层是数量核对，每天加拿大28开奖记录按固定频率产生，理论上一天内应有的条目数是可预期的，我先数总数，再按小时分组数一遍，看分布是否均匀。第二层是字段核对，每条记录里的期号、日期、时间、数值这几列，我会抽查首尾各二十条，看看期号有没有跳号、时间有没有倒挂。第三层是来源核对，同一段加拿大数据我尽量留两个出处，一个主用一个备用，两边跑一遍比对，不一致的地方标黄，人工再看。这三层走下来，一条三百多条的记录大概多花十五分钟，但省下的是后面返工的时间。

说到来源，PC28的开奖记录在这一点上特别能说明问题。不同地方给的同一期数据，绝大多数时候是一致的，但偶尔会差一个数字，或者时间戳差几秒。遇到这种情况我不会急着判断谁对谁错，而是先记下来，等积累到一定数量再看规律。上个月我统计了四周，一共遇到十一次不一致，其中八次是时间戳的秒级差异，两次是数值差一，只有一次是整条缺失。把这些写进我的观察笔记之后，再回头看PC28走势的时候，心里就有底了——我知道哪些位置的数据是稳的，哪些位置需要多留一个心眼。

校验还有一层容易被忽略的作用，就是检验自己整理的方法本身有没有漏洞。比如我早期用过一个自动去重的脚本，规则写得太粗，把同一期内不同时间的两条加拿大28数据当成重复项删掉了，当时没发现，后来做加拿大28预测的回看对照，才察觉某几期的样本量莫名偏低。这件事让我意识到，整理和校验其实是一体两面，整理负责把数据收进来，校验负责问一句“你确定吗”。现在我每次调整抓取规则或者表格结构，都会拿一段已知的旧开奖数据跑一遍，看结果和之前是否一致，一致才继续用。

数字上的例子更能说明问题。假设我手上有一段三十天的PC28开奖记录，每天按标准应有二百八十八条，三十天就是八千六百四十条。如果我只做整理不做校验，按经验大概会漏掉百分之一到百分之二，也就是八十六条到一百七十条左右。这些缺失分散在各天里，单看每一天都不明显，但一旦用来算间隔分布或者做PC28走势的对比，误差就会被放大。反过来，如果每天花十分钟核对，把缺失压到千分之二以内，也就是十七条上下，那后续任何基于这批加拿大数据的分析，可信度就完全不一样了。

我现在习惯在每周末留出一个小时，专门做这一周的核对与校验。流程很朴素：先跑数量对比，再跑字段抽查，最后把两套来源的开奖记录并排放在一起，逐条扫一遍差异。扫完之后，我会在笔记里写一句话，记下这一周的数据整体可信度如何，有没有需要留意的异常点。这句话不写给谁看，就是给自己一个交代。做加拿大28预测也好，看PC28走势也好，前提都是脚下的开奖数据站得住，否则后面推得再漂亮也是空的。核对与校验这件事，说到底就是让数据先可信，再谈别的。