第五章 数据清洗：缺失、重复与错位

真正开始动手整理加拿大数据，才会发现最磨人的不是分析，而是清洗。我手头这批加拿大28的开奖记录，是从三个不同渠道攒起来的，时间跨度从去年三月到今年一月。三个来源的格式各不相同，有的用逗号分隔，有的用竖线，还有的干脆把日期和号码黏在一起。把它们合并成一张表之后，第一眼看上去还算整齐，可只要逐列扫一遍，问题就全冒出来了。缺失值像蛀牙一样藏在中间，不仔细找根本看不见。比如去年七月十二号那期，三个来源里有两个记的是完整数字，第三个却只写了一个横杠。这种时候不能随便猜，我通常的做法是先把这条记录标黄，然后去翻当天的其他存档，实在找不到就单独放进一个待定文件，绝不混进主表。整理这件事，最怕的就是自作聪明地填补，错一个数字，后面所有的PC28走势都会跟着歪。

重复值的处理更考验耐心。加拿大28每天开奖频率高，不同渠道抓取时难免重叠。我遇到过最夸张的一次，同一个时间戳下的开奖记录，在合并后的表里出现了六次，只是前后空格和大小写略有差别。如果不做规范化，直接去重，可能会误删掉真正独立的两条。我的步骤是先把所有文本转成小写，去掉首尾空格，再把日期统一成“年-月-日 时:分”的格式。做完这一步，再用“日期+号码”作为联合主键去查重。那次六条重复里，其实只有两条是真正同一期的开奖数据，剩下四条是不同日期的误标。你看，重复和错位往往是一起出现的，光看号码相同还不够，必须把时间轴对齐。整理加拿大数据这几年，我越来越觉得，清洗不是一道工序，而是一种反复核对的态度。

错位的问题最隐蔽，也最让人头疼。所谓错位，就是号码对上了，但日期或者期号整体偏移了一格。有一次我整理一批加拿大28的历史记录，发现连续二十期的PC28走势呈现出一种奇怪的规律，每隔三期就重复一次。这显然不合常理。后来把原始表按时间排序，再跟另一份独立存档逐条比对，才找到原因：其中一个来源在导出时，把第一行的标题行也算作了数据行，导致后面所有记录都往下错了一位。也就是说，你看到的“第100期”号码，其实是第99期的。这种错位如果不修正，任何基于加拿大28预测的观察都会变成自欺欺人。修正的方法倒不复杂，把标题行删掉，整体上移一行，再重新核对首尾两期的时间戳，确认无误后才放回主表。从那以后，我每次合并新数据，都会先检查第一行和最后一行，这已经成了肌肉记忆。

清洗完缺失、重复和错位，并不代表数据就干净了。还有一个常被忽略的环节，是格式的统一。加拿大数据的来源太杂，有的把号码写成“01, 02, 03”，有的写成“1 2 3”，还有的用中文顿号隔开。这些差异在肉眼看来无所谓，可一旦要统计加拿大28的号码分布，就会出问题。我习惯把所有号码统一成两位数字，不足两位的补零，分隔符统一用英文逗号加一个空格。日期则全部转成ISO格式，时区统一到东部时间。做完这些，再随机抽三十条开奖记录，跟原始截图一条条对，确认没有在转换过程中引入新的错误。整理这件事，说到底就是跟自己较劲，你偷懒一步，后面就得花十步去补。

说到具体数字，我拿上个月的一批数据做过测试。原始表一共四千三百二十一条加拿大28开奖记录，清洗前查出缺失值四十七条，重复值一百一十二条，错位段落三段共影响八十九期。经过逐条核对和修正，最终保留的有效记录是四千零六十三条。也就是说，差不多有百分之六的数据在清洗阶段被拦了下来。这个比例不算小，如果直接拿原始表去做PC28走势分析，那些错位的号码会把短期波动放大好几倍，让你误以为出现了某种模式。而实际上，那只是整理不到位留下的噪音。我后来把清洗前后的两张表分别画成散点图，清洗后的分布明显更均匀，相邻两期号码的跳跃也回归到正常范围。

现在每次拿到新的加拿大数据，我都会先跑一遍固定的清洗流程：查缺失、去重复、校错位、统一格式。这四步做完，再开始看加拿大28预测相关的统计。有人觉得清洗枯燥，不如直接看结果来得快，但我的经验恰恰相反。一份整理得当的开奖记录，本身就会说话。你不需要刻意去找规律，规律会从干净的PC28走势里自己浮现出来。反过来，如果数据里藏着几十条错位的开奖数据，你越分析，离真相就越远。所以这一章没有高深的模型，只有笨功夫。下一章我会接着聊，清洗完之后，怎么给加拿大28的数据做基础描述，以及那些看似平常的平均数和中位数，在开奖记录里到底能告诉我们什么。