三台机器怎么保证说的是同一件事
去年年底我给自己那个小站折腾过一次“高可用”。三台最便宜的学生机,凑了个主从,一主两从,心想总比单机稳吧。结果有天夜里云厂商那边网络抖了一下,两台机器短暂失联,然后……它们各自选出了自己的“主”。等网络恢复,两边都觉得自己才是真的,数据一对,评论区的时间全乱了,同一个人的两条留言还调了个个儿。折腾到凌晨三点多才把数据掰回来。那次之后我下定决心把分布式一致性搞明白。翻了一圈论文和博客,最后落在 Raft 上——它是现在很多系统(etcd、Consul,还有各种数据库的共识层)用的那套算法。学完我发现,分布式这套东西难,不是难在代码,是难在你得时刻记住一个反直觉的前提:网络随时会断,机器随时会挂,而你没有任何办法确定“对面到底是挂了还是只是慢”。从这句话出发,很多设计就顺理成章了。
你一台机器跑一个数据库,写一条数据,写进磁盘,返回成功。全世界就一个副本,不存在“和别人不一致”的问题。哪怕它挂了,也是整个服务挂了,干脆利落。一旦你为了高可用、为了扛住流量,把数据复制到多台机器上,“一致性”这个魔鬼就出来了。你写了一笔,得让其他几台也写上;问题是,网络可能断,机器可能卡,中间任何一步出岔子,几台机器就会各说各话。分布式系统里所有的痛苦,几乎都来自这一件事:多副本 + 不可靠网络。
CAP 的大白话版本
讲分布式绕不开 CAP。网上解释很多,我说点大白话。C(一致性):所有节点在同一时刻看到的数据是一样的。
A(可用性):每次请求都能得到一个(不报错的)响应。
P(分区容忍):网络断了、节点互相联系不上时,系统还能继续工作。CAP 说的是,当网络分区(P)真的发生时,你只能在 C 和 A 里二选一。要么为了保证所有节点数据一致,拒绝一部分请求(牺牲 A);要么为了继续服务,容忍有些节点数据旧了(牺牲 C)。
注意,CAP 不是说你平时也要放弃一个,是说“分区发生时”得选。平时网络好好的,C 和 A 都能要。现实里的系统,基本都是 CP 或 AP。比如银行转账那种,宁可短暂不可用,也不能出现两个节点记的余额不一样,那是 CP(像 ZooKeeper、etcd 的强一致模式)。而一些社交动态、点赞数,短暂不一致没关系,用户刷新一下就对上了,就可以偏 AP(像 Cassandra 默认的最终一致)。我那次翻车,本质上就是一个 CP 系统在网络分区时,选主逻辑没扛住,两边都以为自己是主,酿成了“脑裂”。所以理解 CAP 之后我第一反应是:那些强一致系统,在分区时“拒绝服务”不是 bug,是 feature,是它宁可停下来也不肯说错话。
Raft is a consensus algorithm for managing a replicated log.
—— Diego Ongaro, In Search of an Understandable Consensus Algorithm
Raft 的思路,我觉得特别“人间”:与其让所有节点平起平坐、商量着来(那太难协调),不如选一个“领导”,所有写请求先交给领导,领导拍板,再通知其他人。这样一来,“三个和尚没水吃”的问题就变成了“怎么保证同一时间只有一个领导,且大家都认他”。Raft 用两件事来保证:选主(leader election)和日志复制(log replication)。
选主:任期、投票、多数派
Raft 里每个节点有三种身份:跟随者(follower)、候选人(candidate)、领导者(leader)。正常时大家是 follower,听 leader 的。leader 会周期性地给 follower 发心跳,意思是“我还活着,我还是主”。follower 如果一段时间(叫 election timeout)没收到心跳,就认为 leader 挂了,自己站出来当候选人,把任期号(term)加一,向其他节点拉票。其他节点投票有个规矩:同一个任期,每人只投一票,先到先得。候选人拿到超过半数的票,就当选 leader。
“超过半数”这个要求是精髓。三台机器,要两票;五台,要三票。这意味着,同一个任期里,不可能有两个人都拿到多数票——因为超过一半的人,不可能同时把票投给两个不同的人(数学上,两个“超过半数”的集合必然有交集,而一个人一任期只能投一次)。这就从数学上堵死了“两个主”的可能性。我那次翻车,八成就是选主逻辑在分区时没守住“多数派”这条底线。还有个细节叫“任期号”。每次选举,任期号加一。任期号大的,优先。这相当于给每次选举盖了个时间戳,防止老的 leader 复活之后还乱发号施令。
日志复制:先记下来,再算数
选出 leader 之后,写请求怎么处理?客户端把“我要写 X”发给 leader。leader 先把它写进自己的日志(还没真正生效),然后并行发给所有 follower,让他们也写进日志。follower 写好了,回一句“我记下了”。当 leader 收到超过半数节点的确认(包括自己),它就认为这条日志“已提交”(committed),然后应用到状态机、返回客户端成功,并通知其他节点也提交。
注意,是“超过半数确认”才算提交,不是“所有人都确认”。这是可用性和一致性的平衡点:只要有半数以上活着,系统就能继续写,不会因为一台机器慢就卡死。如果 leader 挂了,新选出来的 leader 必须拥有“最新的日志”——选举时会比较日志的新旧,日志更全的才配当 leader。这样能保证已经提交的数据不会丢。这套流程,我理解下来就是一句话:任何一条被确认的写,都必须已经被超过半数的机器记下来了。所以就算少数机器挂了,剩下的大多数里,一定至少有一台记着这条数据,新 leader 从它们里选出来,数据就不会丢。
为什么大家愿意用 Raft,而不是 Paxos
Raft 之前,分布式共识的标杆是 Paxos。Paxos 在理论上极其优雅,但它难懂、难实现、难调试——连作者自己都在论文里开玩笑说“这玩意儿不好理解”。很多团队照着 Paxos 实现,实现出来的东西各有各的 bug。Raft 的设计目标很明确:可理解性优先。它把问题拆成“选主、日志复制、安全性”几个相对独立的部分,每个部分都有清晰的规则,还配了可视化的讲解(有个叫 raft.github.io 的网站,能动画演示选主过程)。它不是比 Paxos 更强,是比 Paxos 更容易被正确实现。
我学的时候就是对着那个动画看的,看几遍“节点超时→变候选人→拉票→当选”,比读十页论文都直观。这也是 Raft 能在工程界流行起来的关键:一个算法再漂亮,如果实现的人写不对,那它等于不存在。论文里的 Raft 是理想的,现实里全是坑。网络分区能造出各种你想象不到的局面:分区两侧都以为自己这边是多数派(其实不是),或者时钟不同步导致超时判断错乱。Raft 靠“多数派”和“任期号”挡住了大部分,但工程实现里还要处理磁盘写失败、消息重复、快照传输、成员变更等等一堆问题。还有一个反直觉的点:你以为“三台机器”很稳,其实三台只能容忍挂一台。挂两台,就凑不齐多数派,整个系统写不了(只能读,取决于读的模式)。所以真正要求高的系统,常常是五台。这也是为什么很多团队一开始图省钱上三台,出了事才发现“高可用”其实是有条件的。
顺带说说分布式事务,它比选主还难
Raft 解决的是“多副本之间如何达成一致”,但现实里还有个更棘手的问题:一件事跨了好几个地方——好几个服务、好几个数据库、好几台机器,怎么保证要么全成功、要么全失败?这就是分布式事务。最经典的方案叫两阶段提交(2PC)。第一阶段,协调者问所有参与者“你们能提交吗?”,大家都说“能”(prepared)。第二阶段,协调者说“提交”,大家才真正提交;只要有一个说“不能”,协调者就通知所有人回滚。听着挺合理,但它的死穴在于:协调者或者参与者在第二阶段挂掉了怎么办?参与者已经 prepared、资源锁着、等着协调者的最终指令,协调者却没了,它就只能一直等,锁一直不放,整个系统可能就被拖死了。这就是所谓的“阻塞”问题。
所以工程上大家宁愿用“最终一致”的变体,比如 TCC(Try-Confirm-Cancel)、Saga、本地消息表,把一个大事务拆成若干可补偿的小步骤,每一步都有对应的“撤销动作”。牺牲一点强一致,换来可用性和不阻塞。这背后还是 CAP 那套取舍,只是换了个战场。我那次翻车,其实也沾了点这意思——两边都觉得自己是主,都老老实实把写请求落了盘,最后合到一起,谁也不知道该信谁。这种问题比单纯的“谁挂了”难查得多,因为大家都没挂,只是说的不是一回事。
时钟,为什么不能拿来定顺序
我一开始有个特别天真的想法:给每条操作打个时间戳,按时间戳排序,不就知道谁先谁后了吗?后来才知道,分布式系统里的“时间”是个大坑。每台机器的时钟都是独立的,会漂移,NTP 同步也有误差。你根本没法保证机器 A 的“12:00:00.001”就真的比机器 B 的“12:00:00.002”早。极端情况下,一台机器的时钟往回跳都有可能。
这就是为什么 Raft 不用时间戳定顺序,而用“任期号 + 日志索引”这种逻辑上的顺序。它不关心“真实世界几点”,只关心“在这套系统内部,谁排在谁前面”。这叫逻辑时钟,是分布式系统里一个特别重要的思想:物理时间不可靠,那就用因果关系来定义顺序。Google 的 Spanner 数据库搞了个“TrueTime”,用 GPS 和原子钟把误差压到几毫秒,再故意等一等,才敢用时间戳做全局排序。但那是谷歌的钞能力,绝大多数系统玩不起。所以我们这些普通人,还是老老实实用逻辑时钟和多数派。
那次翻车之后,我对分布式系统多了点敬畏,也多了点清醒。我不再觉得“多部署几台就高可用了”。高可用是有前提的:网络要基本正常,多数派要活着,选主逻辑要正确。任何一个前提破了,“高可用”就会变成“高不可用”,甚至是“数据错乱”这种更糟的结果。我也更能理解为什么那些强一致系统在出问题时选择“停”而不是“错”。停一下,等几秒,数据还是对的;错了,可能就是一条留言跑到别人名下、一笔账记两遍。这中间的取舍,不是技术细节,是对“什么不能错”的判断。
Raft 教我的,与其说是算法,不如说是一种思维方式:在一个不可靠的世界里,怎么用“多数派”和“任期”这种简单的规则,硬生生地建立出一份可靠的共识。它不追求完美,它只追求“即使有机器挂了、有网断了,大家最终还能说同一件事”。这件事听着朴素,做起来,是真的难。