工程灾难史

一根树枝,六分钟,五千万人:2003 年北美大停电

全文约 0 字约 0 分钟
纽约曼哈顿中城与上西区发生大规模停电

第 一 节"兄弟,我给你顶到最大"

2003 年 8 月 14 日,星期四,美东时间下午 1 点 16 分。俄亥俄州阿克伦,第一能源公司(FirstEnergy,下称 FE)的系统控制中心里,一名调度员拿起电话,打给伊利湖畔的东湖发电厂(Eastlake Power Plant)。他要的是电压。

这段通话被一字不差地记进了后来的调查档案:

"你那边能不能帮 345 的电压顶一把?""兄弟,我给你顶到最大……你也就多得一点点。""行,那我能要求的也就是这个了。"

15 分钟后,下午 1 点 31 分 34 秒,东湖 5 号机组跳机。它不是坏了,它是太卖力了——调度员要的那一"顶",把它逼过了自己承受的边界。事后调查发现,这台机组的励磁系统定值本身设得不对:当自动电压调节器因过励磁跳到手动时,无功输出被直接拉到零,而不是维持在一个合理的励磁电流上;值长试图把手动调回自动,整套励磁系统直接跳闸。雪上加霜的是,跳机之后厂里一台泵的阀门无法复位,这台机组当天再也回不来了。

同一时刻,在这个控制中心的另一块屏幕上,一件更要命的事已经发生:下午 2 点 14 分,告警与事件记录功能停了。屏幕还在动,光标还在闪,只是不再有人敲它。当班的调度员并不知道——他们接下来一个多小时里看到的一切,都是已经过期的世界。

下午 3 点 05 分 41 秒,克利夫兰南郊,一根树枝碰到了 345 千伏导线。

下午 4 点 13 分,北美历史上最大的一次停电已经完成:8 个州、1 个加拿大省份、约 5000 万人、61,800 兆瓦负荷。从第一根关键线路跳闸算起,到整个东部互联电网被撕成几块,核心过程只有 6 分钟。

纽约的傍晚是这样的:时代广场的巨屏熄了,地铁停在隧道里;一列长岛铁路的通勤车卡在东河底下的黑暗中,车厢里没有信号、没有广播,9·11 才过去不到两年,有人开始怀疑是又一次恐怖袭击。直到有人偶然搜到一格手机信号,整节车厢才知道——只是停电。

输电管理处多措并举消除线路通道隐患

第 二 节一个把电当水管来管的系统

要理解一根树枝为什么能推倒半个大陆,得先知道电网到底是个什么样的东西。

第一,电不能存。 发电机每一秒发出来的电,必须被同一秒用掉。多一点,频率上升;少一点,频率下降。这就像一群人抬一根长绳,每个人的手必须同时使劲,谁松一下,整根绳子就乱。

第二,交流电要同时管两样东西。 一样叫有功(瓦),真正干活的那部分;另一样叫无功(乏),不做功,但负责把电压撑住。可以这样类比:有功是卡车上的载重,无功是轮胎里的气——载重再大,气不足,车也走不动。2003 年那天天气热、空调负荷高,俄亥俄北部的"车胎"本来就打得不硬。

第三,互联的野心与代价。 北美电网分成三大块:东部互联电网、西部互联电网,以及基本自成一体的德州电网。互联的好处显而易见——你家发电厂检修,隔壁省的机组可以顶上;用电高峰,大家互相支援。坏处也显而易见:它同时修通了故障的高速公路。

第四,出事的那块区域特别脆。 克利夫兰-阿克伦在工程上被称作"受输电限制的负荷口袋"(transmission-constrained load pocket):本地发电不够,得从外面买电。当天下午 3 点,FE 自己的负荷约 12,080 兆瓦,其中 2,575 兆瓦——21%——靠进口。这样一个地方,最怕的就是进口通道少一根、再少一根。

第五,这不是第一次了。 1965 年 11 月 9 日傍晚,加拿大安大略的亚当·贝克爵士水电站(Sir Adam Beck)有一只保护继电器被整定错了:定值 375 兆瓦,低于那条线路日常的输送量。12 分钟内,3000 万人、8 万平方英里(约 20 万平方公里)陷入黑暗,最长停电 13 小时,80 万人被困在纽约地铁里。那次事故之后,行业在 1968 年成立了北美电力可靠性协会(NERC)——一个自愿性质的协调机构。

1977 年 7 月 13 日,闪电再次击穿纽约:900 万人、25 小时,以及伴随而来、比停电本身更出名的抢劫与纵火,警察逮捕了约 4000 人。那一次,行业自己长出了"N-1 准则":任何单一元件故障,都不允许导致系统失控。

到 2003 年,这两次教训换来的东西,是一套写在纸上、靠"同行压力、互惠与共同利益"运转的自愿标准。没有罚款,没有强制力,没有执法者。这是理解后面所有事情的关键。

而在当天下午之前,系统状态其实很平常:负荷约为夏季峰值的九成,电压在允许范围内,气温甚至比 8 月的高温低了约 5 摄氏度。按任何一份当日的运行报表看,这都是一个不该出事的下午。

俄亥俄河谷景观威灵西弗吉尼亚州照片摄影

第 三 节从 12:15 到 16:13

12:15。 中西部独立系统运营商(MISO)的状态估计器——可以理解为整个区域电网的"仪表盘"——因为收到的遥测数据陈旧,算出了明显不对的结果。值班人员关掉它,修好了数据,然后忘了把它重新开回自动运行。从这一刻直到下午 4 点 04 分,这个仪表盘等于被人拔了线:你拉了手刹下车修东西,修完忘了放手刹,车还能开,但仪表全不响应。

13:31:34。 东湖 5 号机组跳机,克利夫兰地区少了一个关键的无功电源。它本身不是停电的原因,但它把这一带的余量用光了。调查组的仿真给出了一个冷冰冰的对照:东湖 5 号在运行时,即便失去 Chamberlin-Harding 线路,所有预想故障下的指标都不越限;东湖 5 号退出后,失去同一条线就立刻越限。就像一群人抬沙发,走在前面的人松了手——剩下的人还能走,但经不起再绊一下。

14:02。 俄亥俄南部,代顿电力照明公司(Dayton Power & Light)的 Stuart-Atlanta 345 千伏线路因树接触跳闸。这是那天第一次"树木"警报,没有人把它当成预警。更麻烦的是,这条线的实时状态没有进入 MISO 的模型——DP&L 的可靠性协调方是另一家 PJM,跨区数据不会自动流过去。

14:14。 FE 控制室的告警与事件记录功能静默。故障逐层扩散:先是告警与记录软件,然后是部分远方终端与数据链路,最后是主服务器;备用服务器在 14:54 也倒了。控制台屏幕的刷新周期从 1 到 3 秒,变成每屏 59 秒。事后查明,原因是通用电气 XA/21 能量管理系统里一个此前从未暴露的竞态条件(race condition)缺陷。FE 发言人拉尔夫·迪尼科拉说:"它那天之前从未出现过。这个缺陷埋得太深,他们花了几周时间翻数百万行代码和数据才找到它。"

14:27:15。 Star-South Canton 345 千伏线路跳闸,随即重合成功——而且当时它的负载还不到额定的 55%。这条线跨在 FE 与美国电力公司(AEP)的边界上,两端各修各的、各管各的走廊。

14:32。 AEP 打电话到 FE 控制室:"这条线刚才跳了,又重合上了,你们那头有没有看到动作?"FE 的回答是:我们这边什么都没看到。

14:51。 FE 内部有人还在讨论这通电话,觉得不对劲。但控制室里拿不出任何证据,于是这件事被归档成"要么信息不准、要么跟我们系统无关"。没有人再去核实,也没有人打电话问 MISO。

这是这一天最刺眼的一次机会,安静地过去了。

15:05:41。 Chamberlin-Harding 345 千伏线路因树接触跳闸。请注意它的负载:只有额定容量的 44%。一条没有超载的线路自己跳了,只可能是外部原因。调查组对此的表述很干脆:这几条线都是在完全正常的运行参数下故障的。(顺带说一句,这处故障点的定位在两份材料里并不一致——有材料写作克利夫兰南郊的帕尔马,也有材料指认沃尔顿希尔斯,本文如实并列两说。)

15:17。 俄亥俄部分地区电压短暂跌落。没有人采取行动。

15:32:03。 Hanna-Juniper 345 千伏线路因树接触跳闸。此时它的负载已经升到紧急额定的 88%。这里是整起事故最核心的物理机制。 导线是会热胀冷缩的金属——电流越大、温度越高、弧垂越低。这些 345 千伏线路架在几十米高的铁塔上,靠一串串绝缘子悬在半空,对地、对树的净空距离是按最高气温下的最大弧垂留出来的;而树不管手册。第一条线的出路被切断后,它原本的电流全灌进第二条;第二条因此更热、更下垂,直到垂进树冠;第三条再接过所有电流。这不是"线不够粗",这是一个自我加码的循环。

15:39 至 15:41。 FE 的 138 千伏线路开始成批跳闸。15:41:33,Star-South Canton 再次跳闸并锁死,当时负载 93%;两秒之内,15 条 138 千伏线路跟着跳。FE 与 AEP 之间的一个主要通道被撕开了。

15:42 至 15:46。 控制室终于告诉 IT 部门"告警是坏的"。IT 建议做一次厂商推荐的"冷重启",控制室拒绝了——理由可以理解:眼下那点残缺的视野会在这段时间里彻底消失,而系统状态正在恶化。Tidd-Canton Central 345 千伏线路跳闸。

16:05:57。Sammis-Star 345 千伏线路跳闸——这是分水岭。

注意它跳闸的原因与前几条不同:它不是被树碰的,而是"低电压叠加高电流"被保护装置读成了短路。这套东西叫距离保护(Zone 3),是保护体系里的最后一道后备,设计初衷是万一前面两道防线都失灵时兜底;那天它把过载误读成故障,于是"保护"变成了"点火"。

在这条线跳闸之前,还有最后一次机会:在克利夫兰-阿克伦地区主动甩掉约 1500 兆瓦负荷——一座中型城市的用电量。没有人甩,因为没有人看得见。

16:09:02。 电压深跌,俄亥俄开始向密歇根"借"电,2 吉瓦。

16:10:34 到 16:13。六分钟。

密歇根东西分裂,两条 345 千伏线路跳闸;克利夫兰与宾州分离;沿伊利湖北岸的潮流在 16:10:39 反向涌过 3.7 吉瓦,是 30 秒前的 10 倍以上;美加之间的联络线开始断;安大略与纽约西部脱开;新英格兰为了自保主动与纽约脱网;温莎脱网;北新泽西脱网。21 台发电机组在 3 分钟内跳机。

为什么保护装置一路"正确地"跳下去,最后却造成灾难?因为电网的本质是同步:所有发电机必须像一大群划桨手一样保持同一个节奏。一旦故障线路把电网切成几块,每块的节奏立刻不同,接口两侧的电压相位差迅速拉大;对每一台设备来说,唯一安全的动作就是立刻断开。每一次断开都在救设备,每一次断开也都在把剩下的系统推向更危险的境地。

最后清点:至少 265 座电厂停摆,61,800 兆瓦负荷消失,约 5000 万人失去电力(部分统计作 5500 万),整个东部互联电网大约十分之一的负荷被抹掉。

第 四 节静默的告警、错过的电话、没人按下的按钮

把三条线索叠在一起看,会发现 2003 年 8 月 14 日下午的悲剧是一个纯粹的"信息事故":FE 看不见自己的系统;MISO 看不见 FE;区域可靠性委员会 ECAR 看不见这两家。硬件全部按设计动作,信息流却彻底断了。从此,"情境意识"(situational awareness)这个词被正式写进电力系统的教科书。

2004 年 4 月 5 日,由美国能源部与加拿大自然资源部牵头的美加电力系统停电联合调查组发布最终报告,134 页。它把原因归为四组:

一、FE 与 ECAR 未能评估和理解自身系统的脆弱性——克利夫兰-阿克伦地区电压不稳、无功不足的问题已经存在多年,区域可靠性委员会此前从未识别出来;

二、FE 没有察觉、也不理解自己系统正在恶化;

三、FE 未能充分管理其输电走廊内的树木生长;

四、互联电网的各可靠性组织未能提供有效的实时诊断支持。

报告还逐条列出了违反自愿标准的具体行为:在 Chamberlin-Harding 线路跳闸后,FE 未能在 30 分钟内把系统拉回安全运行状态;FE 没有例行使用有效的预想故障分析;没有制度保证调度员始终清楚关键监控工具是否处于工作状态;在主要的监控与告警系统失效后,也没有第二套高层级可视化工具。MISO 这边同样被点名:没有把 DP&L 线路的实时数据纳入状态估计器,用非实时数据支撑实时监控,因而没能在 FE 系统上发现一个 N-1 越限。

然后是制度层。2003 年 11 月 19 日,美国能源部长斯宾塞·亚伯拉罕把话说得很直白:不会处罚 FE,因为现行法律不要求电力可靠性标准——"缺乏可执行的可靠性标准,意味着联邦层面的处罚是有边界的。"这句话,是整起事件的制度底色。NERC 从 1968 年起就是自愿机构,靠同行压力和互惠运转;一套没有罚则的标准,遇到一家把修剪树木当作可压缩开支的公司,就是一张纸。

关于树木,需要说清分寸。调查组的正式结论是"未能充分管理输电走廊内的树木生长",而不是"为了省钱而蓄意削减"。这两者之间有差别,报告本身没有下后面那个判断。能确认的是后果:2003 年 12 月,FE 宣布对俄亥俄北部、宾夕法尼亚和新泽西共 11,000 英里主干线不再修剪、直接清除。发言人迪尼科拉说:"我们不会再让线路垂到树上。不会再有树了。"在沃尔顿希尔斯——那棵肇事的树所在的小镇,人口约 2400——市长玛丽琳·安尼尔斯基说,居民回家发现自家 35 英尺高的松树不翼而飞,"人们种了那么多年,就这么没了。"过度修剪的抱怨、地产贬值的抗议,成了这起事故一段略显荒诞的尾音。

有几处细节,值得如实标注为存疑或分歧:

——当天 FE 有四五座并联电容器组处于检修停运状态。此类检修通常安排在用电低谷季,而那一次的选择被认为与政府检查员何时到场有关。这一说法出现在媒体报道与业内复盘中,但最终报告并未提及政府方面的这个要求——两说并存,本文不替任何一方下结论。

——FE 事后公开表示,这份报告不完整,认为自己的责任被夸大,强调当天中西部电网还存在其他问题。这句反驳同样应当记下。

——停电发生时,Blaster 蠕虫正在互联网上肆虐,一度有人怀疑病毒是元凶。这一猜测没有被采纳:调查确认肇因是 XA/21 的竞态条件,由当天监控设备上特定的事件与告警组合触发。

美国能源政策法案 2005

第 五 节代价,以及被它改写的东西

先说代价,如实说。

直接死亡人数的官方口径是至少 11 人(部分统计作 12 人)。纽约市卫生局只承认 6 例,且多数为一氧化碳中毒、火灾、坠亡和爬楼引发的心脏病。而 2012 年发表在美国《流行病学》(Epidemiology)期刊上的一项研究给出了另一种量级:约翰斯·霍普金斯大学的布鲁克·安德森与同事用模型比对纽约市当日前后的死亡率,发现停电两天里总死亡率上升约 28%,超额死亡约 90 人;其中意外死亡增加约一倍多,心血管疾病致死 38 例、呼吸道疾病 3 例、其他疾病 37 例。需要说明的是:这两个数字含义不同——前者是法医式的直接归因,后者是统计模型推算的超额死亡,不等于"停电直接害死了 90 人"。但那份研究提出的机制很有说服力:停电杀人不是通过电线,而是通过买不到药、变慢的救护车、停摆的家用医疗设备、被困的电梯、以及闷热与惊恐。

具体的个体是可以点出来的:密歇根州哈珀伍兹,一名男子在室内使用发电机,一氧化碳中毒身亡;密歇根州皮茨菲尔德镇,一名 27 岁男子睡在房车里,被蜡烛引燃的火灾烧死;安大略圭尔夫,一名骑行者被汽车撞死;安大略一名烧伤患者,因空调停机、植皮无法降温,被发现死在公寓里;在纽约,两人死于一氧化碳,两人死于火灾,一人闯进鞋店盗窃时从屋顶摔下身亡,一人因爬楼梯后心脏病发去世。8 月 14 日傍晚到午夜,纽约消防局处理了 7500 多个求助电话、发出 4000 多次火警,其中 60 起是较高级别的火灾——多数由蜡烛引起。

经济损失按不同口径:美国方面从 40 亿到 100 亿美元不等,美国能源部常用的是约 60 亿美元,ICF 咨询给出 68 亿至 103 亿,安德森经济集团给出 45 亿至 82 亿。加拿大 8 月 GDP 下降 0.7%,净损失 1890 万个工时,安大略制造业出货减少 23 亿加元。俄亥俄制造商协会的调查更具体:12,300 家企业受影响,直接损失 10.8 亿美元,平均每家约 8.8 万美元,平均停产 36 小时。恢复情况也不轻松:多数地区 48 小时内复电,部分地区等了 4 天,安大略部分地区轮流限电超过一周。

再说它改写了什么。这是这起事故最有价值的部分。

联合调查组的最终报告共提出 46 条建议,排在第一条的只有一句话的意思:可靠性标准必须变成强制、可执行、带罚则的。

2005 年,美国国会通过《能源政策法案》,在《联邦电力法》中新增第 215 条:联邦能源监管委员会(FERC)可以认证一个"电力可靠性组织"(ERO),由它制定强制性的可靠性标准,违规可罚,最高每天 100 万美元。2006 年,NERC 被认证为 ERO——一个 1968 年成立的自愿协会,在 38 年后拿到了执法权。

2007 年 3 月 16 日,FERC 第 693 号令一次性批准了 107 项拟议标准中的 83 项。其中编号 FAC-003 的《输电线路植被管理》标准,自 2007 年 6 月 18 日起强制生效,此后历经修订(FAC-003-4 于 2016 年 10 月 1 日生效,后续还有 -5 版)。从这一天开始,"剪树"从一项运维惯例,变成了一条会被罚款的合规义务。同一批标准里还有 PER-003(调度员资质与培训)和 TOP 系列(运行可靠性)——调查组当年总结的那三个 T:trees(树)、tools(工具)、training(训练),被逐条翻译成了法条。

工具层面也动了真格:广域同步相量测量装置(PMU)网络加速铺开,FERC 在华盛顿建起了跨区实时监控的原型系统,行业第一次被要求"不只看自己的系统,还要看自己的系统怎么影响邻居"。

执法是真的开始了。2008 年 6 月,NERC 开出第一批植被管理违规罚单:中美的 MidAmerican 罚 7.5 万美元,巴尔的摩燃气与电力公司罚 18 万美元,合计 25.5 万美元。金额不大,但它意味着这套标准第一次长了牙。

而整件事里最讽刺的一笔是:引起这场北美史上最大停电的 FE,因为当时的标准不强制、罚款不可执行,没有受到任何处罚。(这家公司后来在 2021 年 7 月因另一起与停电完全无关的俄亥俄州政治贿赂案,被处以 2.3 亿美元罚款——那是另一个故事,不该和 8 月 14 日混为一谈。)

2021年 得州大停电

第 六 节同样的隐患今天还在吗

在。而且第一条隐患,就是那棵树本身。

爱迪生电气协会(EEI)的估计是:约 90% 的天气相关停电由树木接触线路引起。北美电力可靠性协会自己的回顾也指出,树碰线路是 1996 年西部几次大停电的重要因素——那年 7 月 2 日、8 月 10 日,西部互联电网接连出事,最多一次影响 750 万用户、损失 28,000 兆瓦负荷。

第二条隐患是老化与极端天气的叠加。 2024 年,非营利气候研究机构 Climate Central 的统计显示:美国过去 10 年与风暴相关的停电,比上一个 10 年多了 74%,其中约 80% 的停电与天气相关。输电走廊的清扫、备用容量与设备更新,一直是花钱最慢、最不出政绩的那类投资——恰恰也是最容易被推迟的那类。

第三条隐患换了张脸,但教训一样。 2021 年 2 月,得州遭遇极端寒潮,ERCOT 的独立电网有约 450 万用户断电数日,数百人死亡。起因不是输电联动,而是发电侧的机组与天然气井在低温下冻结——机制完全不同,但内核是同一句话:真正危险的不是坏掉的设备,而是没人看见的、被反复推迟的风险。

最后,说一条普通人今天就能用上的安全常识。

2003 年的死亡者名单,本身就是一份安全说明书:

一、燃油发电机只能在室外用,远离门窗、通风口和车库。 一氧化碳无色无味,室内使用等于放毒。2003 年的直接死亡案例里,最典型的就是在室内或车库里开工的发电机。

二、家里装一个电池供电的一氧化碳报警器。 停电时它照样工作,这是唯一能在你睡着时报警的东西。

三、停电别靠蜡烛。 8 月 14 日那一夜,纽约因蜡烛引发 60 起较高级别火警,密歇根一名年轻人正是在房车里被蜡烛燃起的火烧死。用手电、头灯、电池灯——它们还不会在你睡着时倒下引燃窗帘。

四、复电瞬间的浪涌比停电本身更容易烧掉东西。 停电时把电饭锅、电熨斗、电暖器、充电器这类"一通电就自动工作"的电器拔掉或关掉开关;冰箱能不开就不开——关着门的冷藏室可保冷约 4 小时,装满的冷冻室可以撑约 48 小时。

五、家里有人靠电活着的话,提前想办法。 需要冷藏的药(比如胰岛素)、家用氧机、呼吸机——安德森研究里那 90 例超额死亡,绝大多数不是意外,而是心血管和慢性病。停电时,先照顾老人和慢病患者,比先找蜡烛重要得多。

六、被困在电梯里不要扒门。 轿厢不是密闭的,按下警铃、保存体力、等人来——消防员那天从电梯里救出了数百人。

七、如果只能留一条,留这条:停电时最稀缺的资源是信息。 2003 年最大的教训,是有人整整一个多小时不知道自己的屏幕上已经没有了新消息。家里备一台电池或手摇收音机,比一柜子蜡烛都管用。

那根树枝每年都会长回来。唯一能让它不再改写历史的东西,是有人一直看着仪表盘。

❖

0%
  1. "兄弟,我给你顶到最大"
  2. 一个把电当水管来管的系统
  3. 从 12:15 到 16:13
  4. 静默的告警、错过的电话、没人按下的按钮
  5. 代价,以及被它改写的东西
  6. 同样的隐患今天还在吗