断电、断网、机房进水，系统还能不能活？

台系CIM入门解说 · 第24篇 ｜ 主线案例：Lot L261029-A01-001｜12寸晶圆｜产品A01

下午两点零九分，全厂黑了八秒

那是个再普通不过的周二下午。两点零九分，厂区外面电网跳闸，全厂瞬断八秒。

八秒之后备用电源顶上，灯亮了，机器陆续重启。但真正让人心慌的是系统这边：CIM服务器刚才跟着一起断的，全厂几千个Lot的状态、几百台机器的实时报文、正在路上的搬送车——全都悬在半空。机房里阿凯盯着一片黑掉的监控大屏，手心全是汗。

九十秒后，大屏重新亮起——备机接管了。又过了二十分钟，各机台的报文陆续回补进系统，对账跑完，几千个Lot，状态一个不差。厂长赶来，在机房站了五分钟，只说了一句："恢复得比我预期快。"就走了。

那天没人知道，这九十秒和二十分钟的背后，是这套系统准备的整整四层保险。老周后来一层一层讲给阿凯听。

备机：两个司机轮流开车

第一层保险是双机热备。机房里永远站着两台一模一样的主服务器，一台干活，一台随时待命，两边数据实时同步。老周打的比方是："就像两个司机轮流开同一辆车。一个在开，另一个坐副驾盯着，方向盘、油门都热着。开车的那个要是晕过去，副驾两秒钟把手搭上去，车不会晃。"

那天跳电，主机倒下，备机九十秒接管，靠的就是这个。听起来简单，但老周强调，很多厂栽就栽在"以为买了两台服务器就万事大吉"。

"买设备是最容易的一步。难的是切换那一下真的灵不灵——所以我们的规矩是每个月演练一次：人为把主机摁下去，掐表，看备机多少秒接住、接住之后功能全不全。演练做了四十多次，我才敢说这九十秒是练出来的，不是赌出来的。"

机房里不光怕电，还怕水。这行有个说法：机房最贵的不是服务器，是头顶上那几根空调水管。他们真遇到过一次——夏天一个周六凌晨，精密空调的冷凝水管堵了，水顺着吊顶渗下来，漏水绳传感器报警的时候，水已经离最近那排机柜不到两米。值班工程师十四分钟赶到，先关阀断水，再把两台服务器所在机柜顶上的临时挡板架起来，全程系统没断。事后复盘发现，这十四分钟能跑赢，靠的是报警直接推到了值班工程师手机上，而不是发到一个没人盯的邮箱里。"水不会等人开邮件，"老周说，"要命的报警，必须长在人的手机上。"

断网那八分钟：机器自己记账

第二层保险，管的是系统跟机器之间的那根线。

有过一次机房网络故障，CIM跟车间的连接断了八分钟。要是没有准备，这八分钟里机台发生了什么——开工、完工、报警——系统全瞎，账就丢了。

但设备端那层翻译程序早有安排：连不上系统时，把每一条事件按顺序存在本地，像邮筒里攒信；网络一恢复，按原来的顺序一条条补报，一条不丢。那八分钟，车间两百多台机器攒了一万多条事件，恢复后五分钟全部补完，账实核对分毫不差。

阿凯问："要是有条机器的缓存也满了呢？"

"所以设了上限，"老周说，"缓存只保八小时。真断超过八小时，就不是系统自己能扛的了——那要启动人工应急流程，拿着纸质记录补账。备份救的是八分钟的事故，救不了八小时的灾难。分级，是灾备的常识。"

备份不等于能恢复

第三层保险是数据备份。这里阿凯吃过想当然的亏：他一直以为"有备份"就等于"能恢复"。

老周让他看一条规矩：这套系统的备份，每天全量一次、每小时增量一次，备份带异地存放。但真正的要求不是"备了"，而是每季度做一次真实恢复演练——随便挑一个时间点，把数据拉回来，跟生产库逐表比对，连那个时刻正在跑的Lot状态都要能还原。

阿凯第一次看演练就开了眼：团队把备份恢复到一台空机器上，整整跑了四个小时，逐张表数记录，最后连早上七点零三分被Hold住的那三盒货，状态都分毫不差。演练报告上要两个工程师签字，一个人做，一个人查。

"备份没法恢复，等于没有备份，"老周说，"更狠的是恢复到'某一刻'。比如上午十点发现早上七点的一笔数据被人改坏了，你要能把系统退回七点差一分的样子，把坏数据剔掉再往前走。退不回那一刻，你就只能带着伤口过日子。"

谁改的，改了什么：一件都不能少

第四层保险跟天灾无关，防的是人。

这套系统里，权限按最小化分：班组长能解锁Hold，改不了工艺参数；工程师能改参数，要走审批；数据库直连权限，全公司不超过五个人。每一笔改动——谁、几点几分、改了哪一条、从什么值改成什么值——全部留痕，日志至少存三年。

老周讲过一个真事：某批货的参数被人手动调过一次，三个月后客户投诉，质量部顺着审计日志十分钟就定位到操作人和当时的审批单，责任清清楚楚，也还了操作员一个清白——那笔调整是有授权的。

"没有留痕，出事就是罗生门，"老周说，"留了痕，好人坏人都是清清楚楚。这东西平时烦人，出事那天，它是唯一的证人。"

出事能爬起来，才是本事

回头看那八秒跳电：双机热备接住了服务器，断网缓存接住了报文，每小时备份保证退得到任何时刻，操作留痕保证事后查得清。四层保险，平时看不见，出事那一刻，一层都不能缺。

但老周反复提醒，这套东西有个共性——平时全是"白花钱"：备机空转、演练占用生产时间、备份占着存储、权限审批磨磨蹭蹭。要不要省？他说："系统不出事，是运气；出事了能爬起来，才是本事。为运气省钱的人，迟早给事故打工。"

一座厂的系统稳不稳，光看平时顺不顺是不够的，得看它挨过多少次打。接下来的几篇，我们讲几个真实的改造故事——一条刻蚀线，是怎么从白板加对讲机，一步步走到无人值守夜班的。下一篇：【从人工排片到无人车间：一条刻蚀线的三年】