新聞配圖

【推薦閱讀】

梳理本周頭條新聞得到的可怕結(jié)論：新興市場(chǎng)危機(jī)來了

世界經(jīng)濟(jì)出現(xiàn)危機(jī)的六大跡象

如何預(yù)測(cè)下一場(chǎng)危機(jī)的“震中” 看看那些摩天大樓吧

當(dāng)人們?cè)谡務(wù)?a target="_blank">金融界如何在雷曼破產(chǎn)之后幾乎瀕于崩潰，然后貨幣市場(chǎng)癱瘓，對(duì)美國(guó)國(guó)際集團(tuán)施以援助，以及美聯(lián)儲(chǔ)造成的泡沫已經(jīng)使得整個(gè)金融體系如百萬億美元陰影債務(wù)的擔(dān)保鏈一樣脆弱時(shí)，事實(shí)卻是，世界上所有的信用卡泡沫、房地產(chǎn)泡沫、股票泡沫及非流動(dòng)性泡沫與記錄在案的那個(gè)最古老的“小故障”相比，都是小巫見大巫。盡管有各種“宏觀審慎”的規(guī)劃和籌備，但那個(gè)簡(jiǎn)單的級(jí)聯(lián)錯(cuò)誤最終卻導(dǎo)致了整個(gè)金融系統(tǒng)的崩潰。

像2007年8月定量大爆炸所發(fā)生的情況。

對(duì)于那些可能不記得這場(chǎng)“定量崩潰”幾乎清除了所有的算法及對(duì)沖基金定量交易，并在幾個(gè)小時(shí)甚至幾分鐘之內(nèi)就導(dǎo)致了上百億美元的資本損失的人，這里是一個(gè)提醒，并且還是一個(gè)警告，即這一事實(shí)背后的官方危機(jī)是要隱藏全球金融體系在任何特定時(shí)刻都有可能幾乎全面崩潰的這一尷尬。

信息技術(shù)是一個(gè)昂貴的雷區(qū)。

搞砸的方式有很多，而你能期待的最好的支持作用就是它是不可見的。如果有人注意到了你的支持團(tuán)隊(duì)，那肯定是因?yàn)閳F(tuán)隊(duì)里有人犯錯(cuò)了。我曾為三大投行工作過，但第一次我就親眼目睹了最令人印象深刻的失誤之一，這在我的職業(yè)生涯中前所未見。當(dāng)時(shí)我是銷售和交易產(chǎn)品的支持團(tuán)隊(duì)的一份子，但幸好犯了這個(gè)嚴(yán)重判斷失誤的人不是我......

在我表述故事前，先補(bǔ)充一下相關(guān)背景，如果你沒興趣的話可以直接跳過下面一段。

當(dāng)時(shí)我工作的這家銀行已經(jīng)率先推出了所謂的直通式交易程序(STP)，這一程序省去了交易中的配置、核對(duì)，結(jié)算及清算的正常手動(dòng)流程。全球市場(chǎng)的交易完成通常有5天的清算期，以便完成所有的文書工作和簿記工作。而這一精心設(shè)置的系統(tǒng)卻可以做到當(dāng)天結(jié)算，這在從前是不可能做到的。為了做到這一點(diǎn)，該銀行之前花了六年時(shí)間開發(fā)了一個(gè)復(fù)雜程度足以媲美天網(wǎng)的計(jì)算機(jī)系統(tǒng)。到2006年，該系統(tǒng)已具備了足夠的自動(dòng)處理能力以及容量足夠巨大的儲(chǔ)存。

它由數(shù)百個(gè)尖端運(yùn)算中心的刀片服務(wù)器以及數(shù)個(gè)價(jià)值幾百萬英鎊的高端數(shù)據(jù)庫服務(wù)器組成，并且有300多名員工在保持這一項(xiàng)目的運(yùn)行。要知道，這一系統(tǒng)的存儲(chǔ)(該銀行500個(gè)主要交易系統(tǒng)之一)占了該銀行所用總存儲(chǔ)的80%以上。由于該數(shù)據(jù)庫處理著一百多萬起銀行間交易而且每起都是價(jià)值在幾十萬到幾十億美元不等的股權(quán)交易，所以每天都有相當(dāng)于100 張DVD容量的原始數(shù)據(jù)輸入這個(gè)數(shù)據(jù)庫里。這東西非常大。

你可能會(huì)認(rèn)為這樣一個(gè)極為重要且昂貴的系統(tǒng)肯定具備最好的容錯(cuò)性硬件及軟件。但不幸的是，多年來它一直在有機(jī)地增長(zhǎng)，新的二進(jìn)制被添加的到處都是。由于原先那些或已離開公司或移民或死亡的懶惰開發(fā)人員在離職前沒有記錄下自己的工作，所以該系統(tǒng)的某些部分已經(jīng)再?zèng)]人可以理解了。我懷疑他們就曾預(yù)計(jì)過這個(gè)系統(tǒng)最終會(huì)成為一個(gè)怪物。

有天，我的一個(gè)同事決定在沒有得到批準(zhǔn)的情況下擅自在白天做一些改變。這一行為是愚蠢的，但并不少見。這種微不足道的變化就是增加了更多的存儲(chǔ)，并且之前他已經(jīng)做過很多次了，所以他很有信心。該系統(tǒng)的開發(fā)商們時(shí)刻頂著要讓這個(gè)像電子版“克里厄索特先生”一樣越來越臃腫的系統(tǒng)持續(xù)運(yùn)轉(zhuǎn)的壓力，而這個(gè)家伙試圖給這些困頓的開發(fā)商一點(diǎn)幫助。

就在我朋友做上述改變的那個(gè)早上，他使新的數(shù)據(jù)磁盤上線并引發(fā)了一個(gè)知名垃圾腳本里的漏洞。該腳本已被內(nèi)部編碼了，因?yàn)檫@樣銀行就可以每年節(jié)省300英鎊的授權(quán)費(fèi)，這些授權(quán)費(fèi)本來是要支付給供應(yīng)商所提供的官方“存儲(chǔ)代理”的。不過事后看來，這錢或許還不如不省。這種自制程序代碼一接觸到新配置就立馬出問題了。

因此最好的行動(dòng)方案就是關(guān)閉該系統(tǒng)的生產(chǎn)端和并且打開線上的災(zāi)難恢復(fù)端，這是當(dāng)檢測(cè)到災(zāi)難性“故障”時(shí)的正常應(yīng)對(duì)行為。這被設(shè)計(jì)用來盡可能快地打開該設(shè)置的工作面?？杀氖牵撓到y(tǒng)被兩個(gè)網(wǎng)站完全復(fù)制了(以確保無縫恢復(fù))，災(zāi)難恢復(fù)端幾乎立即觸發(fā)了這個(gè)完全相同的漏洞。因此在一分鐘之內(nèi)，這個(gè)可恨的腳本已經(jīng)使整個(gè)系統(tǒng)脫機(jī)了，這大致就像是把一個(gè)扳手扔進(jìn)正在運(yùn)行的發(fā)動(dòng)機(jī)內(nèi)從而可能會(huì)使一輛車停止運(yùn)行。而這個(gè)一如既往地在把自己的寶貴數(shù)據(jù)輸入大量不同磁盤的數(shù)據(jù)庫因此發(fā)生了巨大的，不可逆轉(zhuǎn)的數(shù)據(jù)損壞。就這樣，這個(gè)該銀行最大甚至是世界最大的計(jì)算機(jī)系統(tǒng)崩潰了。

并且它沒能馬上恢復(fù)運(yùn)行。

(好了，細(xì)節(jié)說完了。冷靜。)

這次故障造成了該系統(tǒng)中總共超過12萬億美元的交易受到影響，而這些交易正處于該系統(tǒng)結(jié)算過程的不同階段。由于其他銀行此前已經(jīng)開始使用這個(gè)系統(tǒng)，所以此次受影響的交易占到了全球股市全部交易的20%左右。如果這些交易沒能在約定時(shí)間內(nèi)結(jié)算好，那么該行就得承擔(dān)每項(xiàng)交易的罰金，這樣的話，該公司的市場(chǎng)資本就會(huì)被由此產(chǎn)生的罰金耗盡，從而走向破產(chǎn)。就是那樣。

為了讓該系統(tǒng)重新上線，我的團(tuán)隊(duì)暫停了手上的工作，攻堅(jiān)了4個(gè)小時(shí)來恢復(fù)該系統(tǒng)的每個(gè)部分。故障發(fā)生沒多久，歐洲央行負(fù)責(zé)人就給我們公司的首席執(zhí)行官打了緊急電話，要求其解釋為什么在那天會(huì)有那么多的交易出現(xiàn)故障。據(jù)稱，(正如為我們后來被告知的)，這次故障波及的交易量特別大以至于如果無法及時(shí)清算這些交易的話，歐元的價(jià)值將遭受巨大的負(fù)面影響。

這次故障幾乎引發(fā)了一場(chǎng)全球性經(jīng)濟(jì)危機(jī)，其規(guī)模近似于最近(并在持續(xù))的次級(jí)信貸崩潰。在歐洲央行被迫因調(diào)整歐元匯率以作補(bǔ)償而公開這次故障之前，我們還剩下兩個(gè)小時(shí)的補(bǔ)救余地，而這時(shí)間差點(diǎn)不夠。我們每人負(fù)責(zé)一個(gè)關(guān)鍵的子組件并將所有的資源轉(zhuǎn)移至清算引擎。開發(fā)商將系統(tǒng)設(shè)置為按價(jià)值大小排序來處理那些交易。而為了確保每個(gè)可用的CPU周期和磁盤操作可以被利用，那些服務(wù)器上的所有東西都關(guān)閉了。當(dāng)該系統(tǒng)開始慢慢恢復(fù)的時(shí)候，我們只能默默看著，摻和不了。

令人難以置信的是，大部分的高價(jià)值交易最終在業(yè)務(wù)的截止期限之前完成清算了，而這場(chǎng)破產(chǎn)災(zāi)難最終也千鈞一發(fā)地避過了。盡管如此，該銀行還是為那些來不及清算的利好低價(jià)值交易付出了超過1億美元的罰款。令人驚訝的是，只有少數(shù)的內(nèi)部人員在年底的股東報(bào)告中才得知了這些罰款產(chǎn)生的原因。因?yàn)樵阢y行界，信譽(yù)至上。所有牽涉在內(nèi)的人員，包括我在內(nèi)都被明確告知了要保守秘密。當(dāng)然，我不能點(diǎn)明這家銀行的名字，不過如果你實(shí)在好奇，私信我，我會(huì)給你指點(diǎn)一個(gè)正確的方向......

后記…盡管該銀行很快地就為這些闖禍的腳本買了單，但那個(gè)開啟這一故障的家伙卻在第二天被解雇了。這非常不公平，因?yàn)樵斐蛇@次故障的罪魁禍?zhǔn)灼鋵?shí)是那些狡猾的編碼。公司以每場(chǎng)火災(zāi)都需要一個(gè)引發(fā)它的火花位理由，把他當(dāng)做了替罪羊。這是我選擇離開那家公司的主要原因之一(但在辭職之前，我在圣誕晚會(huì)上把全球技術(shù)主管罵了一頓)。不過，發(fā)生了戲劇性地反轉(zhuǎn)，因?yàn)槲夷欠稿e(cuò)的小伙伴因?yàn)槭亲疃莻€(gè)荒謬的電腦系統(tǒng)的人之一，所以他在六個(gè)月后內(nèi)就回去工作了，而職位等級(jí)比從前更高。

結(jié)論：大多數(shù)銀行都很瘋狂，他們?cè)诔粤舜筇澮院蟛艜?huì)去解決問題。用谷歌計(jì)算機(jī)計(jì)算可得出，這1億美元的罰款紙幣排起來能有9500英里左右長(zhǎng)。

而另一個(gè)結(jié)論是：下次，如果你認(rèn)為那些涉及數(shù)十億甚至上百億資產(chǎn)的紙質(zhì)保證條款是安全的話，聽聽那些冗長(zhǎng)的硬盤陣列的聲音后再想想。(雙刀)