安克雷奇,德納裏會議中心。
巨大的落地玻璃窗外,是連綿起伏的楚加奇山脈和尚未消融的冰川。
而窗內,卻是另一番熱火朝天的景象。
數千名來自世界各地的計算機科學家、數學家和工程師匯聚於此。
空氣中瀰漫着咖啡的香氣和高密度的智力火花。
在這個經濟危機的寒冬,各大科技巨頭的預算都砍到了大動脈。
即使谷歌和微軟的展臺,此刻顯得格外樸素,只有幾張海報和幾個無精打采的實習生。
但以太動力的展臺卻是個異類。
方雪若穿着一身剪裁利落的香奈兒白色職業裝,踩着高跟鞋,指揮着兩個工人把一隻巨大的展示箱擺在以太動力(Aether Dynamics)的展臺上。
在那隻防彈玻璃櫃裏,並不是什麼炫酷的機器人,也不是滾動的宣傳片。
數十張NVIDIA Tesla C870顯卡整齊排列,散熱風扇在LED燈帶的照耀下泛着冷冽的金屬光澤,充滿了暴力的工業美感。
旁邊豎着一塊極其囂張的標語牌??
“WE HAVE COMPUTING POWER. DO YOU?”(我們有算力,你有嗎?)
在金融危機陰雲籠罩的背景,這種赤裸裸的“炫富”行爲立刻引來了無數側目。
“那個穿白西裝的女人是誰?”幾個掛着微軟工牌的工程師竊竊私語。
“聽說是以太動力的CFO。”
“以太動力?沒聽說過。”
“這你都沒聽說過?它的老闆是林允寧!新聞看沒看?”
“就是那個搞出暗流體理論的林允寧?他不是物理學家麼?來湊什麼熱鬧?”
“你真是啥也不懂。”其中一人推了推眼鏡,語氣裏帶着幾分不屑,“最近特別火的線型注意力機制知道吧,就是他在ICML提出來的......聽說以太動力靠着這個算法,不止買了好多錢,還研究出了小分子藥物篩選的方法。”
“那又怎麼樣?隔行如隔山,圖像識別可不是解微分方程。”
而在展臺的另一側,方佩妮正被一羣穿着格子襯衫的年輕博士生們圍着。
作爲以太動力的首席架構師,她今天被迫營業。
“這位女士,請問你們的CUDA核心利用率......”
一個麻省理工的博士生問道。
方佩妮低着頭,手指緊緊攥着數據單,指關節發白。
她沒有像雪若那樣長袖善舞,而是像一臺被按下了播放鍵的復讀機,語速飛快且毫無起伏:
“單精度浮點性能518 GFLOPS,顯存帶寬76.8 GB/s,我們重寫了BLAS庫,矩陣乘法效率比官方庫提升了40%......”
“酷………………
幾個年輕男生眼睛都直了。
強勁的算力猛獸,加上難得一見的亞裔美女,在極客眼中簡直性感得要命。
這不就是現實版的“美女與野獸”麼?
上午十點,主會場。
原本只能容納兩千人的大廳被擠得水泄不通,連過道上都坐滿了人。
當林允寧走上講臺時,原本還有些嘈雜的會場瞬間安靜了下來。
無論這幫搞計算機的人多麼心高氣傲,面對一個剛剛在《Science》上發表了諾獎級理論,被物理學界視爲“明日之星”的人物,基本的敬畏還是有的。
林允寧今天沒有穿正裝,依然是那件標誌性的深灰色連帽衫,顯得隨意而鬆弛。
他身後的屏幕上,PPT極其簡潔。
標題:《Deep Residual Learning for Image Recognition》(用於圖像識別的深度殘差學習)。
“大家早上好。”
林允寧沒有寒暄,直接按下翻頁筆。
屏幕上出現了一張對比圖。左邊是目前主流的AlexNet(8層),右邊是一根細長的,密密麻麻的柱狀圖。
“這是我們構建的深層神經網絡??ResNet-101。"
林允寧指着右邊的圖,聲音平穩,“它有101層。”
"--"
臺下瞬間炸了鍋。
“101層?他瘋了吧?”
“簡直荒謬!這麼多層數,梯度早就消失了!根本訓練不起來!”
“這就是物理學家的傲慢嗎?以爲層數越多越好?”
一位坐在前排,頭髮花白的老教授站了起來。
他是來自MIT計算機實驗室的權威,堅定的SVM(支持向量機)擁護者。
“林先生,”
老教授也不管是不是提問環節,直接抓過麥克風,“你的理論很漂亮。但衆所周知,神經網絡一旦超過20層,就會面臨嚴重的退化問題(Degradation Problem)。訓練誤差不降反升。你這101層,是在做數學遊戲,還是
在堆積木玩?”
臺下響起一陣低笑。
深層神經網絡是個漂亮的學術陷阱,這是在場所有人的共識。
加深網絡層數,只會得到一堆無法收斂的垃圾參數。
林允寧並沒有辯解。
他笑了笑,按下了下一頁PPT。
那是ResNet的核心結構??一個簡單的跳躍連接(Skip Connection)。
H(x)=F(x)+ x
“教授,您說得對。深層網絡很難訓練,就像讓一個人傳話給第100個人,信息肯定會失真。”
林允寧指着那條連接線,“但如果我們給信息修一條‘高速公路呢?
“我們不再讓網絡去學習完整的輸出,而是讓它只學習‘殘差’(Residual)。如果這一層什麼都不做,它就是恆等映射(Identity Mapping),信息可以無損地流向下一層。
“這不僅僅是數學遊戲。爲了訓練這個模型,以太動力的算力中心滿負荷運轉了整整兩週。
“數學不會騙人,但直覺會。至於它到底是不是浪費電費......”
林允寧看了一眼臺下神色各異的衆人,關掉了PPT:
“下午的ImageNet挑戰賽,結果會說明一切。”
下午三點,ImageNet Workshop現場。
這裏的氣氛比上午還要緊張。
李飛飛教授站在臺側,手心裏全是汗。
這是ImageNet的第一戰,如果大家都跑不出好成績,那這個巨大的數據集就會淪爲業界的笑柄。
大屏幕上,實時的排行榜(Leaderboard)正在滾動。
比賽已經開始半小時了。
排在第一的是微軟亞洲研究院的團隊,Top-5錯誤率:26.2%。
緊隨其後的是牛津大學的VGG組:26.8%。
谷歌團隊:27.1%。
數字在小數點後一位艱難地跳動着。
每一次刷新,如果有隊伍能降低0.1%,都會引來一陣小小的歡呼。
這就是2008年計算機視覺的天花板。
在SVM和手工特徵提取的框架下,想再進一步,比登天還難。
“看來這就是極限了。”
剛纔提問的那位MIT老教授搖了搖頭,有些遺憾,“25%左右的錯誤率,離實用還差得遠。也許,機器的視覺極限就在這裏了......”
站在老教授身邊的李飛飛,神色也有些黯淡。
確實,這個級別的錯誤率,意味着無法使用。
也就意味着ImageNet註定只是個算法的試金石,而不是真正實用的數據庫。
“以太動力提交了。”
不知道是誰喊了一嗓子。
所有人的目光都集中到了屏幕的最後一行。
幾秒鐘的延遲後。
大屏幕突然閃爍了一下。
排行榜發生了一次劇烈的變動。
原本擁擠在26%區間的條目並沒有動。
但在它們上方,遙遠的上方,突然跳出了一個新的條目。
Rank 1: Aether Dynamics (ResNet-101)
Top-5 Error: 11.73%
靜。
死一樣的寂靜。
剛纔還喧鬧無比的會場,此刻連一根針掉在地上的聲音都能聽見。
26%和11.73%。
這不僅僅是差距,這是兩個物種的區別。
這就好比百米賽跑,大家都跑10秒,突然來了一輛呼嘯的頂級超跑,兩三秒就到了終點。
大家的第一反應不是震驚,而是一一出Bug了。
"11.73% ??"
MIT老教授猛地站起來,椅子被帶倒了都渾然不覺,“他們是不是用了訓練集做測試?這是嚴重的數據泄露!”
質疑聲像潮水一樣湧起。
沒人敢相信,在這個大家都還在騎自行車的年代,突然有人開着法拉利衝過了終點線。
臺側,李飛飛顫抖着手拿起了麥克風。
“各位......請安靜。”
她的聲音有些發飄,帶着一種見證歷史的眩暈感,“作爲主辦方,我們可以確認:測試集是完全保密的(Blind Test)。以太動力的模型從未見過這些圖片。
“成績......真實有效。”
這句話像是一道驚雷,徹底劈碎了舊世界的最後一絲僥倖。
坐在前排的傑弗裏?辛頓(Geoffrey Hinton),這位在這個領域坐了幾十年冷板凳的深度學習教父,此刻緩緩摘下了眼鏡。
他看着屏幕上那個斷崖式領先的數字,眼眶有些發紅。
“深度學習......”
辛頓喃喃自語,聲音哽咽,“黎明,真的來了。”
他第一個站起身,用力地鼓掌。
掌聲從第一排開始蔓延,迅速席捲了整個大廳,最後變成了雷鳴般的風暴,差點掀翻了德納裏中心的屋頂。
MIT的老教授頹然坐回椅子上,手中的筆掉在地上。
他看着那個年輕的華夏身影,嘆了口氣:
“時代......變了。”
角落裏,林允寧坐在方雪若旁邊,手裏拿着一罐可樂,優哉遊哉地喝了一口。
展臺區,形勢瞬間逆轉。
原本那些只是路過看熱鬧的風投和巨頭代表,此刻像聞到血腥味的鯊魚一樣,瘋狂地湧向以太動力的展臺。
“方小姐!我是Andreessen Horowitz的!能不能聊聊A輪?”
“我們是西門子醫療的!這個算法能用在CT影像識別上嗎?我們想談談獨家合作!”
“我是波音公司的......”
方雪若坐在高腳椅上,手裏依然端着那杯早就涼透的咖啡。
她沒有起身迎接,甚至沒有露出太過熱情的笑容。
她只是優雅地翹着腿,看着那些平日裏高高在上的資本家們,此刻爲了那一張薄薄的名片而擠破了頭。
“Penny,名片發完了嗎?”
方雪若側頭問道。
“還剩最後幾張。”
方佩妮推了推眼鏡,雖然面對這麼多人還是很緊張,但她的背挺得很直,“剛纔按照您的吩咐,已經把那幾家想談獨家買斷的公司回絕了。”
“做得好。
方雪若嘴角勾起一抹獵人的微笑。
她不需要再去推銷了。
那個“11.73%”的數字,就是這世界上最昂貴的廣告。
現在,她是那個坐在網中央的蜘蛛,等着獵物自己撞上來。
晚宴結束後,林允寧躲開了所有記者的圍堵,獨自回到了安克雷奇萬豪酒店的房間。
窗外,絢爛的極光如同綠色的綢緞,在夜空中緩緩流動。
相比於樓下酒吧裏的狂歡,林允寧的房間裏安靜得只有加溼器的嗡嗡聲。
他剛剛拒絕了谷歌副總裁的晚宴邀請,也推掉了辛頓教授的學術沙龍。
對於外界來說,今天是他和他的以太動力封神的一天。
ResNet-101,這個名字將從今晚開始,統治計算機視覺領域至少三到五年。
他親手推開了人工智能爆發的大門。
但林允寧靠在窗邊,看着那變幻莫測的極光,眼神裏卻沒有多少興奮的情緒。
對他而言,AI只是工具,只是一把好用的鏟子。
現在這把鏟子磨得足夠鋒利了,可以用來挖更深的東西了。
僅此而已。
“叮。”
電腦上傳來一聲加密郵件的提示音。
林允寧放下可樂,走到桌前。
發件人:趙振華。
標題只有兩個字:【突破】。
林允寧的手指微微一頓,點開了郵件。
本站所有小說爲轉載作品,所有章節均由網友上傳,轉載至本站只是爲了宣傳本書讓更多讀者欣賞。
Copyright 2020 順隆書院 all Rights Reserved