第321章 ai晶片
不得不說,「ai」晶片仿佛某種天譴之物般,哪怕這位神孽不斷地高歌「創生聖言」,賦予林奇充足而龐大無比的創造力,甚至讓他時刻都有着神明的錯覺,那ai晶片在記憶宮殿裏依舊艱難難產着。
這種奧妙至巔峰的作品,一旦出世便能夠影響整個魔法文明的存在,林奇腦海里對他的構想,終究是輕微了。
放在外人看來,林奇的所作所為,就像是將一副從a到k,包括花色順序排好的撲克牌,隨意遞給十餘位路人切牌洗牌,隨即他再接過來隨便洗上十餘秒,然後將所有的牌序恢復如初一樣。
甚至就像是隨手遞給一個初學者擰亂的魔方,結果對方隨手便復原了出來。
這些都並非不可能,而是出現的概率太小。
林奇眼下的「ai晶片」,也是如此。
就像是無數隨意的亂洗牌里,慢慢地揉捏出規律的傑作來,也就大自然的鬼斧神工,才能擔得起這一名字。
很快。
隨着整個晶片大體架構的成型時,林奇也開始陷入一種莫名的震驚之中!
一種類似谷歌曾經開發來alpha go的人工智能晶片?
這讓林奇忍不住想起博識圖書館地底奎因殿下的試煉,便是以圍棋智力壓服對手便可以拿到預言的線頭。
曾經的邏輯,仿佛在這一刻重新匯聚起來。
tpu?
這款谷歌17年專門為了機器學習而開發定製的專用集成電路(asic)僅僅用了一年便轉移到雲端作為商用,而它也遵循着cpu與gpu的路線。
tpu。
中文名字,張量處理單元。
說來廣大群眾第一次接觸張量這個名字,可能還是靠着看時間簡史之類的科普著作。
張量,來自於數學,以多線性方式將幾何向量、標量和其他類似對象映射到結果張量的幾何對象。
當時林奇第一次也沒聽懂。
不過他看了看還是大致明白過來,所謂張量,就是一個廣義的矩陣。
高中學習的向量是一維矩陣,數字的立方體是三維矩陣,甚至耽擱數字也是矩陣。
這裏冥冥中已經和那神經網絡算法所切合,而張量之所以與純矩陣有曲風,便在於他擁有動態特徵——生活在結構中,與其他數學實體相互作用。
而計算機科學裏,張量則是一個n緯矩陣。
林奇默默在紙面上重新打版,剛剛他已經將整個神秘的控制知識拱手托出,與着神孽交換。
至於對方是否會靠此找到成神的專門要是與切記,他也都無所謂。
火都燒到眉頭了,誰還會估計明天的飯菜熱不熱。
而隨着書寫,林奇的板書筆法也越發飄忽——
訓練後的神經網絡以標籤或預估值對數據分類,此乃推理。
因此每個神經元都需要進行計算。
輸入數據乘以權重,表示信號強度。
結果相加聚合神經元狀態。
使用激活函數調節神經元參數活動。
如此一步接着一步,連綿不絕。
按理說,三個輸入而只有兩個神經元與一個單層神經網絡的話,權重與輸入便要六次乘法……
如此一來,矩陣里的乘片與取片,都需要大量的cpu周期與內存,而tpu這種晶片,便是為了減輕這種負荷而生。
林奇忍不住皺眉看了眼周圍。
某種程度而言,計算量的負荷和電網的負荷很類似,最大的負荷便決定了整體的高峰所在(計算難度),也決定了接下來他完成「ai晶片」後所能夠到達的高峰。
而供與求有需要平衡,不然的話,第一道崩潰的便是自身。
只是他很快又重新被tpu的構架所吸引而痴迷起來。
只有深入一個項目,才能徹底體會他的樂趣。
因此懂是第一步環節。
這也是棋類活動里,容易入門的象棋比起圍棋受眾要光,而五子棋又比起象棋還有光。
林奇越看,越發忍不住嘖嘖稱奇。
這tpu的架構居然採用了量子技術,在預設的最大值和最小值與八位整數之間的任意值的近似過程里,tpu居然包含了足足六萬五千五百三十六個八位整數乘法器,直接將32位或者16位的計算壓縮成為8位。
實現了曲線的離散化。
完美地減少了神經網絡預測的成本。
第二點,也是更關鍵的。
正如林奇最初所推崇的硬件。
tpu晶片直接封裝了種種神經網絡計算工具。
諸如矩陣乘法單元,統一緩衝區,激活單元等,它們以後十數個高級指令組成,集中完成神經網絡推理所需要的數學計算。
同時它又採用了典型的risc處理器為簡單計算提供指令。它的矩陣乘法器單元而不是傳統的標量處理器,得以在一個時鐘周期內,以矩陣操作,完成數十萬個操作。
打個比方,傳統cpu是逐行打印,而tpu晶片則能夠做到影印效果。
如此種種特性,讓它在神經網絡計算收斂方面擁有非凡的效果,曾經幾天才能訓練出的成功,現在一小時不到就能夠完成。
林奇不禁感慨萬分。
難怪說站在巨人的肩膀上就是爽。
讓他自己來設計,如何能夠突破看似最簡單的加法器這個關卡?
萬丈高樓平地起,曾經的林奇開發cpu時,第一步入門選擇完成的模塊便是加法器,因為它的原理最簡單,也是最容易實現的操作。
然而整個tpu晶片,居然本質上也是做加法器?
它的核心便是由乘加器組合形成的256x256的運算器陣列:乘法矩陣。
這種冥冥中的呼應,也讓林奇有些哭笑不得。
晶片,本質上便是一個一個模塊搭建而成,區別在於有的人是3010片的20周年海德薇限定版,而有的則是630片的普通版。
隨着最為核心的乘法矩陣模塊成型,它周圍的模塊也一步一步成型。
林奇這一次徹底看懂這種結構後,也忍不住搖頭驚嘆,難怪只要4塊tpu訓練出來的人工智能棋手便能夠大殺四方,讓人類都在圍棋這項技藝上都黯然失色。
要知道一步幾千塊的旗艦機動輒5nm工藝,而tpu的工藝不過是28nm!
甚至主頻也才700mhz,這種頻率甚至