騰訊Angel平台

騰（téng）訊（xùn）Angel是（shì）騰（téng）訊（xùn）發（fā）布一（yī）款開源高性（xìng）能分布式（shì）計算平台，可以更加（jiā）高速（sù）精確的處理數據材料，其能力（lì）超過（guò）各類（lèi）同行軟件，如果你（nǐ）有興趣，就來綠色資源網下載，學習源碼吧！

騰訊Angel官網介（jiè）紹

騰訊（xùn）Angel 1.0是騰訊數據平台部與（yǔ）香港（gǎng）科（kē）技大學合（hé）作、北京大學參與（yǔ）共（gòng）同開（kāi）發的分布（bù）式計算框架，它的主要設計目標是為了支持超大維度的機（jī）器學習模型運（yùn）算。

高性能分布（bù）式（shì）計算平台（tái）Angel功能特（tè）色（sè）

【網絡優化】

Angel的網絡解決方案使用（yòng）的是（shì）香港科技大學的（de）Chukonu。借助Chukonu，Angel可以通（tōng）過網（wǎng）絡流量（liàng）再分（fèn）配的方式，解決半同步（bù）的運算協調機製SSP中可能（néng）出現的快節點等待慢（màn）節點的問題，減少了窗口（kǒu）空閑等待時（shí）間。

【整體架構】

Angel的整體架構參考了穀歌（gē）的（de）DistBelief，這是（shì）一種最初為了深度學習而設計、使用（yòng）了參數服（fú）務器來解（jiě）決（jué）巨（jù）大模型在訓練時（shí）更新問題的架（jià）構。參數服務器同樣可用（yòng）於機器學習（xí）中非深度學習的模型，如SGD、ADMM、LBFGS的（de）優化算（suàn）法在麵（miàn）臨在每輪迭代上億個參數（shù）更新的場景中，需要參（cān）數分布式緩存來拓展性能。

Angel 1.0軟件優（yōu）點（diǎn）

1.Angel的核心（xīn）設計理念圍繞模型。它將（jiāng）高維度（dù）的（de）大模型切分到（dào）多（duō）個參（cān）數（shù）服務器（qì）節點，並通過（guò）高效的模型更新接口和運算函數（shù），以及靈活的（de）同步協議，實現機器學習算法的高效運（yùn）行

2.Angel基於Java和（hé）Scala開（kāi）發，能在社區（qū）的（de）Yarn上直接調度運行，並基於PS Service，支（zhī）持Spark on Angel，未來將會支持圖計算和深度學習（xí）框架集成（chéng）。

3.Angel采用的Parameter Sever架構相比其（qí）它類型的架構更適合解決巨大（dà）模（mó）型中的參（cān）數更新問題（tí）；實際運行中相比參數更新方麵有單點（diǎn）瓶頸的Spark平台，Angel能夠取得成倍的性能（néng）優勢，而且模型越大優勢越明顯。

4.騰訊開源的（de）Angel給頭（tóu）疼於大規模（mó）機器學（xué）習模型計（jì）算（suàn）的業內人員（yuán）提供了一個新選擇（zé）。發展自己技術、擴大自己的平台的同時（shí），騰訊也承諾未來的（de）開源力度隻會（huì）越來越大。

5.圍繞Angel，騰訊還建立了一個（gè）小生態圈，可以支持Spark之上的MLLib，支（zhī）持上億的維度（dù）的訓練；也支持更複雜的圖計算模（mó）型。

相關新聞

去年Angel發布時（shí），騰訊平台部總（zǒng）經（jīng）理、首席數（shù）據（jù）專（zhuān）家蔣傑對騰訊計算平台（tái）的發（fā）展曆（lì）程做過介紹。2009到2011年的第一（yī）代平（píng）台主（zhǔ）要目標是規模化，形成了TDW（騰訊（xùn）分（fèn）布式數據倉（cāng）庫（kù））這樣的架（jià）構；2012到2014年第二（èr）代平台主（zhǔ）要是實（shí）時化，把大規（guī）模（mó）計（jì）算搬（bān）到平（píng）台上，支持了實時性強、規（guī）模大的業務需求，但是（shì）基（jī）於Spark的數據訓（xùn）練就（jiù）遇到了超（chāo）大維度時出（chū）現瓶頸（jǐng）的（de）問題。

這樣，騰訊開始建設新的高性能計算框架，要能（néng）支持（chí）超大（dà）規模數據集，能完（wán）成十（shí）億級別維度的訓練。這就是騰訊的第三台計算（suàn）平台Angel。圍繞Angel，騰訊（xùn）還建立了一個小生態圈，可以支持Spark之上的MLLib，支持上億的維（wéi）度的訓練；也支持（chí）更複（fù）雜的圖計算模型。

也（yě）就是依靠Angel，騰訊獲得了2016年的Sort benchmark的排序的4項冠軍（jun1），用98.8秒（miǎo）時間完成了100T數（shù）據（jù）的排序（xù），刷（shuā）新（xīn）了四（sì）項世界紀錄。2015年的這項排序時間還高達329秒。