本次HPC China 2018大會，面向超大規(guī)模異構(gòu)系統(tǒng)架構(gòu)的新一代圖計算系統(tǒng)“神圖” 的作者林恒在co-design workshop中，向大家詳細(xì)介紹項目情況。
作者現(xiàn)場報告
該項研究由清華大學(xué)、北京費馬科技有限公司、卡塔爾計算研究所、數(shù)學(xué)工程與先進計算國家實驗室、蘇黎世聯(lián)邦理工學(xué)院、國家并行計算機工程技術(shù)研究中心、北京搜狗科技發(fā)展有限公司和國家超級計算無錫中心的聯(lián)合研究團隊完成。該工作基于“神威·太湖之光”，能夠線性擴展到上千萬核，首次實現(xiàn)了包含70萬億邊的圖的秒級分析，處理速度達(dá)到了1984 GPEPS（Giga Processed Edges Per Second），在高效求解非規(guī)則的超大規(guī)模稀疏問題上達(dá)到了一個新的里程碑。
· 非規(guī)則計算問題在異構(gòu)計算資源上的協(xié)同計算挑戰(zhàn)。“神圖”“揚長避短”，抽象多種關(guān)鍵圖計算算法的計算流程，完成細(xì)粒度功能分解，實現(xiàn)面向申威眾核處理器不同計算資源的最優(yōu)映射。
· 圖數(shù)據(jù)冪律分布的負(fù)載均衡挑戰(zhàn)。“神圖”“分而治之”高出度邊（高出度頂點對應(yīng)的邊）、高入度邊（高入度頂點對應(yīng)的邊）和正常邊，既能將數(shù)據(jù)均勻地分布到各個節(jié)點，又避免了計算局部過熱的問題。
融合上述方案，“神圖”能夠有效利用神威·太湖之光整機系統(tǒng)完成70萬億邊的Kronecker合成圖的快速分析，處理速度達(dá)到了1984GPEPS。在實際應(yīng)用中，在12萬億條邊的真實中文網(wǎng)頁圖上完成一輪PageRank算法僅需8.5秒（1443GPEPS），與文獻(xiàn)中報道的業(yè)界先進系統(tǒng)相比（如微軟的GraM系統(tǒng)處理1.2萬億條邊的合成圖每輪PageRank迭代需要140秒），處理規(guī)模增加了一個數(shù)量級，而處理性能進一步提高超過一個數(shù)量級，實現(xiàn)了圖計算節(jié)點規(guī)模、圖數(shù)據(jù)規(guī)模、運行時間上的突破。
“神圖”系統(tǒng)的研制成功，不僅擴展了國產(chǎn)超級計算機在大數(shù)據(jù)分析領(lǐng)域的應(yīng)用能力，并且能夠提供更加迅捷的實驗、優(yōu)化超大規(guī)模圖算法的運算環(huán)境，為工業(yè)界大數(shù)據(jù)分析提供了有力技術(shù)支撐與系統(tǒng)保障。
“神圖”將圖計算邊處理過程做細(xì)粒度分解
