“我們判斷基于AI大模型的訓練算力需求至少會持續1-2年，并最終形成每個行業/領域2-5家大模型贏家。” 近日，寶德AI&HPC部部長鄔鴻這樣預測到。
ChatGPT的火爆，讓大家看到AI大模型的威力。于是乎，國內相關企業紛紛踏入AI大模型賽道，并呈現出“百模大戰”的火爆場面。
大模型市場必將是一場消耗戰，而背后的算力資源成為決定力量，“我們判斷基于AI大模型的訓練算力需求至少會持續1-2年，并最終形成每個行業/領域2-5家大模型贏家。” 近日，寶德AI&HPC部部長鄔鴻這樣預測到。寶德計算是國內最早做AI服務器的頭部服務器廠家之一，目前中國AI服務器市場的TOP3，也是早期為字節跳動、美團等互聯網廠商提供AI算力服務的伙伴。如今其AI服務器解決方案已經覆蓋針對AI訓練、AI推理以及邊緣推理等場景。近日，針對企業如何評估大模型需求、如何更高效應實現對大模型訓練和推理的算力加速，鄔鴻也分享精彩的觀點。
01
如何評估AI大模型需求？
當前整個算力市場面臨著算力供給突飛猛進和大模型算力需求相對不足的沖突。至頂智庫統計，截至2023年2月，我國目前已投入運營和在建的人工智能計算中心達23個，分布在北京、上海、南京、杭州等多個城市。但是在AI算力加速布局的同時，企業如何評估自身的大模型需求以及構建相適應的算力基礎設施成為AI應用發展的首要問題。
評估AI大模型需求是一個系統工程，不僅需要了解業務需求，還要了解模型的復雜性、海量數據的多樣性以及算力本身的性能和成本考量。
AI大模型訓練需要服務器集群實現大規模計算，因此企業要判斷自身服務對象的數據量以及需要圍繞著面向訓練場景，包括算力，網絡、存儲的整個算力需求進行評估。鄔鴻認為AI大模型需求隨著數據量的增長，對于算力的需求不是簡單的線性增加，而是指數型增加。“企業的服務客戶群體是百萬，千萬，或者甚至上億級別，對AI算力需求是完全不一樣的變化，因為算力是根據AI大模型需求增長呈現指數性增加，而不是線性增加，所以首先企業要明確服務對象的體量，包括對會話請求的要求，通過這一點可以判斷未來行業大模型落地的大概算力需求。” 鄔鴻分享到。
另外，還要考慮大模型拓展帶來的長尾效應。“如果進一步深入到中小型應用的大模型拓展，例如像電力、金融、電商、物流等行業大模型，其長尾效應非常寬也非常長，勢必帶來AI算力的需求增長，雖然沒有互聯網動輒上萬片的算力卡需求，但是聚少成多，具備很強的長尾效應。” 鄔鴻介紹到，一般企業對行業大模型的算力需求在100-1000張卡之內，這可以滿足絕大部分行業大模型訓練需求。
長期來看，通用大模型市場是一個優勝劣汰且贏家通吃的過程。鄔鴻在采訪中預判AI算力的需求特別是基于大模型的訓練算力需求至少會持續1-2年，并最終形成每個行業/領域2-5家大模型贏家。
02
高效應對AI大模型，算力是關鍵
當前AI服務器已經廣泛應用在人工智能、深度學習、智慧教育、智能城市、醫療健康、大數據、高性能計算 (HPC)、虛擬現實等，以及媒體傳輸、云游戲、元宇宙等智能視覺云應用等。基于AI服務器在大模型訓練和推理方面的優勢，未來整個服務器市場也發生了巨變。“今年來看，AI服務器增長速度遠遠高于通用服務器增長速度，從銷售額來看，我們預估可能到明年或者后年，通用服務器和AI服務器市場占比可能達到1:1。”鄔鴻談到。
如今，除了傳統服務器，寶德計算攜手英特爾、英偉達以及昇騰AI等合作伙伴，持續推出了面向AI加速計算服務器系列產品，通過高性能、可擴展性強、高能效和開箱即用等優勢，滿足AI客戶尤其是大模型訓練和推理提供超高性價比的算力支撐。
寶德計算AI服務器目前針對AI訓練、AI推理以及邊緣推理推出全系列面向AI場景的算力基礎設施。
訓練服務器偏向于以單機多卡滿足高性能的訓練價值為主，主要面向互聯網、AI獨角獸以及ISV等用戶的傳統的深度學習訓練場景。比如基于GPU的寶德AI加速計算服務器，支持新一代 NVIDIA NVLink 互聯技術的NVIDIA H800 GPU ，也可支持Intel® Gaudi®2 GPU，通過GPU承擔部分預算量繁重且耗時的代碼，實現應用程序加速，加速企業實現更多計算任務、處理更大數據集、縮短應用運行時間，可為大模型訓練提供強勁的算力支持。
同時，寶德自強AI訓練服務器系列是基于鯤鵬處理器+昇騰910處理器打造的AI訓練服務器，具有超強算力密度、高速網絡帶寬等特點。該系列服務器廣泛應用于深度學習模型開發和訓練，適用于智慧城市、智慧醫療、天文探索、石油勘探等需要大算力的行業領域。
推理服務器主要通過高并發的推理卡，面向CSP業務的數據中心推理以及ISV面向的私有端-網安、安防、智慧城市等市場，應用于廣告、用戶畫像和視頻等場景。
對于需要更多變化的邊緣推理應用場景，寶德計算也有對應的邊緣推理設備，里面集成了英特爾嵌入式CPU，以及NVIDIA Jetson模組，來滿足客戶對于邊緣側的推理需求。
此外，寶德計算也在AI軟件層面做了很多積累，推出了人工智能管理平臺PLStack，支持AI的擴展開發、算法開發、模型訓練，以及模型的推理發布等功能，通過該平臺可以幫助中小企業直接應用其AI科研或者AI訓練，加速AI的方案的落地。
03
AI大模型需求背后是整個AI生態的建設
面向大模型需求，除了AI算力，還需要關注整個AI生態。這方面，寶德堅持與國內外AI芯片產業鏈頭部廠商深度合作，緊跟先進技術做適配與研發，與Intel戰略合作20多年，是NVIDIA和昇騰的OEM合作伙伴，積極擁抱開放的AI芯片產業。同時，寶德建立AI生態適配中心，聚焦推理場景，與更多國產AI加速卡合作和適配，滿足客戶多樣性的算力需求。
此外，因為AI大模型還涉及到算力基礎設施，包括高性能網絡和高性能存儲。寶德建議在AI服務器集群發展方面，除了考慮AI算力方面的優勢，也要提前規劃好面向未來的高性能網絡和高性能存儲平臺，為算力基礎設施擴容打好基礎。
“存儲擴容和網絡擴建，相對來說都比較復雜，因此在做大模型的初步方案設計時一定要將底層的根基——底層的高性能存儲加上中間的高性能網絡整個平臺搭建好。” 鄔鴻最后分享說， “我們給客戶設計整個方案，盡量將底層的存儲和網絡設計得更有預見性，為未來的擴容留下更多的接口。”
4008-870-872
點擊咨詢
