MIC資通訊產業新興趨勢論壇：生成式AI浪潮下資料中心發展趨勢MEMO-20240620

rexlin6666

MIC資通訊產業新興趨勢論壇：生成式AI浪潮下資料中心發展趨勢MEMO-20240620

1. 生成式AI大幅推升算力需求：模型的訓練參數規模會影響算力需求，ChatGPT是用大規模的數據，再依靠強大算力，所餵養出來的AI模型，在此趨勢下，預期未來AI所需算力將會持續增長。
2. Data Center World 2024、Computex 2024，關鍵議題AI、液冷、電力、四服器。美國較關心資料中心的建置，及周邊的配套措施。台灣較關心供應鏈變化，液冷設備等等。
3. 彭博預估2022年AI 投資金額400億美元，2032年 AI相關投資1.3兆美元，CAGR +40%。其中硬體採購包含雲端基礎設施、伺服器、儲存、終端運算設備等尤為大宗。
4. 生成式AI觸發算力市場多角化發展。公有雲算力：IaaS算力租借、PaaS運算服務、專門領域算力出租、生成式AI推論應用；本地端算力：本地運算需求，裸機伺服器出租，地端私有雲。
5. 2022年底到2023年中，因應市場景氣衰退，CSP大砍資本支出，然生成式AI需求發酵，資本投資在2023下半年逆勢上揚。2024年四大雲端服務商資本支出，預期將超過2023年的1,564億美元，約可達1,700億美元。在推動AI部署需求下，雲端服務商加速打造大規模生成式AI基礎設施，資本支出用於伺服器及雲端資料中心之新建、擴建。
6. 生成式AI對資料中心產業挑戰與機會，1)運算晶片功耗高漲、需要更高效率的冷卻系統；2)伺服器機櫃密度提高，機櫃用電量高漲，需升級能源設備。3)基礎設施變化，混合資料中心配置。
7. GPU由過往300W，提高到1200~1400W。資料中心5%伺服器改為AI SERVER，將增加資料中心26.6%用電。
8. 伺服器密度提高，機架電力需求高漲。過往1個標準機櫃45U，功耗12.2KW。AI SERVER GB 200 1 tray 功耗6.2 KW。
9. 晶片功率作為先決條件：氣冷極限值約在500W，500W以上使用液體冷卻較具解熱效率，儘管3DVC等先進氣冷技術能將解熱能力拉高到1,000W，但會犧牲機櫃空間及電費等營運成本。伺服器/機櫃總功耗密度：液冷技術讓1U伺服器能塞進更多運算晶片，標準機櫃(42U)大幅度提高電力功耗，各種液冷技術優勢將成為必要。
10. 空氣冷卻方案短期仍具備一定市場需求。
11. 直接晶片(Direct to Chip)液冷以液體接觸熱點帶走廢熱，能解掉80%晶片熱量，仍有20%如記憶體。廢熱需要靠氣冷排除。單相直接晶片液冷系統的熱交換使用純淨水作為熱傳導介質，雙相則改採冷媒，液態冷媒遇熱變成汽態，具備比水更高的解熱功能，也能更節省資料中心用水。
12. 浸沒式冷卻是將伺服器浸泡在介電液當中，IT零組件產生熱能由液體帶走，能解掉100%廢熱，不需要空氣冷卻協助，也因此浸沒式被視為接下來高階運算冷卻的最佳解。資料中心部署浸沒式冷卻系統，現階段面臨較大挑戰，需要整體性重新調整機房架構，新建資料中心將更有效率支持液體冷卻系統，無論是水管路線鋪設、樓板承重等新設計。
13. 液冷優勢可解決多項資料中心挑戰。1) 滿足AI伺服器冷卻需求；2) 增加機房使用空間；3) 減少資料中心噪音；4) 長期可節省營運成本。
14. 冷卻方案講求系統整合，自個別處理器，到機櫃，乃至於資料中心層級的設計都有所變化。
15. 生成式AI驅動高階運算系統需求，帶動資料中心相關設備更新需求，為資料中心產業帶來新藍海。
16. 下一階段資料中心將會是混合型AI資料中心，預期高密度機櫃將更高比例進駐機房。隨著高階氣冷設備逐漸汰換及液體冷卻系統日益鋪設，資料中心機房將更節能永續。
17. 資料中心設備升級轉型機會下，針對轉型痛點，資料中心硬體設備銷售更講求整體性解決方案，整合各零組件相關設備，共推新產品及管理系統等加值服務。

僅供本公司內部同仁參考使用，非經本公司事先書面同意，禁止轉發或轉載第三人**