May. 03, 2024

AI PC與高速記憶體的結合：革命性的智慧運算體驗

前言

近年來，AI(Artificial Intelligence)人工智慧的快速發展引領了計算機科技的新浪潮，同時高速記憶體的不斷創新，為提升計算效能提供了關鍵的支持，市場上多半視2024年為AI PC發展元年，預計2025、2026年才會逐漸成熟。

根據研調機構Canalys的數據預估，至2027年全球AI PC出貨量將達1.5億至2億台之間，將占全年總額的六成，如圖(一)。分析人工智慧個人電腦(AI PC)和高速記憶體的關聯性，將著重於技術整合對計算效能提升的作用，同時探討應用場景和未來展望，我們期望能夠深入理解其對現代計算機系統的影響，以及在人工智慧應用中的潛在優勢。

我們將簡要介紹AI PC和高速記憶體的基本概念，強調其在當今科技領域的關鍵地位。同時，我們將提出結合這兩者的動機，以及這種結合對於計算機性能和應用多樣性的重要性。

圖一

AI PC的技術特點

這一部分將深入探討AI PC的技術特點，包括機器學習、深度學習、自然語言處理等方面的應用。我們將討論目前AI PC在處理複雜任務和龐大數據時所面臨的挑戰，以引出高速記憶體整合的需求。

消費者對於AI PC的期待是無須聯網，就可以在終端裝置實現生成式AI的功能，首先，電腦的運算能力要非常強，耗電量也相對會變大，而儲存資料的擴張性也順勢帶動記憶體與儲存裝置的升級。根據微軟針對AI PC的要求，記憶體至少須達16GB、儲存容量也須達256GB以上，都比目前PC主流規格高出了一大截。

記憶體技術的演進

這邊我們將先來回顧高速記憶體技術的發展歷程，包括動態隨機存取記憶體（Dynamic Random Access Memory, DRAM）、靜態隨機存取記憶體（Static Random Access Memory, SRAM）、非揮發性記憶體（Non-Volatile Memory, NVM）等。同時，我們將關注新興的高速記憶體技術，如高頻率DDR5、3D XPoint等等在市場上的未來趨勢(如下圖二)，AI PC也許不能提高總體銷量，但因為會帶來零組件的升級需求，尤其是一些CPU以外的相關晶片，經過疫情帶動營運上升後，2023多面臨庫存過高情況；2024的換機潮與AI升級商機的確也很值得我們關注晶片業的發展。

電腦及嵌入式系統中的記憶體系統，CPU運算的結果，都是由記憶體來存取，因此CPU運算的速度與記憶體模組的容量，頻寬幾乎決定了整個系統的效能。除了傳統的Server/PC/Mobile等應用，在消費性產品領域如AI PC/AI Server等等不斷的演化出新的應用，而對記憶體的需求也與日遽升。

記憶體產品的發展，主要配合系統配備需求發展，提升系統的效能，大致朝向高容量、高速度、高頻寬、低電壓及低成本的方向發展，如(下表一)我們能看到關於DDR記憶體的規格演進及發展。

圖二

表一

AI PC與高速記憶體的融合

隨著 AI PC 中安裝的 CPU 全面支援 DDR5、LPDDR5 和 LPDDR5x 等規格 DRAM，以及需要可儲存 AI 學習大量資料的固態硬碟（SSD）情況下，預計未來對 DRAM 的需求將只會持續擴大，對於高效能 DRAM 的需求也將從伺服器擴展到智慧型手機與 PC 市場上

截至目前為止，DRAM 相關高價值產品的銷售量中，用於 AI 伺服器方面使用的 DDR5 和 HBM3 佔比較高。但接下來以這種方式開發的生成式 AI，預計將分別普及到智慧型手機和筆記型電腦中，這使得高附加價值的 LPDDR5 和 LPDDR5x 的銷售量預計將能夠進一步增加。參考(圖三)

圖三

DDR5(第五代雙倍資料率同步動態隨機存取記憶體)介紹

從市場的應用端來看，在PC、NB、AI邊緣運算、Server的時代對於低延遲、低功耗、大頻寬、高速的需求下，DDR5的普及率相對地也被按下了加速鍵。

DDR5最突破的部分，就是速度相對於"非常快速”的DDR4而言還要更快。

在傳送速率方面，全新DDR5記憶體的最高傳輸速率達到了6.4Gbps，比DDR4提升了一倍。此外，DDR5也改善了DIMM的工作電壓，將供電電壓從DDR4的1.2V降至1.1V，進一步提升了記憶體的效能表現。

在架構方面，DDR5採用由8個Bank Group組成的32 Bank（可單獨啟用/停用的存儲單元）架構，比DDR4由4個Bank Group組成的16 Bank架構，多出1倍的存取可用性（Access Availability）如圖(四)。

不同於DDR4在更新（Refresh）時無法同步執行其他操作，DDR5則透過Same Bank Refresh功能，讓系統可以在更新某些Bank的時候，也能同時存取其他Bank的資料，而DDR5的Burst Length（DRAM單個讀/寫指令可以存取的資料量）也從DDR4的8增加到16，這點也是在效能上增強的關鍵功能。

圖四

至於在ECC (Error-Correcting Code)方面

在以往的記憶體若要有ECC功能，需要額外多配置一顆IC負責糾錯，因此會看到ECC記憶體單面會是9顆IC而不是常見的8顆IC，同時也需要CPU或主板本身有支援，才能使用ECC記憶體。但是隨著DDR5 RAM的容量越來越大，現在每根DDR5 RAM都內置了ECC芯片，每顆IC直接就自帶ECC除錯的功能，相對的在系統上擁有更高的穩定性，不再因錯誤而造成中斷

頻率跟密度上，DDR5也大大的超越了DDR4，DDR4僅支援最高16Gb的DRAM容量，而DDR5記憶體標準提高到了64Gb。這代表著，DDR5 在SDP模式下的最高容量是DDR4 最大容量的4倍。同時，DDR5還支援最高40個單元的堆疊，使其有效記憶體容量高達到2TB。

DDR5記憶體的接腳頻寬(頻率)是DDR4的兩倍，起始頻率4800MHz也比DDR4 的3200MHz增加了高達50%。而在未來DDR5記憶體的最高頻率甚至可望高達到8400MHz，系統頻寬會繼續提高至當前水準的兩倍以上，下表(二)為DDR4及DDR5規格差異，由以上各項資訊可知，DDR5在各方面都遠遠強大於DDR4，逐漸取代DDR4，成為主流也只是遲早會發生的事了。

表二

HBM3(High Bandwidth Memory)是什麼?

HBM3是一種用3D堆疊起來的高效能DRAM，在透過先進封裝的方式包裝，使其密度增加、體積更小、功率消耗更少，來達到更高的頻寬及儲存效果。

技術方面是透過將好幾片晶圓做堆疊，在通過矽穿孔的技術，像牙籤般將每層的晶圓串住，最後再做封裝,如下(圖五)

圖五

高頻寬記憶體匯流排在擁有四塊DRAM裸晶的高頻寬記憶體堆上，每顆裸晶各有兩條128位元的通道，加起來共有八條，與其他DRAM(DDR4、DDR5相比起來更加寬闊。而因記憶體的最大連接數多，高頻寬記憶體就須以更新的方式來連接到處理器，為此而打造出了所謂的矽片(插入器)用以連接記憶體及處理器，以減短記憶體的路徑。

我們也可由下(圖六)及(表三)看出HBM規格上的演進趨勢及目前在各大原廠針對HBM的市場開發進度。

圖六

表三

未來展望及應用趨勢

增強學習和個人化體驗

AI PC將更加強調個人化體驗，能根據用戶行為和偏好提供訂製的建議及服務。根據用戶過去的行為和搜索歷史，提供相對應個性化的建議、內容或應用程式。增強學習技術將有助於系統更好的理解用戶的需求，提供更具深度及智慧的互動。

自動化助手功能及語音語言處理

AI PC能夠學習用戶的習慣、偏好和工作流程，進而自動執行一些常見任務。智能助手，如語音助手或虛擬助手，能夠理解自然語言指令，協助用戶完成各種任務，如文件管理、日曆安排、電子郵件篩選等等，智能助手將變得更具智慧，能主動提供幫助及建議。

語言及語音識別技術將變得更加精確流利，自然語言處理將使得電腦更能理解及生成自然語言，而提高用戶與電腦間的交互效率。

強化現實(AR)和虛擬現實(VR)

AI在AR和VR應用中的效用將進一步擴大，提供更真實、個性化的虛擬體驗，視覺感知及空間地位和手勢識別等技術的進步也將使得使用者在虛擬世界中更自由的操作，如下(圖七)｡

圖七

安全和隱私

AI PC通常會整合端點安全性措施，例如硬體級安全技術、加密和生物識別技術，以確保設備本身的安全性。這有助於防範物理訪問和硬體層面的攻擊。使用者也可以更好地控制AI PC上的軟體和更新，這有助於確保系統的最新性和防禦機制的有效性，在保護用戶隱私的技術方面也更加重要。

機器學習和深度學習的整合

機器學習和深度學習技術將在PC中得到更廣泛的應用，例如圖形處理、遊戲優化等等。如(圖八)我們可看到機器學習及深度學習差異在於深度學習已不需要再人為進行特徵擷取，只需把資料倒入訓練模型中，便可得出我們想要的結果。

圖八

邊緣運算

AI PC的邊緣運算功能是指在設備本身執行部分或全部的人工智慧（AI）任務，而不需依賴遠端雲端伺服器。在邊緣執行AI任務可以減少對用戶數據的傳輸，因此提高了隱私保護水平。敏感信息不必離開設備，降低了數據在傳輸過程中被攔截或滲漏的風險。

邊緣運算允許AI PC在沒有互聯網連接的情況下執行任務，這對於需要在離線環境中工作的應用，如移動裝置或遠程地區的應用場景，非常有益，並且在節能跟延遲方面也都能有效提供更好的控制。

這種邊緣運算的特性帶來了一系列優勢，包括更低的延遲、更好的隱私保護和更高的效能，使得個人電腦更加智慧化。

結論

綜觀以上介紹，能了解AI PC與高速記憶體整合的重要性，強調這種融合對於提升計算機性能、拓展應用領域的重要作用，AI的發展將把傳統PC轉變為人們在數位生活中更直覺、反應更靈敏、更安全的伴侶，也可以為PC產業帶來成長的契機，同時，也能明確了解未來研究的方向，以進一步推動這一領域的發展，來應對快速發展的人工智慧應用需求。

目前在茂綸代理的產品線之一Micron，就擁有上述相關高速記憶體HBM3 & DDR5支援，在未來AI的技術運用上扮演著重要的角色。

nVIDIA方面則有推動AI技術最為重要的GPU及NPU方案，在各產業不同的環境下都有著相對應的優勢，在現在已AI為主流的應用市場上，勢必能帶著一定的優勢與之競爭。