Hot Chips 2024 | IBM Telum II 處理器和 Spyre 加速器推動(dòng)企業(yè)計(jì)算中的人工智能發(fā)展

逍遙設(shè)計(jì)自動(dòng)化

引言
在企業(yè)計(jì)算領(lǐng)域不斷演進(jìn)的背景下，IBM 通過其最新產(chǎn)品——IBM Telum II 處理器和 IBM Spyre 加速器芯片繼續(xù)推動(dòng)創(chuàng)新的邊界。這些尖端技術(shù)旨在滿足商業(yè)應(yīng)用中人工智能（AI）日益增長(zhǎng)的需求，提供性能、效率和安全性。本文將幫助了解這些新技術(shù)的細(xì)節(jié)及其潛在影響，探討這些創(chuàng)新如何改變企業(yè)計(jì)算格局。
, e% D7 t5 }# H  ^  {
" M4 U) K+ C: j# H2 p3 a
IBM 大型機(jī)的力量
  X8 h% g  O: ]* Z! H2 w在深入探討新硬件的具體細(xì)節(jié)之前，了解 IBM 大型機(jī)在當(dāng)今金融生態(tài)系統(tǒng)中的關(guān)鍵作用非常必要。根據(jù)最新研究，估計(jì) 70% 的全球交易（按價(jià)值計(jì)算）通過 IBM 大型機(jī)進(jìn)行處理。這一驚人的統(tǒng)計(jì)數(shù)據(jù)凸顯了大型機(jī)技術(shù)持續(xù)創(chuàng)新對(duì)支持全球經(jīng)濟(jì)的重要性。
+ Y4 I1 R) O* P& U" v& T
' }& l2 ^0 k7 w) W- x此外，IBM 大型機(jī)以可靠性著稱，可用率高達(dá) 99.999999%。這種可靠性對(duì)于需要持續(xù)運(yùn)行且無(wú)法承受系統(tǒng)故障的企業(yè)來說極為關(guān)鍵。


# }4 t' h' d2 }& XIBM Telum II 處理器簡(jiǎn)介
IBM Telum II 處理器代表了大型機(jī)計(jì)算技術(shù)的重大飛躍。設(shè)計(jì)用于支持每秒數(shù)百萬(wàn)次交易的 AI 處理，這一能力在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的商業(yè)環(huán)境中變得越來越重要。

Telum II 的主要特點(diǎn)
1. 增強(qiáng)的中央計(jì)算復(fù)合體：Telum II 比前代產(chǎn)品有多項(xiàng)改進(jìn)，包括：

分支預(yù)測(cè)增強(qiáng)

重命名寄存器容量增加（從 128 增至 160）

改進(jìn)的存儲(chǔ)回寫和地址轉(zhuǎn)換

面積減少 20%

功耗降低 15%
6 u' o4 d; x$ r9 f3 A* Y7 T
) }" g3 s3 o& s7 A1 x2. 擴(kuò)展的緩存系統(tǒng)：處理器具有：
; D) [  [' \! p! F' y

10 個(gè) L2 緩存，每個(gè) 36MB，訪問時(shí)間 3.6ns

360MB 虛擬 L3 緩存，訪問時(shí)間 11.5ns

2.8GB 虛擬 L4 緩存，訪問時(shí)間 48.5ns

片外帶寬提高 30%

Drawer 到 Drawer 的加密，增強(qiáng)安全性
$ o( O- i$ w! P# o0 l# Y


3 o7 l* W( A( |" ^  F1 C& {圖 1：說明 Telum II 中央計(jì)算復(fù)合體和 L2 緩存系統(tǒng)的改進(jìn)，突出了處理能力和內(nèi)存訪問的顯著增強(qiáng)。

3. 先進(jìn)的制造工藝：Telum II 采用 5nm 技術(shù)制造，實(shí)現(xiàn)：

每核心最高 5.5 GHz 時(shí)鐘速度

插槽性能提升 20%

處理器功耗降低 18%
7 S9 q6 v# C5 {6 D7 Z4 Z5 P2 l
- ?1 x: j0 P7 y: c* ?, D4. 創(chuàng)新的電壓控制：處理器incorporates一個(gè)復(fù)雜的電壓控制回路系統(tǒng)，包括：
9 A8 e: C1 R5 Z" P

細(xì)粒度電壓測(cè)量線路

工作負(fù)載監(jiān)控功能

與電源轉(zhuǎn)換子系統(tǒng)緊密耦合
' e2 u1 I& [, ]% ^% Z+ H% w

8 }7 M5 s2 G) s, A0 N# o
* c# y& j1 V$ A. R2 _* p圖 2：展示Telum II 電壓控制回路實(shí)現(xiàn)的效率提升，說明在各種工作負(fù)載利用率下的較低功耗。
) Y( I9 w5 C1 z0 E3 V% f
5. 片上數(shù)據(jù)處理單元（DPU）：Telum II 具有專用 DPU 用于 I/O 加速，包括：

4 個(gè)處理集群

每個(gè)集群 8 個(gè)定制微控制器

與整體緩存系統(tǒng)的連貫連接

專用 I/O 加速邏輯

隊(duì)列管理器，用于高效的工作調(diào)度和傳輸

! ]+ \/ w1 q' ~. h" e
; w4 A; {! `/ f# d* m' d* c1 d( N) \

圖 3：概述片上數(shù)據(jù)處理單元（DPU）的結(jié)構(gòu)，突出其組件和互連，用于高效的 I/O 處理。
3 t' K5 }( h2 t, I. f
/ Q" D* i/ L$ h+ h1 y4 r  M7 Y6. 大規(guī)模擴(kuò)展 I/O 子系統(tǒng)：Telum II 支持：
, \1 w5 F" m8 c  `; s, D. b; v

在一個(gè)連貫的 SMP 系統(tǒng)中最多 32 個(gè)處理器

12 個(gè) I/O 擴(kuò)展 Drawer，每個(gè)有 16 個(gè) PCIe 插槽

單個(gè)系統(tǒng)中總共最多 192 個(gè) PCIe 卡
% V( a; K3 \: b# A
  j7 r5 D9 W6 @: F4 U1 ?4 LTelum II 中的 AI 加速
' s0 \8 F# B. x6 n# R+ k2 wTelum II 最顯著的進(jìn)步之一是其增強(qiáng)的 AI 能力。處理器包含針對(duì)傳統(tǒng) AI 模型優(yōu)化的片上 AI 加速器，能夠支持各種企業(yè)用例：
  N7 w5 W9 ^, b* Z6 a3 y! R

清算結(jié)算

合規(guī)檢查

保險(xiǎn)理賠處理

欺詐檢測(cè)
2 `( X$ |+ w4 ^% e
- z8 n! L' W) P/ Y( x4 P, ZTelum II 中的 AI 加速器提供：

每芯片 24 TOPS（每秒萬(wàn)億次運(yùn)算）

每 Drawer 192 TOPS

每系統(tǒng) 768 TOPS

作為 CISC 指令集成，實(shí)現(xiàn)無(wú)縫操作

支持 INT8 和 FP16 數(shù)據(jù)類型
8 r3 b  }0 v: n4 N, |
/ i+ F1 n% l6 V4 h6 ^6 K; a
& ?9 [7 Z1 k6 M3 n7 ?
/ X6 r8 _1 O; G3 d' }圖 4：展示Telum II 處理器的 AI 加速能力，突出其 TOPS 性能和系統(tǒng)集成。
IBM Spyre 加速器簡(jiǎn)介
Telum II 的片上 AI 加速器令人印象深刻，但 IBM 通過引入 IBM Spyre 加速器進(jìn)一步推進(jìn)了 AI 加速。這種專用芯片旨在處理更復(fù)雜的 AI 模型和工作負(fù)載，補(bǔ)充了 Telum II 的能力。

IBM Spyre 加速器的主要特點(diǎn)
1. 強(qiáng)大的性能：Spyre 加速器提供：
+ |. r+ [" P2 w

超過 300 TOPS 的計(jì)算能力

75W 功耗，采用 PCIe gen5 x16 適配器

128GB LPDDR5 內(nèi)存

2. 創(chuàng)新的核心設(shè)計(jì)：加速器具有：
& G& Q: x/ ]; Z

32 個(gè)核心，每個(gè)配備 2MB 暫存器

55%+ 有效 TOPS 利用率

獨(dú)特的 "corelet" 結(jié)構(gòu)，用于高效數(shù)據(jù)移動(dòng)
; L, ]1 v. n, y
7 i. M5 P2 P# I+ _1 X  d. c, |


圖 5：說明 IBM Spyre 加速器的核心和 corelet 結(jié)構(gòu)，展示其創(chuàng)新設(shè)計(jì)，實(shí)現(xiàn)高效 AI 計(jì)算。

( W9 u5 n4 p! W/ I" }% |! w3. 高速互連：Spyre 加速器利用：
8 Y) u( E$ O. P* \

32B 雙向環(huán)連接核心

200GB/s LPDDR5 連接到暫存器環(huán)

128B 雙向環(huán)連接暫存器

4. 可擴(kuò)展性：Spyre 加速器設(shè)計(jì)用于集群部署：

I/O Drawer 中的 8 張卡形成一個(gè)邏輯集群

每個(gè)集群總共 1TB 內(nèi)存

1.6TB/s 聚合內(nèi)存帶寬
! p4 X( U6 f. ~
5. 先進(jìn)制造：采用三星 5LPE 技術(shù)制造，Spyre 加速器擁有：
8 ~( r7 f" G  d" y" I/ {7 `5 ^

260 億晶體管

330 平方毫米芯片面積

14 英里線路
' k! J+ c! z. T5 ?; u

! G4 e& W$ h' ?. n+ E7 K/ c
7 K$ l( W9 V/ m7 }3 g; w圖 6：比較 Telum II 處理器和 Spyre 加速器的制造細(xì)節(jié)，突出兩種芯片使用的先進(jìn)技術(shù)。
1 H4 Q  A/ l# K( x
7 b6 L+ z: `) Y& d; YAI 用例和應(yīng)用
Telum II 處理器和 Spyre 加速器的結(jié)合為企業(yè)環(huán)境中的各種 AI 應(yīng)用提供了支持。這些技術(shù)支持 AI 的整體方法，允許企業(yè)利用傳統(tǒng)和更復(fù)雜的 AI 模型用于各種用例：

增強(qiáng)欺詐檢測(cè)：通過結(jié)合 Telum II 的片上 AI 加速器和更強(qiáng)大的 Spyre 加速器，金融機(jī)構(gòu)可以實(shí)施復(fù)雜的欺詐檢測(cè)系統(tǒng)，實(shí)時(shí)分析交易。

生成式 AI：Spyre 加速器的高性能使其適合運(yùn)行大型語(yǔ)言模型和其他生成式 AI 應(yīng)用，為內(nèi)容創(chuàng)建和數(shù)據(jù)分析開創(chuàng)了新的可能性。

代碼轉(zhuǎn)換和輔助：開發(fā)人員可以受益于 AI 驅(qū)動(dòng)的代碼建議、解釋和轉(zhuǎn)換工具，提高生產(chǎn)力和代碼質(zhì)量。

系統(tǒng)管理：AI 助手可以通過提供智能建議來簡(jiǎn)化 IT 操作，包括系統(tǒng)配置、故障排除和優(yōu)化。

合規(guī)和風(fēng)險(xiǎn)管理：先進(jìn)的 AI 功能可以應(yīng)用于自動(dòng)化合規(guī)檢查，并增強(qiáng)各行業(yè)的風(fēng)險(xiǎn)評(píng)估流程。
[/ol]

結(jié)論
IBM Telum II 處理器和 IBM Spyre 加速器代表了企業(yè)計(jì)算和 AI 加速的重大進(jìn)步。通過將高性能傳統(tǒng)計(jì)算與專用 AI 硬件相結(jié)合，IBM 使企業(yè)能夠?qū)崟r(shí)應(yīng)對(duì)日益復(fù)雜的挑戰(zhàn)。
2 h) Y4 j! b7 b6 K! _. |
這些創(chuàng)新將改變金融、保險(xiǎn)、軟件開發(fā)和 IT 運(yùn)營(yíng)等多個(gè)行業(yè)。隨著 AI 在商業(yè)運(yùn)營(yíng)中繼續(xù)發(fā)揮關(guān)鍵作用，以前所未有的速度處理海量數(shù)據(jù)并做出智能決策的能力將成為關(guān)鍵的競(jìng)爭(zhēng)優(yōu)勢(shì)。
, ?, [9 Y5 s+ W. @
IBM Spyre 加速器目前處于技術(shù)預(yù)覽階段，但對(duì)企業(yè) AI 格局的潛在影響巨大。隨著這些技術(shù)的成熟和廣泛應(yīng)用，可以期待看到一波新的 AI 驅(qū)動(dòng)的應(yīng)用和服務(wù)，重塑企業(yè)在數(shù)字時(shí)代的運(yùn)營(yíng)方式。
) U, p- e( D3 L4 w, J
企業(yè)計(jì)算中 AI 的發(fā)展才剛剛開始，IBM 通過 Telum II 處理器和 Spyre 加速器為未來創(chuàng)造了新的可能性，在這個(gè)未來中，AI 將深度集成到業(yè)務(wù)運(yùn)營(yíng)的每個(gè)方面，推動(dòng)效率、創(chuàng)新和增長(zhǎng)。

參考文獻(xiàn)
[1] C. Berry, "IBM Telum? II processor and IBM Spyre Accelerator chip for AI," presented at Hot Chips 2024, 2024.

- END -
/ X( c, K9 a+ {$ m" d
軟件申請(qǐng)我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請(qǐng)?bào)w驗(yàn)免費(fèi)版PIC Studio軟件。無(wú)論是研究還是商業(yè)應(yīng)用，PIC Studio都可提升您的工作效能。
點(diǎn)擊左下角"閱讀原文"馬上申請(qǐng)
, H' Q8 g& B" z: p& O5 `
歡迎轉(zhuǎn)載
: @; w% W' l) W+ ?/ w
' H+ C9 f9 ~; f0 O+ W9 {轉(zhuǎn)載請(qǐng)注明出處，請(qǐng)勿修改內(nèi)容和刪除作者信息！
' y& H7 _4 ^6 R, `/ q0 ~  F" u



* W8 {8 R- W# K& Z0 ]% B4 O
' ?" \2 ^1 m$ T4 Q4 @" e! ?  ~關(guān)注我們
7 e6 }1 J3 r5 D" P0 A' E' s

- s! p( c0 _3 {* F8 Y: [- H9 k5 Y

: T# d- g  S' y2 s% S- g- h

6 w$ I4 t& O; h6 |/ \4 Y6 x

                     



$ r; t/ P2 f: C4 z4 F& _關(guān)于我們：
8 X- z7 P5 @8 p+ B深圳逍遙科技有限公司（Latitude Design Automation Inc.）是一家專注于半導(dǎo)體芯片設(shè)計(jì)自動(dòng)化（EDA）的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計(jì)和仿真軟件，提供成熟的設(shè)計(jì)解決方案如PIC Studio、MEMS Studio和Meta Studio，分別針對(duì)光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計(jì)與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù)，廣泛服務(wù)于光通訊、光計(jì)算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國(guó)內(nèi)外晶圓代工廠及硅光/MEMS中試線合作，推動(dòng)特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展，致力于為客戶提供前沿技術(shù)與服務(wù)。
8 K0 s, t. M% _1 }5 h: b) H& h
http://www.latitudeda.com/
+ v0 w; G" \7 L+ ?（點(diǎn)擊上方名片關(guān)注我們，發(fā)現(xiàn)更多精彩內(nèi)容）