|
引言- e0 v2 z0 m: X" R' @
隨著硅晶體管縮放接近極限,研究人員正在探索新技術(shù)以繼續(xù)提高處理器性能和效率。有前途的方向是使用片上光學(xué)網(wǎng)絡(luò)(也稱為光學(xué)片上網(wǎng)絡(luò)或光學(xué)NoC)來替代傳統(tǒng)的電氣互連。與電氣網(wǎng)絡(luò)相比,光學(xué)NoC在帶寬、延遲和功耗方面具有潛在優(yōu)勢。然而,有效管理光學(xué)NoC的功耗帶來了新的挑戰(zhàn)[1]。
+ z3 l# @) P/ M4 T) N+ @
" ?! l1 Q5 k' a7 B本文將探討用于最小化光學(xué)NoC靜態(tài)功耗的激光調(diào)制方案。我們將介紹基于網(wǎng)絡(luò)活動動態(tài)調(diào)制激光功率的關(guān)鍵概念、架構(gòu)和預(yù)測技術(shù)。) _8 S6 d0 V% }
% {) Y3 s- H8 f* A3 r/ s6 Z0 m
" V# C8 J* m8 }" J% L" j% D
背景
3 e# A& A( e" n" m% a) ]光學(xué)NoC使用光來傳輸芯片上組件之間的數(shù)據(jù);緲(gòu)建模塊包括:
# H+ K$ H' R& _0 F/ F$ h9 Y/ ?激光器:光源,可以是片外或片上調(diào)制器:將電信號轉(zhuǎn)換為光信號波導(dǎo):在芯片上引導(dǎo)光光電探測器:將光信號轉(zhuǎn)換回電信號
$ [) s+ h# r9 \, L+ p. E
( A9 y: K. o* b# F: V& P光傳輸本身非常高效,但產(chǎn)生光的激光器消耗大量功率。一個關(guān)鍵挑戰(zhàn)是光子不能像電荷那樣容易存儲。這意味著激光器通常需要持續(xù)供電,即使不主動傳輸數(shù)據(jù)時也是如此。這種靜態(tài)功耗可能占光學(xué)NoC總功耗的80-90%。4 M8 L3 e# \8 V- ?7 `$ ]3 D9 }
\4 j6 k: F' H
為解決這個問題,研究人員開發(fā)了激光調(diào)制方案,旨在根據(jù)預(yù)測的網(wǎng)絡(luò)活動動態(tài)調(diào)整激光功率。一般方法包括:, b. ]% Q/ l1 c4 G
監(jiān)控網(wǎng)絡(luò)活動指標(biāo)預(yù)測未來活動相應(yīng)調(diào)整激光功率重新配置網(wǎng)絡(luò)& G5 A3 y/ r& ?
: J4 X: m' N7 F$ z/ ^& Y讓我們看看為不同類型處理器提出的一些具體方案。% g4 ^7 E- ?9 @) R
6 i1 x& m C: R: ]. q' W& r: u1 U多核CPU設(shè)計中的激光調(diào)制方案
& \! _- Q0 P0 z. U8 IProbe
/ e/ ^% O, B8 C: q. w0 C I最早提出的激光調(diào)制方案之一是Probe。使用64核架構(gòu),核心分組為4x4塊。每個塊都有專用的片外激光器,可以使用單寫多讀(SWMR)總線廣播消息。+ L. Q* \, [& ?/ U4 K- _
- H( l. E, i9 o& U# z$ _+ j8 aProbe根據(jù)鏈路利用率和緩沖區(qū)利用率指標(biāo)預(yù)測未來活動。使用兩種類型的預(yù)測器:用于低流量變化:過去和當(dāng)前利用率的加權(quán)平均用于高變化:由利用率水平索引的模式歷史表
) `0 p& p; r/ O0 `0 X% a[/ol]
4 K0 h% G9 [7 K7 I1 g" h錦標(biāo)賽預(yù)測器根據(jù)最近的準(zhǔn)確性在兩者之間選擇。
3 O( K5 |( [1 a' _9 N3 E1 O4 X2 R1 z) ^; h' B. p Y/ W- s! k
ColdBus
1 ~8 z, O+ O! JColdBus采用不同的方法,基于L1緩存未命中預(yù)測活動。關(guān)鍵洞察是在共享內(nèi)存系統(tǒng)中,大部分網(wǎng)絡(luò)流量來自L1未命中。
; g1 C/ u( m$ k( `% y v& `
% {. `$ t8 w( h* L V% V使用類似于分支預(yù)測器的基于PC的預(yù)測器來識別可能導(dǎo)致未命中的指令。然后,一個時期預(yù)測器估計這些未命中何時發(fā)生。
, M |) b' T" O7 k& R
2 B' H! P$ T& ^$ X& w! uColdBus還引入了一個"額外波導(dǎo)",為需要的站點(diǎn)提供應(yīng)急功率。
7 V! S, W8 h2 {6 I9 y1 p* d* ~, o. Y* d. H
PShaRe
6 i1 H+ L! T! t$ ~- Z2 J1 P: SPShaRe在之前工作的基礎(chǔ)上有幾個關(guān)鍵創(chuàng)新:一致性和非一致性流量的獨(dú)立網(wǎng)絡(luò)基于神經(jīng)網(wǎng)絡(luò)的非線性預(yù)測器站點(diǎn)之間的功率共享重用浪費(fèi)的光功率進(jìn)行熱調(diào)諧 |/ g$ V6 t6 n% R$ G9 A
[/ol]
3 ~5 B5 p8 G8 [' S0 _! d# n圖1顯示了整體架構(gòu):) L- s R$ [) M- \+ N1 ^
! i! G8 r" g% d
srqgc3eexiq64021065016.png (157.24 KB, 下載次數(shù): 1)
下載附件
保存到相冊
srqgc3eexiq64021065016.png
2024-9-19 13:40 上傳
, n3 e* ~& L. ~' ^
圖1:PShaRe架構(gòu),顯示連接光學(xué)站點(diǎn)的功率和數(shù)據(jù)波導(dǎo)。+ |# g E+ ?& x7 |% B, N& u! a. p
* y; y% Q/ N1 {
神經(jīng)網(wǎng)絡(luò)預(yù)測器使用14個性能計數(shù)器輸入,對每個站點(diǎn)在下一個時期的活動進(jìn)行二元預(yù)測。5 t. T/ A l; w/ N2 K$ q
$ z, h* q0 q# j7 FBigBus
: G4 S w/ x e2 }& b4 o對于非常大的核心數(shù)(500+),需要像BigBus這樣的設(shè)計。BigBus使用分層架構(gòu),將塊簇組成更大的單元。
8 D6 [6 K A8 c6 \ _0 r* ]) x( J8 T5 \8 [+ j' C
圖2說明了BigBus設(shè)計:. J. L$ ]1 b% z; o7 V% _
, ?7 N$ P. _% S0 {- P8 X! U! y
3ru5uphwiop64021065116.png (216.89 KB, 下載次數(shù): 1)
下載附件
保存到相冊
3ru5uphwiop64021065116.png
2024-9-19 13:40 上傳
& f) n9 _ v* ~7 c& D: z圖2:BigBus架構(gòu),顯示由蛇形光鏈路連接的核心和緩存庫的分層組織。) G) x g+ u6 T" S" f0 [1 G" B
3 ~* @/ @6 r& B' x9 Q. EBigBus使用兩階段預(yù)測過程:每個站點(diǎn)根據(jù)等待時間和待處理事件決定是否增加/減少令牌激光控制器將當(dāng)前預(yù)測與歷史數(shù)據(jù)結(jié)合
7 [8 S' Y8 E$ U, z" C9 |$ C/ a[/ol]
_% g! h2 @# F# k. Q; i這允許在當(dāng)前條件的響應(yīng)性和穩(wěn)定性之間取得平衡。
! c3 ?; a7 e7 h% ]* P+ Q" v# q( b2 t0 E/ p; T G t5 k1 X; r
+ M. \* }2 S4 P: E k! n6 i8 M1 s, d多插槽系統(tǒng)(MULTI-SOCKET SYSTEMS)中的激光調(diào)制方案
0 E* w# `# v Q, k" d對于像服務(wù)器這樣的多芯片系統(tǒng),像Nuplet這樣的設(shè)計將光網(wǎng)絡(luò)擴(kuò)展到插槽之間。Nuplet同時使用片內(nèi)和片間光網(wǎng)絡(luò)。
/ }* b% w3 l3 G' V0 @2 o7 n8 N1 f. u# P8 f ^
片間預(yù)測機(jī)制旨在確定要流通的仲裁令牌數(shù)量。它考慮:發(fā)送到片間光學(xué)站(ICOS)的消息ICOS隊列中的待處理事件! ~) Y# u9 U [8 x
[/ol]
8 ?$ ~5 M1 h( L/ [+ S6 C. }/ w功率請求表(PRT)存儲歷史令牌計數(shù)。預(yù)測將PRT值與當(dāng)前流量趨勢和隊列狀態(tài)結(jié)合。+ ~# Y0 U! d7 [/ i G V* ?$ V7 M
# \6 k: r3 y( q7 i
GPU設(shè)計中的激光調(diào)制方案
0 n6 v- m% i% S$ r" S由于GPU側(cè)重于內(nèi)存帶寬而非延遲,因此帶來了獨(dú)特的挑戰(zhàn)。GPUOpt設(shè)計將光學(xué)NoC適配于GPU架構(gòu)。
0 Q* G& @. U7 s+ y. L: ?1 \' E- P x$ c/ J1 C
圖3顯示了GPUOpt的整體架構(gòu):
1 U- S s& W1 i5 g8 i) P& P" p3 D% U) H4 `# l
mkq4dnaq3ip64021065217.png (198.05 KB, 下載次數(shù): 2)
下載附件
保存到相冊
mkq4dnaq3ip64021065217.png
2024-9-19 13:40 上傳
7 R! Y* P; M) v" T圖3:GPU光學(xué)NoC的架構(gòu),顯示由光網(wǎng)絡(luò)連接的SM和LLC集群。
; G5 g; T5 h" _! f! n6 J- g! B8 S/ l0 n( f
GPUOpt對流式多處理器(SM)站點(diǎn)和最后級緩存(LLC)站點(diǎn)使用不同的預(yù)測機(jī)制:
- x4 C( O# d! i# z/ Q1. SM站點(diǎn)使用基于以下因素的受限預(yù)測器(Restr_Pred):
! O5 c h) D* C- ^# [* d; |) }9 H接收的消息發(fā)送的消息等待時間
* s b0 h8 B. X* B
# `# j9 y9 s9 m I5 E2. LLC站點(diǎn)使用考慮以下因素的靈活預(yù)測器(Flex_Pred):
1 r1 M$ Z, z" i# p接收的消息發(fā)送的消息待處理事件
) W; x5 i( s& J2 Z z! u
% e0 y0 A% l9 r4 J# \* Z9 G% X6 A2 H' }0 u激光控制器將這些預(yù)測結(jié)合起來,確定整體功率需求。
& N8 V; r/ }% x4 `% |6 t. }/ t# b3 X) ~+ ^' [, \2 |
' C- @; ~9 J/ P/ W4 Y
關(guān)鍵概念和趨勢/ \# Q4 U3 C# x. S
雖然具體方案各不相同,但一些共同主題和最佳實踐浮現(xiàn)出來:
) [3 D9 K$ U* Q0 k' l& M
( ?1 g( L+ B$ k w+ d1.將時間劃分為固定時期進(jìn)行預(yù)測和重新配置. F+ D, C1 i7 Z; m( e" ]$ c
2. 使用多個輸入指標(biāo):6 u8 G& l; e( ?- B: z
網(wǎng)絡(luò)利用率緩沖區(qū)占用率緩存未命中率指令類型待處理事件# X# \2 E& y. x8 W
3. 將當(dāng)前指標(biāo)與歷史數(shù)據(jù)結(jié)合
9 V! }5 ~9 j9 P4. 使用非線性預(yù)測函數(shù)(如神經(jīng)網(wǎng)絡(luò))捕捉復(fù)雜關(guān)系, [& q' ]" j6 B
5. 對不同流量類型進(jìn)行單獨(dú)預(yù)測(如一致性與非一致性)- Z% m3 G* Z# S6 O( s6 T
6. 分層設(shè)計以實現(xiàn)可擴(kuò)展性5 v8 p9 x6 o2 Z4 @! M$ @' i+ C
7. 盡可能重用未使用的光功率
, t; h: |8 y8 P; j8 w1 c5 L8. 為特定架構(gòu)經(jīng)驗性地調(diào)整預(yù)測參數(shù)
0 `/ a" l4 E; Q+ {" x- j2 R# @0 @, X
6 I2 h9 U8 @1 f# W U圖4說明了有效激光調(diào)制可能帶來的功率節(jié)。
& b1 t9 d$ H" }& X. ^8 I* m) ]7 V2 n$ m7 K8 q5 @ i% F
c4ryd1jrep564021065317.png (100.12 KB, 下載次數(shù): 1)
下載附件
保存到相冊
c4ryd1jrep564021065317.png
2024-9-19 13:40 上傳
3 g, a( R1 Q% }" X s- u
圖4:ideal、Probe和ColdBus方案在各種基準(zhǔn)測試中的相對激光功耗。
! b/ \- |6 _: u. m2 ?$ j) N6 Q4 i& \% N ]. A+ P
+ r, _; x- u) S; h4 y
未來方向- u9 Z0 c0 l8 B( d
隨著光學(xué)NoC從研究轉(zhuǎn)向?qū)嶋H實施,可以期待這些技術(shù)的進(jìn)一步完善。方向包括:* c- q f7 }7 J: w" S
用于更準(zhǔn)確預(yù)測的機(jī)器學(xué)習(xí)技術(shù)與應(yīng)用層知識的集成在運(yùn)行時調(diào)整參數(shù)的自適應(yīng)方案考慮電氣和光網(wǎng)絡(luò)的整體優(yōu)化針對新興工作負(fù)載(如AI加速)的專門化- g: \3 I# B4 v) C% i+ J- V7 A# W/ G
0 {! ~$ {+ w n
; ], k5 a4 ]% K) q* z5 \6 x結(jié)論" n6 w( G9 b$ t1 k! A; O. e$ K) X; j
有效的激光調(diào)制對實現(xiàn)光學(xué)片上網(wǎng)絡(luò)的潛在優(yōu)勢非常重要。通過準(zhǔn)確預(yù)測網(wǎng)絡(luò)活動并相應(yīng)調(diào)整激光功率,可以在保持性能的同時最小化靜態(tài)功耗。隨著處理器架構(gòu)繼續(xù)發(fā)展,激光調(diào)制方案需要適應(yīng)新的設(shè)計約束和流量模式。該領(lǐng)域的持續(xù)研究有望為未來計算系統(tǒng)解鎖新的能效水平。$ \: Q% J' I' D( g" E
7 h! X4 J5 }+ h$ d8 ~
y0 K/ c( d) w' P. L參考文獻(xiàn)
- F7 ^: W# A2 z- |7 ^[1] M. Nikdast, S. Pasricha, G. Nicolescu, and A. Seyedi, Eds., Silicon Photonics for High-Performance Computing and Beyond, 1st ed. Boca Raton, FL, USA: CRC Press, 2021.
. a4 w8 E8 v4 w5 G* u7 }" |$ y. V. p" Q% C+ }) X
- END -
; n# V! z; C$ a+ q9 e1 o/ d: `" O. M7 O4 R& w' u5 V
軟件申請我們歡迎化合物/硅基光電子芯片的研究人員和工程師申請體驗免費(fèi)版PIC Studio軟件。無論是研究還是商業(yè)應(yīng)用,PIC Studio都可提升您的工作效能。 I- U+ {7 V5 [* J6 W5 x! g$ \
點(diǎn)擊左下角"閱讀原文"馬上申請
) r. F+ @7 b" e0 M, ^8 Z7 K9 W) J! t; j2 Z; h
歡迎轉(zhuǎn)載# a4 X4 U% h5 g. R. X
2 q- w1 S, J! e0 I l
轉(zhuǎn)載請注明出處,請勿修改內(nèi)容和刪除作者信息!
% t( r0 h6 ~: D: x: ^1 R7 ~' p7 Q; e2 s
7 y9 J; ~# y0 X' z5 L
3 P, [) z: s" t- |+ N4 ~- X1 L3 d1 R1 l
0xpbhnxw1i464021065417.gif (16.04 KB, 下載次數(shù): 2)
下載附件
保存到相冊
0xpbhnxw1i464021065417.gif
2024-9-19 13:40 上傳
, a" r. U+ P* a5 Y$ i# ?4 D& l' P& }0 {0 c2 M
關(guān)注我們
6 a/ p" S' C# j: l
- |% \5 t" [8 b5 V4 _# ?: b& b5 Y( F0 d
7 F0 M( [% c! k
52hg30m1xdu64021065517.png (31.33 KB, 下載次數(shù): 2)
下載附件
保存到相冊
52hg30m1xdu64021065517.png
2024-9-19 13:40 上傳
x* ~4 u( H8 \5 s; H! [
|
# e' ^% d f9 X7 I& O
nn4ow0j30tq64021065617.png (82.79 KB, 下載次數(shù): 1)
下載附件
保存到相冊
nn4ow0j30tq64021065617.png
2024-9-19 13:40 上傳
, X; |! A5 u9 f
| $ Q' m; Z# \, z$ ~
24dgnjrfrph64021065717.png (21.52 KB, 下載次數(shù): 4)
下載附件
保存到相冊
24dgnjrfrph64021065717.png
2024-9-19 13:40 上傳
% x; q1 n I. ?, q* _ |
" \2 t2 l* C; ]' V) h: Q$ g$ Y' \, W0 d) ^, {
2 @* H3 I. w- e6 h! O% h& d; Z
5 C; s6 j. S* \
關(guān)于我們:
4 D% v% ?: p( e, \2 q V _4 o+ k深圳逍遙科技有限公司(Latitude Design Automation Inc.)是一家專注于半導(dǎo)體芯片設(shè)計自動化(EDA)的高科技軟件公司。我們自主開發(fā)特色工藝芯片設(shè)計和仿真軟件,提供成熟的設(shè)計解決方案如PIC Studio、MEMS Studio和Meta Studio,分別針對光電芯片、微機(jī)電系統(tǒng)、超透鏡的設(shè)計與仿真。我們提供特色工藝的半導(dǎo)體芯片集成電路版圖、IP和PDK工程服務(wù),廣泛服務(wù)于光通訊、光計算、光量子通信和微納光子器件領(lǐng)域的頭部客戶。逍遙科技與國內(nèi)外晶圓代工廠及硅光/MEMS中試線合作,推動特色工藝半導(dǎo)體產(chǎn)業(yè)鏈發(fā)展,致力于為客戶提供前沿技術(shù)與服務(wù)。' h* L8 C5 k3 R; _1 m! @
M+ t" D/ h T/ {% f$ Qhttp://www.latitudeda.com/
, q, |) b2 A. D- G/ c: c# ^(點(diǎn)擊上方名片關(guān)注我們,發(fā)現(xiàn)更多精彩內(nèi)容) |
|