28
三月
2017
1

【放到4張Tesla P100!】開箱解構 Asus ESC4000 G3 四顯卡GPU server (ゝ∀・)b

現在流行的高效能運算 (High Performance Computing)、深度學習 (Deep Learning) 等都需要在伺服器使用多張顯示卡 / GPU。一兩張顯示卡通常用於高階 workstation,但如果server是用作以上用途的話,大多需要四張或以上 GPU。不過市面上能插多張顯示卡的 server 並不多,今天就為大家介紹 ASUS 的 4 x GPU server — ESC4000 G3。

 

ESC4000 G3 是台 2U server,應該是呀粗畢生寫過的產品中最大台的了,不會有其他產品比它更大台,而且很重,一個人不太推得動,所以我都是踢加推的慢慢把它移到工作枱。雖然箱子很大,但裡面的 server 不算太巨型,只是保護機件的發泡膠很大塊。

其實以 server 來說,2U 佔 rack 櫃的空間不多,不少 server 都是 2U,但它可以支援四張 dual-width GPU,包括 nvidia 的 Tesla, Grid, Quadro, GeForce GTX、AMD 的 FirePro 以及 Intel 的 Xeon Phi,而且全部都可支援四張,非常強大耶。有時候碰到 1U 的 server,因為體積太小,所以其實單放一張顯示卡,也要看看那 PCI-E 槽會否只 support low profile 搞到連一張正常的顯卡也放不下。

從表面來看,它有 8 個 Hot-swap 的 3.5” Hard disk bay,薄身的 DVD-RW,還有兩個 USB 2.0。如果仔細看的話,其實在 DVD 旁邊有塊隠藏了的膠片可以拉出來,稱為 Asset Tag,上有標明型號及 Serial Number,方便有問題要檢查或致電維修時,也容易找出 Server 的資料。還有空間可以給你寫其他資料,例如 ip address, log in 等… 不過在 label 寫上 ip address 然後貼在機身好像比較直接~

<< 把 2.5” SSD 放進 3.5” hdd tray 中

 

拆開 server 蓋,就看到 backplane 後有 7 把風扇,兩旁有很大位置是放顯示卡,左右兩邊各放 2 張 dual width GPU,然後中間就是 ASUS 的主機板。這款主機板的型號是 Z10PG-D16,Intel C612 chipset,市面上並不能單獨購買這塊板,但如果你想自行組裝 server 的話,也可以購買華碩的server 主機板的,自行組裝的 flexibility 很高,少了很多限制,但就不會有整機保養。其實有些 server 品牌的主機板是 OEM,不是自家廠做。華碩是做主機板起家,在如此重要的機件當然用自家主機板,更用上 12K 固態電容、降溫及特別散熱氣流設計,加強穏定性和耐用性。

<< 我拆了上面的蓋子…其實蓋子放在照片右下角哈哈

 

裡面有 2  個 LGA 2011-3 Socket,可插 2 顆 Intel Xeon E5-2600v4 系列 CPU,超高 145W TDP 的 E5-2699v4 也沒問題。如果按官網的 cpu support list,因為 socket 相通所以其實也支援單顆 E5-1600v4 的 CPU,不過通常都插兩顆 E5-2600v4。呀粗就試著放 2 顆 E5-2630v4 (2.2 GHz, 10 cores, 25MB cache),第一次接觸的 cpu 就是這顆…單顆價錢也相當於半份月薪…怕得有點手震哈哈。

<< server 附有 2 個 cpu heatsink

 

Ram 方面有 16 條 DIMM,每顆 cpu 支援 8 DIMM 和 4-channel,最高支援 DDR4 2400 MHz 的 RDIMM (Reg Dimm) 和 LRDIMM (Load reduced DIMM),單根 ram 最多是 64GB (64GB 要 LRDIMM 才可以),所以 16 條就總共可有 1024 GB ram…一般見過的頂多插 512 GB 已很足夠的了。今次呀粗插 4 條 Samsung DDR4 2400 16GB RDIMM~ 插1 條, 2 條, 4 條, 8 條…都有不同的插法,如果是自己買 ram 的話,記得查看說明書應該插在哪個 ram 槽喔。

終於講到顯卡部份。ESC4000 G3 有 8 + 2 個 PCI-E slots,其中有 8 個是 PCI-E 3.0 x16 (4 個 x16 link 或 8 個 x8 link),基本上所有商用顯示卡都是 x16 而且 dual width,所以選配 GPU server 時看清楚有多少個 PCI-E x16 和 PCI-E 槽在主機板上的排法位置是很重要的!當然還要看 GPU dimensions 和 power connectors,所以最好跟著 server 的 support list 就萬事放心咯。ESC4000 G3 的 AVL support list 也算更新得快,連市面上最頂級的 nvidia Tesla P100 的 GPU 也寫明支援 4 張,另外也支援受歡迎的卡如 Tesla P40, Tesla K40M, Quadro M4000, Asus Turbo-GTX1080-8G 等。如果你插 support list 以外的卡,要注意顯卡的長度不應超過 26 – 27 cm (通常 Asus 的 server 都大概支援這個長度),以及闊度也不應超過 11 cm,不然就像我這張不在 list 內的 TURBO-GTX970 般,power connector 那個位置剛好被機箱頂住了。

<< 其中一邊的 GPU power connectors

<<這張顯卡最頂的power connector 剛好被機箱頂住了,所以切記要看 GPU support list。通常商用的 nvidia Quadro 卡的 power connector 會在側邊 (即上面顯卡「箭頭」位置),那就不會頂到機箱。

把那兩個架拆出來給大家看,很清楚的每邊 4 條 PCI-E x16,整齊的每邊平放兩張。這樣放加上每邊都有把風扇吹著顯卡,其實它的散熱空氣對流設計也不錯。

插那麼多張顯示卡有甚麼用呢? 其實在高效運算中,GPU 可以比 CPU 快至少幾倍速度處理數 Petabyte 的資料,而且繪圖模型和影像處理都表現出色,所以 GPU 也是關鍵呢~

以下是multi GPU 的 server 應用:
– 人工智慧 (AI, Artificial Intelligence)
– 深度學習 (Deep Learning)
– 高效能計算 (High Performance Computing)
– VDI (Virtual Desktop Infrastructure)
– 科學及工程模擬 (Simulation)
– 多個視訊串流及媒體特效編輯
– 視覺化及繁重數據計算

噢不過要注意它並不支援 nvidia SLI 或 AMD CrossFire,因為這些都是遊戲方面的技術,在運算來說,四張顯卡獨立運作會更高效率。

放完四張顯示卡,中間其實還有空位可以放一張 low profile 的PCI-E x8 卡 (如 Asus Pike 3008/3008 Raid 卡) 和一張 Asus 自家 proprietary 卡如 10G SFP+ 網絡卡 (兩個 SFP+ 就是Asus PEB-10G/57840-2S),proprietary PCI-E x8是較短的那條槽,ESC4000 G3 在插卡方面可說是一應俱全。

<< low profile x8 link (長度為 x16)

<< Asus proprietary slot,比low profile 更短,PCI-E x8 link

從後面看,ESC4000 G3 是兩個 redundant 1+1 的 1620W 80 Plus Platinum 白金級電源,這比一般的 server watt 數大得多,才可以供電給四張大顯示卡。不過如果你用高階 cpu 如兩顆 E5-2699v4 再配四張 300W 顯示卡的話,還是建議計算整台機器的用電要求,超過 1620W 就請選擇 2000W Redundant 版本~ (好像市面上只有 ESC4000 G3S 才有 2000W 的)

<< 其實這個火牛挺重的…不愧為 1620W 重量級

ESC4000 G3S 是 ESC4000 G3 的 2.5” hard disk bay 版本~ (共 6 個 bay…) 其他跟 G3 是完全一樣的~ 全部插 SAS hdd 和 SSD 的可選 G3S,有些是 SATA 3.5” HDD 的話就G3~

還有 3-5 年上門保養喔~

總結 ASUS ESC4000 G3 是少數可以搭載 4 張顯示卡的 2U server,功能齊全還能再搭兩張 add-on 卡,適合大型運算或研究院使用喔。

 

Facebook 功能:

You may also like

【開箱】陪伴您長時間工作不當機 可插多款顯卡的 Asus ESC500 G4 workstation (*´∀`)~♥