【放到4張Tesla P100！】開箱解構 Asus ESC4000 G3 四顯卡GPU server (ゝ∀･)b

asus server, deep learning, ESC4000 G3, ESC4000 G3S, gpu server, GTX1080, nvidia server, server, teslal P100

28 3 月 2017

現在流行的高效能運算 (High Performance Computing)、深度學習 (Deep Learning) 等都需要在伺服器使用多張顯示卡 / GPU。一兩張顯示卡通常用於高階 workstation，但如果server是用作以上用途的話，大多需要四張或以上 GPU。不過市面上能插多張顯示卡的 server 並不多，今天就為大家介紹 ASUS 的 4 x GPU server — ESC4000 G3。

ESC4000 G3 是台 2U server，應該是呀粗畢生寫過的產品中最大台的了，不會有其他產品比它更大台，而且很重，一個人不太推得動，所以我都是踢加推的慢慢把它移到工作枱。雖然箱子很大，但裡面的 server 不算太巨型，只是保護機件的發泡膠很大塊。

其實以 server 來說，2U 佔 rack 櫃的空間不多，不少 server 都是 2U，但它可以支援四張 dual-width GPU，包括 nvidia 的 Tesla, Grid, Quadro, GeForce GTX、AMD 的 FirePro 以及 Intel 的 Xeon Phi，而且全部都可支援四張，非常強大耶。有時候碰到 1U 的 server，因為體積太小，所以其實單放一張顯示卡，也要看看那 PCI-E 槽會否只 support low profile 搞到連一張正常的顯卡也放不下。

從表面來看，它有 8 個 Hot-swap 的 3.5” Hard disk bay，薄身的 DVD-RW，還有兩個 USB 2.0。如果仔細看的話，其實在 DVD 旁邊有塊隠藏了的膠片可以拉出來，稱為 Asset Tag，上有標明型號及 Serial Number，方便有問題要檢查或致電維修時，也容易找出 Server 的資料。還有空間可以給你寫其他資料，例如 ip address, log in 等… 不過在 label 寫上 ip address 然後貼在機身好像比較直接~

<< 把 2.5” SSD 放進 3.5” hdd tray 中

拆開 server 蓋，就看到 backplane 後有 7 把風扇，兩旁有很大位置是放顯示卡，左右兩邊各放 2 張 dual width GPU，然後中間就是 ASUS 的主機板。這款主機板的型號是 Z10PG-D16，Intel C612 chipset，市面上並不能單獨購買這塊板，但如果你想自行組裝 server 的話，也可以購買華碩的server 主機板的，自行組裝的 flexibility 很高，少了很多限制，但就不會有整機保養。其實有些 server 品牌的主機板是 OEM，不是自家廠做。華碩是做主機板起家，在如此重要的機件當然用自家主機板，更用上 12K 固態電容、降溫及特別散熱氣流設計，加強穏定性和耐用性。

<< 我拆了上面的蓋子…其實蓋子放在照片右下角哈哈

裡面有 2 個 LGA 2011-3 Socket，可插 2 顆 Intel Xeon E5-2600v4 系列 CPU，超高 145W TDP 的 E5-2699v4 也沒問題。如果按官網的 cpu support list，因為 socket 相通所以其實也支援單顆 E5-1600v4 的 CPU，不過通常都插兩顆 E5-2600v4。呀粗就試著放 2 顆 E5-2630v4 (2.2 GHz, 10 cores, 25MB cache)，第一次接觸的 cpu 就是這顆…單顆價錢也相當於半份月薪…怕得有點手震哈哈。

<< server 附有 2 個 cpu heatsink

Ram 方面有 16 條 DIMM，每顆 cpu 支援 8 DIMM 和 4-channel，最高支援 DDR4 2400 MHz 的 RDIMM (Reg Dimm) 和 LRDIMM (Load reduced DIMM)，單根 ram 最多是 64GB (64GB 要 LRDIMM 才可以)，所以 16 條就總共可有 1024 GB ram…一般見過的頂多插 512 GB 已很足夠的了。今次呀粗插 4 條 Samsung DDR4 2400 16GB RDIMM~ 插1 條, 2 條, 4 條, 8 條…都有不同的插法，如果是自己買 ram 的話，記得查看說明書應該插在哪個 ram 槽喔。

終於講到顯卡部份。ESC4000 G3 有 8 + 2 個 PCI-E slots，其中有 8 個是 PCI-E 3.0 x16 (4 個 x16 link 或 8 個 x8 link)，基本上所有商用顯示卡都是 x16 而且 dual width，所以選配 GPU server 時看清楚有多少個 PCI-E x16 和 PCI-E 槽在主機板上的排法位置是很重要的！當然還要看 GPU dimensions 和 power connectors，所以最好跟著 server 的 support list 就萬事放心咯。ESC4000 G3 的 AVL support list 也算更新得快，連市面上最頂級的 nvidia Tesla P100 的 GPU 也寫明支援 4 張，另外也支援受歡迎的卡如 Tesla P40, Tesla K40M, Quadro M4000, Asus Turbo-GTX1080-8G 等。如果你插 support list 以外的卡，要注意顯卡的長度不應超過 26 – 27 cm (通常 Asus 的 server 都大概支援這個長度)，以及闊度也不應超過 11 cm，不然就像我這張不在 list 內的 TURBO-GTX970 般，power connector 那個位置剛好被機箱頂住了。

<< 其中一邊的 GPU power connectors

<<這張顯卡最頂的power connector 剛好被機箱頂住了，所以切記要看 GPU support list。通常商用的 nvidia Quadro 卡的 power connector 會在側邊 (即上面顯卡「箭頭」位置)，那就不會頂到機箱。

把那兩個架拆出來給大家看，很清楚的每邊 4 條 PCI-E x16，整齊的每邊平放兩張。這樣放加上每邊都有把風扇吹著顯卡，其實它的散熱空氣對流設計也不錯。

插那麼多張顯示卡有甚麼用呢? 其實在高效運算中，GPU 可以比 CPU 快至少幾倍速度處理數 Petabyte 的資料，而且繪圖模型和影像處理都表現出色，所以 GPU 也是關鍵呢~

以下是multi GPU 的 server 應用：
– 人工智慧 (AI, Artificial Intelligence)
– 深度學習 (Deep Learning)
– 高效能計算 (High Performance Computing)
– VDI (Virtual Desktop Infrastructure)
– 科學及工程模擬 (Simulation)
– 多個視訊串流及媒體特效編輯
– 視覺化及繁重數據計算

噢不過要注意它並不支援 nvidia SLI 或 AMD CrossFire，因為這些都是遊戲方面的技術，在運算來說，四張顯卡獨立運作會更高效率。

放完四張顯示卡，中間其實還有空位可以放一張 low profile 的PCI-E x8 卡 (如 Asus Pike 3008/3008 Raid 卡) 和一張 Asus 自家 proprietary 卡如 10G SFP+ 網絡卡 (兩個 SFP+ 就是Asus PEB-10G/57840-2S)，proprietary PCI-E x8是較短的那條槽，ESC4000 G3 在插卡方面可說是一應俱全。

<< low profile x8 link (長度為 x16)

<< Asus proprietary slot，比low profile 更短，PCI-E x8 link

從後面看，ESC4000 G3 是兩個 redundant 1+1 的 1620W 80 Plus Platinum 白金級電源，這比一般的 server watt 數大得多，才可以供電給四張大顯示卡。不過如果你用高階 cpu 如兩顆 E5-2699v4 再配四張 300W 顯示卡的話，還是建議計算整台機器的用電要求，超過 1620W 就請選擇 2000W Redundant 版本~ (好像市面上只有 ESC4000 G3S 才有 2000W 的)