Silver Sky Studio Blog

The dream that I envisioned, I am still hoping to find

曉 龍之介

@曉 龍之介7 months ago

11/3
22:05
开箱测评(Out of box and Evaluation)

Supermicro 36盘位超级存储服务器 开箱测评

Supermicro SuperStorage Server(Uit ver)

咳咳。。大家好久不见。。。

这次搞到的是一台超微的超级存储服务器,总共36个盘位(前24+后12),单盘最大容量8TB,整机最大容量288TB;

1+1冗余电源,最大输出1200W

超微双路主板,支持Xeon 5500/5600系列CPU

#########################################################
知识共享许可协议
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
#########################################################

 

I. 外观(工业设计)

这台服务器是标准4U机架式,但是其内部构造为双2U,即两个2U服务器叠加在一起

↑ 从上图我们也可以看出下面12个盘位和上面12个盘位之间有一层钢板

↑ 主板和电源这一层是可以单独拆卸的,拧掉4个螺丝直接抽出来即可

(不好好理线的话会扯断的,上图的线是我重新理过的,刚拿到手没法看)

值得一提的是在前背板和后背板之间的空间还可以再塞至少4块硬盘,只不过在这里就只能再额外加一块了(图左下角的一个内部盘家)

当然如果DIY的话也是可以的

↑ 拧掉电源旁边的两个螺丝以及对面与其对应的4个螺丝即可抽出

↑ (讲道理一抽线扯掉了才是喜闻乐见的)

可以看到上面三个风扇下面三个风扇,分别负责下面12个硬盘,上面主板CPURAM阵列卡,和前面24个硬盘

↑ 可以注意到重启按钮是凹陷下去的,这并不是坏掉了,而是有意设计的

因为如果误碰到重启按钮主机则会立即重启,数据也会随之消失~

但是电源按钮碰到了并不会立即关机而是有序的关机,长按4秒后强行关机

↑  Sanyo Denki(三洋电机)制造的 San Ace 80,在服务器市场上很常见的产品。

四个固定位置使用了橡胶垫来隔绝振动。这里要表扬一下超微,用了这么些年还没有掉黑渣渣的橡胶垫,DELL那个还没有两年就掉黑渣渣被我直接换成螺丝固定了

// Fun fact: 对于超微这样的准系统制造商热衷于San Ace 80,而DELL则更喜欢使用San Ace 60。

型号9GV0812P1F031,额定电压12V(工作电压范围10.2V-13.8V),1.5A(最低0.12A);

最高转速8000RPM,最低2400RPM;

最大风量3.05立方米/分钟,最小0.92立方米/分钟;

最大静压力301.0 Pa,设计寿命在60度下工作40,000小时。

算不上什么暴力扇,但是6个压这台服务器是够了(实际工作中主板检测到的转速在8500RPM以上)

 

II. 电源模组(Power Supply Unit, PSU)

 

↑ “不就是电源吗,叫这么高大上干什么”

NoNoNo… 这可不是普通家用的电源amigo.

 

 

 

↑  1+1冗余电源,单个单元最大输出1200W,非LB (Load Balancing),所以最大输出不是2400W而是1200W(100-240V输出1000W,200-240V输出1200W)

EMACS… Emm……. Vim大法好!!!!!

之前见到过,但是没实际上手过,本来以为是哪个三线小作坊做的

实际上是尊贵的台厂Zippy Technology Corp.旗下的产品,EMACS

注意这只是个“电源笼”,并不是其本身,所以80PLUS认证的不是这玩意,认证的是供电单元↓

↑ 是的!没有80PLUS标签!我拿到手抽出来一看发现没有80PLUS就彻底死心了

其实一开始我问商家这是不是80PLUS电源的时候商家说不是,我就很失望,因为这种Heavy Duty的服务器如果没有80PLUS的话,电源转换效率得不到保障,电费爆炸预订

(现在什么电源还没个80PLUS。。)

可是我去查了一下供电单元的型号,发现其居然是80PLUS银牌(要知道很多第三方服务器电源能达到铜牌就不错了)

有趣的是,这个PSU只输出12V和5V,但是没有3.3V,实际上3.3V是在电源笼里面做的转换,然后再输出的。

这个设计你是在家用机上见不到的=。= 在服务器上很早就出现了,PSU只输出12V/3.3V或者12V/5V的

近年来DELL更加激进,PSU只输出12.2V/12Vsb,剩下的直接交给主板自己转换(详见DELL PowerEdge R730xd开箱测评

从前到后讲,可以看出EMACS设计的用心之处

↑ 很常见的PSU滑入锁定设计

↑ 一个螺丝,可以保持锁定或者开启的状态

可以防止误拔插,或者在调试的时候方便拔插

(我是不会说我之前当着人家的面拔电源线连着PSU一起拔出来了。。。)

↑ 这种接头在现在很少见了,大部分都是PCB直接伸出去一部分

都有好处和坏处

上图这种街头能够提供更大的面积,承受的电流更大,但是如果经常拔插可能会导致接口损坏(向上翘)

↑ 拿一张DELL PowerEdge R730xd的PSU来做比较,这种相比起EMACS来说就不容易损坏,上面的类似于PCI-E的小针脚还可提供PSU的状态信息(在DELL 11G服务器之后加入了越来越多Power Consumption的读数和调整选项 )

哦,对了,还有氧化了易于清理((((((

↑ 电源笼内部view

蜂鸣片是用来报警用的,当一个电源没插电或者损坏的时候就会响起

↑  这个电源的输出,一个标准ATX 24pin,两个ATX 8pin给主板供电,

一个电源状态的信号线接到主板上,

剩下两个接口算是模块化电源的雏形

图右边的两个接口就是可以自己定义的

↑  比如说这样,转换成4个D口(给后背板供电)

↑ 24pin的接口分出了9个D口两个SATA供电口(分别给前背板和内置硬盘供电)

 

III. 主板,CPU,内存,附属设备

↑  主板是一块Supermicro X8DTI-F

Intel® 5520 (Tylersburg) 芯片组,支持Intel® Xeon® processor 5600/5500 系列,最多两颗,QPI 最高 6.4 GT/s

内存最高支持到192GB DDR3 1333/ 1066/ 800MHz ECC 或者 48GB Unbuffered

↑  恩,富士康制造的Socket

这台服务器主要用作存储,所以使用了两块Intel Xeon L5630,低压U,用两个COOLER MASTER的双热管散热压着绰绰有余

内存使用了4条4G的ECC内存,总共16G,为ZFS存储提供足够的buffer

↑ 镁光的内存,一般一般

我是不会说总共4条内存有两条是坏的,开机ECC直接不给通过屏蔽掉了

论服务器内存和普通内存的区别。 普通家用的内存坏了,只要你系统跑着没事你就感觉不出来,系统足够耐操就能一直用着(参考FreeBSD),服务器内存开机检测到有问题直接给你屏蔽掉,如果没有设置Stop On Error的话就屏蔽掉继续开机

(咦?我的内存呢???)

↑ 供电不多说,在服务器市场里面素质平平

VITEC的电感,OptiMOS的MOSFET,松下的铝有机聚合物电容

↑  接口也是当年服务器标配的接口(PS/2接口除外,当时大部分厂商都已经舍弃掉了)

↑ 前面板控制线

根据超微对于这个接口(JF1)的定义,从上到下分别是(图中为从左到右)

NMI,空闲,电源LED,HDD LED,NIC1 LED,NIC2 LED,风扇失效LED,电源失效LED,重启按钮,电源按钮

↑  Intel ICH10R南桥芯片

↑  他的左上角写着X8DT3的小chip是主板的BIOS

↑  顺时针转,Winbond W83795ADG,是硬件监控用的,收集温度,电压,风扇转速等信息并反馈给BMC

↑  右上角那个吕块下面压的是Intel 5520北桥,继承上一代(LGA771/LGA775)北桥芯片的特性,超级烫,用了差不多4个南桥芯片那么大的散热片都压不住

↑ 右下角6个SATA2接口,当年intel南桥标配。。

↑  芯片正下方两个内部USB接口

↑  nuvoTon WPCM450RA0BX,这块主板的BMC(基板管理控制器,Baseboard management controller)芯片,是IPMI(智能平台管理接口,Intelligent Platform Management Interface)的重要组成部分

↑  内部集成了一个Matrox G200eW显示芯片

↑  最最最最左下角那个小螃蟹,REALTEK RTL8201N PHY,是给IPMI使用的,独立的网卡芯片

↑   一块海力士的存储芯片,1G DDR2 SDRAM,没搞清楚这块给谁用的???????查了一圈没找着

↑   在他的右边是一块 Spansion FL128P1F,128M的Flash

↑   在这里本应是一块LSI 1068E的阵列卡芯片,但是只在X8DT3主板上有

所以这里就空着啦~~

//我们自己焊一块吧(x

就算焊了也没什么用,1068E只支持到SAS(1),SATA2,虽然速度能保持在200MB/S左右,但是实际上还是没什么用=。=

手上就有这么一块,陪我过了不知道多少年,原先在主服务器上,现在退休了在防静电袋里

↑   一块Winbond 83627HG-AW,Super I/O芯片,管理COM接口,一个内部一个外部

↑   在他的左边是TPM接口,由北桥芯片直接管理

嘛。。。这俩都没什么用就是了(x

↑   Intel® 82576EB 双千兆以太网控制器

其实应该有个散热片压在上面的,不知道为啥没有。。。

也不知道为什么好像差点芯片就受损了。。。

(黑线)

讲到网卡来讲个事情,超微同时期还有个主板叫X8DTU-LN4F+

我们在LA有一台服务器就是用的这个主板和这个网卡芯片

只不过那个主板有点特殊,用了双芯片,结果就不知道哪根筋抽了,总是会Blocking traffic

查了一圈说是hardware offload的问题,一个很久之前的技术,在CPU还是奔三的时候就有了,为了减轻CPU压力才出现的技术,而现在CPU的运算能力比当初强多了,已经不需要hardware offload了,但是仍然有这个技术,还在使用。嘛,也不是一点用都没有

只是这个型号貌似有点小问题。。。。。。。。。会自己阻塞流量。。。。。。。

然后我们就在kernel messages里面看到一会堵塞一会好了一会堵塞一会好了。。。

然后现在那台服务器我们不要了。。。。。。

IV. 存储,背板,通道卡

这服务器上面贴的金山的固资标签,我并不知道之前这服务器怎么用的,但是给我发过来是块技嘉的GC-MSL Z2???????

只不过看战损成色也差不多是和他差不多时期的。。。

(金山的机房绝对是我见过最脏的。。。。。这服务器里面的灰都是黑色的渣)

说好了LSI SAS2008呢!

查了一下这个通道卡的芯片是LSI SAS2008。。。

SAS2,SATA3,默认最高带8块硬盘

让这货来带36块硬盘我有点虚,所以我打算后期做多通道卡冗余,正好背板也支持

↑  后背板

讲道理我就从来没加过加固背板的。。。

DELL, HPE, IBM都没有

↑  或许是一位内这台服务器的特殊之处,他是个“超级”存储服务器

36个硬盘如果共振谁受得了

↑  所以上图我们可以看到这样的小“锚点”这些小锚点和盘架上的两个带胶皮垫的孔咬合,

也就是说原本只有硬盘接口相接,现在不光是硬盘接口,还有盘架也和背板咬合,进一步减少震动

既保护了硬盘也减少了共振=。=

↑  4个D口电源接口,也就是一个D口带三个硬盘,一个蜂鸣片用来警告使用

↑  一块Macronix MX29LV320ETTI-70G,Flash Nor 记忆体,32M,用来存储SAS Expander的固件

↑  在他正下面散热片下面的就是SAS Expander,本来一根SFF-8087的线只能接4块硬盘,通过Exapnder能连接12块甚至24块硬盘。

↑  前背板的芯片和他的Flash

↑  无法拍摄到Expander芯片,因为如果要取下散热片基本上要连着芯片一起扯下来了((

↑  在他的下面还是那个Macronix MX29LV320ETTI-70G记忆体

↑  这台服务器并非纯粹的Supermicro SuperStorage服务器,从盘架即可看出,这个盘架是Uit(United Information Technology) 特有的,使用了内六角锁对硬盘进行一定程度上的安全保护,由于这台服务器无法选配前挡板或者后挡板

↑ 但是这样带来了一定的问题,比如说老化之后容易按下去不弹起,需要人工助力

↑  整个除了按钮是塑料的其他的都是铁的。

================================

好了,其实到这里整篇开箱测评就结束了。

对,没有性能测试,因为测试这样的老机器也没有任何(参考)价值,而且已经说明是除了硬盘全部走低功耗路线,也没有什么可以期待的性能爆炸

磁盘性能如果我自己测了感觉不错的话应该还是会分享出来,只不过也不抱什么期待就是了

================================

IV. 附录

Supermicro X8DTi-F:http://www.supermicro.com/products/motherboard/QPI/5500/X8DTi-F.cfm

Supermicro X8DTi-F Motherboard Manual:http://www.supermicro.com/manuals/motherboard/5500/MNL-1062.pdf

EMACS KIN-2C00V 80PLUS Report:https://plugloadsolutions.com/psu_reports/ZIPPY%20TECHNOLOGY%20CORP._KIN2C00V_SO-873_1200W_Report.pdf

Panasonic SEPC Series Aluminum Organic Polymer Capacitors:https://www.mouser.com/Panasonic/Passive-Components/Capacitors/Aluminum-Electrolytic-Capacitors/Aluminum-Organic-Polymer-Capacitors/SEPC-Series/_/N-bmaie?P=1yyeh3hZ1yzvjj0

Sanyo Denki San Ace 80:http://www.mouser.com/ds/2/471/San_Ace_80GV38_E-534096.pdf

Sanyo Denki 9GV0812P1F031:https://www.mouser.com/ProductDetail/Sanyo-Denki/9GV0812P1F031/?qs=sGAEpiMZZMt9MS9kROxCwxJGgTye%252bJ04KFd78iEa5cQ=

SK Hynix H5PS1G63EFR:https://www.skhynix.com/eolproducts.view.do?pronm=DDR2+SDRAM&srnm=H5PS1G63EFR&rk=03&rc=consumer

SK Hynix H5PS1G63EFR Consumer Manual:https://www.skhynix.com/product/filedata/fileDownload.do?seq=1938

S25FL128P 128-Mb 3.0 V Flash Memory – Cypress Semiconductor:http://www.cypress.com/file/196851/download

Macronix MX29LV320ETTI-70G:https://www.digikey.com/product-detail/en/macronix/MX29LV320ETTI-70G/1092-1101-ND/2744784

Macronix MX29LV320ETTI-70G Datasheet:http://www.macronix.com/Lists/Datasheet/Attachments/6096/MX29LV320E%20T-B,%203V,%2032Mb,%20v1.3.pdf

OptiMOS™3 Power-MOSFET (Search result):http://www.alldatasheet.com/view_datasheet.jsp?Searchword=020N03LS

VITEC 59PR9013 Datasheet:http://www.datasheets360.com/part/detail/59pr9013/8761569334581791582/?alternatePartManufacturerId=0

Nuvoton Technology Corporation of America Winbond W83627HG-AW:https://www.digikey.com/product-detail/en/nuvoton-technology-corporation-of-america/W83627HG-AW/W83627HG-AW-ND/1133309

Winbond W83795ADG:http://www.nuvoton.com/resource-files/Nuvoton_W83795G_W83795ADG_Datasheet_V1.43.pdf

 

================================

V.视觉图

Supermicro 36盘位超级存储服务器 开箱测评