我的NAS历史
最开始我选择的是一块4650G,配合ECC内存。但是过了几个月我发现,这个平台频繁报ECC错误,问了问AI,说可能整体稳定性有问题,建议换平台。
然后我选择了超微的X10SDV主板。这个主板相当强悍,D1581 CPU,16核心32线程,支持REG ECC。用了两天直接开始反复重启。可能是我拆装散热器的原因,也可能是滴了点水上去,总之,这是一块有七八年历史的板子,我不敢用了。
这时我已经连续几个星期没有NAS可用,加上此前连续几个月没有台式机可用的痛苦经历,那几天差点把我折腾疯了。我觉得不能再这么捡垃圾凑合下去了。系统稳定性是一门玄学,NAS本质上是一台服务器,服务器就该有服务器的可靠性。网上看到R730XD才3000多,遂购入。
这台R730XD的配置
| CPU | E5-2683V4*2 |
| 内存 | DDR4 2133MHz 4R*4 REG ECC 32G 2条共64G |
| 系统盘 | 2个480G SSD |
| HBA卡 | Dell HBA330 |
| 电源 | 2个750W冗余 |
这一套下来3800,可以说非常划算了。
坑
服务器到货以后,发现了一系列坑点。
内存
还记得我之前的X10SDV吗?这个主板支持REG ECC,但是我买的内存是2Rx4的RDIMM,而卖家配的是4Rx4的LRDIMM,导致内存无法兼容。然后我和卖家协商换2Rx4,卖家同意,结果我把我自己的内存插上去,发现卡死在Configuring Memory不动了。不知道触发了什么诡异的兼容性问题。没办法,卖掉了自己的内存,买了2条32G REG ECC,配合原有2*32G组128G。
iDRAC
最开始iDRAC死活连不上,一直不知道为啥。DHCP无法获取IP,手动设置IP也访问不了,路由器后台没有这个设备。查了半天发现卖家设置了iDRAC网口的VLAN。将其清除,遂解决。
磁盘
先说下我计划的架构。2个SSD做RAID-1作为系统盘。你问为啥系统盘要RAID1?因为我对可靠性的执念。系统盘装PVE。8个6T的二手SAS HDD做数据盘,直通给飞牛虚拟机。听起来很不错对吧?然后问题来了。我把2个SAS SSD插到主板上的板载SAS接口,发现这俩货死活识别不了。不知道为啥。
经过一系列复杂的排查,以及询问伟大的Kimi sama,最后发现,机箱内部的那一堆接口必须通过背板才能给后置硬盘供电。期间我尝试过的方案包括:
- 用小8pin从主板取电
- 用小4pin从主板取电
- 用HBA卡弄数据
- 用板载SAS接数据
均宣告失败。好在卖家人比较好,送了我一个后置背板。这下总算能直通HBA卡了。
此外还有前置10和11号接口无法使用的问题,没耗费我太长时间,暂且不说。
这里还有个坑:一定不能用电动螺丝刀拆装机械硬盘!!!电动螺丝刀到底以后还会打滑几十下,对机械硬盘是致命的。我因此损失两块硬盘。好在是dRAID3,暂时安全。
风扇和噪音
跑起来以后,我按照网上的教程,把风扇速度控制在15%。然后出事了。
最开始是SMB频繁挂载失败,然后各种办法都挂载不上。查Wiki说是要启用SMB v1协议,但我NAS和客户端都用的不是v1;问了Arch群万能的群友,说是被防火墙拦截了,可我根本就没有防火墙。就在我快要疯了的时候,想起来了风扇的问题。进iDRAC一查,好家伙,CPU温度102度。把风扇速度控制解除,遂解决。
功耗
400W。限制的太低影响性能。没办法了。
最终架构
首先底层是PVE,安装在2个480G SSD组成的ZFS Mirror上。然后前置8个硬盘直通给飞牛NAS,后置的2个SSD(就是PVE系统盘)用来装其他虚拟机,目前装了个数据库,以后还可能跑别的。
