万兆家庭网络改造：由TP全家桶至mikrotik CCR2004 方案分享

本文曾在 chiphell、 chiphell微信公众号、v2ex 、酷安发表，此为后续微调版本，如有不同以本文为准

去年3月决定新家的网络环境做规划选择了tplink ER2260T作为主路由。参照（https://www.chiphell.com/thread-2532730-1-1.html）

原计划组网篇去年就发，但因为2260T自身问题无奈雪藏至今。

tplink ER2260T为tplink商用产品线。刚到手的测试还行，随着时间推移，去年年底到今年年后这大半年间问题不断。如果经常看帖子也能看到有部分贴或者楼中楼也有反映到。**接下来部分内容会引起某些人不适**

【叠甲】反映的问题只代表个例，只代表我手中tplink er2260t这一款产品的使用体验，我从未联系tplink支持获得所谓“内部固件”来解决问题，从上线到下线整个大半年期间er2260t只接收官方ota更新。

以我大半年的使用体验来说，tplink er2260t作为「企业级」路由器是不合格的，以「消费级」产品来评价2260t也同样不合格。罗列几条问题：

1、网络进行重拨号之后LAN掉线，解决只能用手机上的tplink商云app强制重启er2260t。这个问题是去年底的最新版本才开始明显被观察到，到我的2260t下线也没有推送新固件。

2、网络的间歇性断开一直存在，每个固件版本都有观察到，去年秋天的版本稍微稳定了一点，这符合大多数网工对tplink的刻板印象（）

3、单一设备跑大连接请求场景下（比方PT刷流）其他设备网络几乎瘫痪，反映到实际就是打开个网页都要等大几秒或者是直接没网，手机直接回退数据网络。对于我本人来说是难以接受的。

4、自带的多宽带流量均衡很简陋，1.0固件就给一个开关，1.1固件多给一个很简陋的优先级选项；单用户多线程没法利用双宽，而且流量均衡疑似会影响网络稳定性。

5、nat端口映射随时爆炸。该问题只有1.1+固件存在。1.0固件升级1.1固件后所有端口映射都失效。且一段时间后端口映射就会爆炸，重新配置后只能不断重启来让几十条规则能生效，或者一条条删掉重新手动创建端口映射，现在机器里还有启用的但莫名不生效的十几条端口映射规则；

6、自带的ddns解析不是很稳定，并发测试全国只有约2/3的省份可以ping通

我真正意识到问题是今年3月帕鲁火的时候在lab上开了个vm给客户进行测试，客户跑了一周探针测出来er2260t这套网络的sla在线率只有90%，因为这件事情当时也闹的很不愉快，该事件加速推动了替换掉tplink全家桶。

在深受tplink设备困扰期间本人也在不断寻找替代品，最终看上了mikrotik的ccr2004；同时在看ubnt 的UDM SE设备在硬件层面接近，但udm se的2.5g网口有稳定性问题，能搜到负面反馈。

MikroTik CCR2004 有至少三个版本：标准版25G速率MikroTik CCR2004-1G-12S+2XS、10g速率CCR2004-16G-2S+（分主动被动散热两款)和一个使用 PCIe 插槽取电且25g速率的CCR2004-1G-2XS-PCIe，该款类似于 Nvidia bluefield DPU 的设计思路。在产品形态也很接近DPU ；

并且CCR2004-1G-2XS-PCIe 具有双口25gbps的spf28端口以及一个1gbps 的rj45端口，如果只有两条宽带的话刚好够用，

回收本帖标题：万兆指主路由的硬件端口最大速率，所以本次升级实际上是10G → 25G

拆机可以看到ccr2004-pcie采用了板载ecc内存，容量4GB，核心是亚马逊aws同款的alc52400，四核a57。虽然形态上类似pcie网卡，但其是一台完整的路由器，除了没有千兆交换芯片和其他ccr2004无异。到手即插即用路由界扛把子routerOS且正版L6授权。

需注意CCR2004-1G-2XS-PCIe对宿主有要求，仅支持5.15内核以上的Linux，也就是说，CCR2004-1G-2XS-PCIe不支持Windows以及esxi系统。但严格意义来说，该卡仅需要pcie供电，宿主和其完全脱钩也是能正常运行的。也可以将其插到pcie底座上，只供电这玩意也可以跑。

关于CCR2004-1G-2XS-PCIe的合适宿主。在去年确组网方案时还考虑过一款体积小巧的 1L 小主机：戴尔wyse 5070。

购入时考虑是配置为软路由旁路模式配合2260t使用。ccr2004以独立形式运行ros系统保证系统的稳健性，wyse5070本体使用pve虚拟化平台切出不同的kvm虚拟机以及docker、lxc等形式运行自定义化的服务。网络出口和服务层解耦，可以稳定和扩展——达到：既要、也要

关于wyse5070，这货原本是长这样的，原本定位是一个云服务的瘦客户机。

换用由@[AlphaArea_](https://space.bilibili.com/1292029)开源的diy方案后体积可以压缩很多，且保留扩展性，开源项目地址：[github.com/KCORES/KCORES-5070](http://github.com/KCORES/KCORES-5070) ，包含亚克力外壳，和riser的pcb设计，铜柱尺寸M3x14mm四枚M3x6mm四枚，在这里感谢原作者的贡献。

原作者也设计了一个铝铣的被动散热，如果进弱电箱建议用原装主动散热。唯一缺点就是不能使用原装19v电源，只能使用12vdc电源，使用第三方供电会导致wyse5070的cpu被禁止睿频，降低性能。

wyse5070很挑内存，我这里两条8g 2r*8内存能进bios但是开不了机，拔掉一条就可以正常使用

wyse5070本身的扩展性在同级里也较好，标准的pcie2.0*4外加pcie2.0*1的m2wifi，存储上支持emmc芯片或ngff（m2sata）硬盘一块。

改造前后的网络拓扑图：

原方案是使用2260t主路由兼作ac，管理xap3022，xap4500，xap6300三个2.5g端口的86面板ap。2260t先使用sfp+光口连接到万兆poe交换机，再接入若干ap。

关于ap的选择。2.5g上联端口ap现在可选项很少，除tplink外只有顶级旗舰产品才会配备。价差2.5g较g口可达2-3倍，所以暂且不替换掉tplink的ap。

可以看到拓扑图中，改造后是MikroTik CCR2004使用sfp+光口连接到万兆poe交换机，再接入tplink ac100控制器和tplink ap。poe交换机到homelab的交换机是2.5g电口的链路，后续视情况有留空间可以随时升级10g。

在三个月实际使用中，没有遇到任何ap掉线或者不稳定的问题。

一个隐藏优势，MikroTik CCR2004 PCIe的涡轮扇可以给自带sfp28光口提供有效的风道，如果你使用猫棒来拨号，散热能力ccr2004pcie比被动散热的光口管理交换机好不少。我这里使用g7615 v2光猫，就不需要折腾猫棒了。

实测web浏览加载速度快且稳定，体感能察觉比tplink更快。推测和ros内置dns缓存有关。

实测双宽带。routeros使用内置pcc负载均衡对比tplink ”企业级“负载均衡很明显的优势就是测速软件可叠加，可以跑出很漂亮的1+1=2的测速成绩，不过tplink负载均衡可以把每条宽带ipv4和ipv6同时拉满，pt可以30兆上行跑出60兆的效果。ros就不行了，是负载均衡策略的取向不同。

速度 or 稳定，必选 → 稳定

再快意义不大，因为瓶颈在wifi数据链路上，wifi6（160mhz 2*2mu-mimo）实用带宽是1800mbps（有干扰会跌到不足1600mbps），现在的状态就是几乎跑满无线带宽。

所以家宽现在如果有「跑满强迫症」，只推荐1500m套餐或者开1000兆和500兆两条宽带。或者拿全尺寸ccr2004拨三条500兆宽带也挺好，只要有足够多的入户纤

之前的大连接场景问题也特意实测，pt 刷流20万包每秒拉满1000mbps下100mbps上的同时进行网页、app浏览测试。没有任何问题，和空载加载速度完全一致。

1300兆拉满cpu负载45～50%，ccr2004 pppoe拨号没有硬件加速全靠cpu硬刚，也不具备任何的L3卸载功能。极限就只适用2000兆宽带了。假设您是高贵的万兆宽带用户或者ptn专线，推荐你购买mikrotik的ccr2216系列旗舰路由，内置16*a72核心，可以暴力拉满万兆pppoe，且有L3硬件卸载。或使用「正品」DPU刷固件安装ros也不错。

关于温度。在密闭的弱电箱里：j5005处理器温度49.C，ccr2004路由器核心温度58.C,风扇转速3000转左右，万兆光转电模块温度51.C。

声音关上盖板后近乎为零。