amd服务器（英特尔与AMD的x86服务器战争编年史）

不久前，英特尔正式发布了其第三代至强可扩展处理器（Xeon-SP）平台Ice Lake-SP（ICX）处理器，同时对外宣布，自从2017年推出第一款Xeon-SP 以来，英特尔向全球客户交货了超过5000万颗Xeon-SP处理器。从2013年开始，云端服务业者总计部署超过10 亿个Xeon 核心，超过800 家云端服务供应商导入了Xeon 处理器。诞生于1998 年6 月29 日的Xeon，是英特尔第一个货真价实的服务器产品品牌，历经超过20年的光阴，更早已成为x86 指令集相容处理器，站稳服务器市场的龙头地位。不过，作为英特尔的老对手，AMD在2003年到2017年间，也有针对服务器市场的产品Opteron，更曾在2003~2007 年这段期间，在服务器市场斩获颇丰，象征AMD在服务器市场最辉煌的黄金岁月。如同在GPU 战场，对英特尔和AMD最重要的议题，在于能否重返高效能运算和人工智能应用，并摆脱软件生态系统远不如nVidia CUDA的困境。在CPU领域，英特尔和AMD真正的决战焦点，绝非PC市场，而是可带来更高获利的服务器及数据中心市场，而英特尔这市场曾经拥有超过90%的占有率。但很不幸的，英特尔却在今年第一季财报，上演英特尔财报出现“服务器毛利率低于个人电脑”的奇观（这应该是1998年Xeon品牌诞生以来首次）。对比之下，AMD则靠在服务器市场出色的战果，交出了年营收同比增长93%的漂亮财报。背后代表的意义，不言可喻。接下来，我们就从服务器市场，重新审视英特尔和AMD那将近30年的服务器市场开拓史，并留给各位认真思考“”x86双雄的未来”。经过超过25年的努力，英特尔和AMD携手建立x86指令集兼容的处理器，在今日数据中心与服务器器的主宰地位。昔日难登大雅之堂、只能屈居个人电脑的“吴下阿蒙”，突破众多“RISC诸神”（MIPS、SPARC、PA-RISC、Power、Alpha）建立的马奇诺防线，并让“RISC诸神的黄昏”成为众多“计算机组机结构正统教义派”和“RISC十字军”不愿面对的现实。踏入时间轴之前，笔者先分别以“技术”、“商业”和“政治”的角度，剖析为何x86 走到这一步，然后未来又将面对哪些挑战。第一个大议题：从“技术”的角度来看，x86 是怎么一步一步取得服务器市场的主导地位的？x86 处理器在伺服器市场最重要的一天？1995 年11 月1 日，英特尔发表P6 微架构的Pentium Pro，这是英特尔公司史上最重要的芯片，没有之一。1990 年开始萌芽的当代高效能处理器微架构，有所谓的“4S指标”：超纯量（Superscalar）、超管线（Superpipeline）、多处理器延展性（Scalability）、系统管理能力（System Management） 。Pentium Pro 是当时x86 处理器唯一兼顾4S 者，同期Cyrix 与AMD 均难以望其项背，且Pentium Pro 的整数运算效能，足以跟同期高阶RISC处理器分庭抗礼。至于浮点运算全面超车RISC阵营，是SSE2指令集诞生后的事了。Pentium Pro 到底厉害在哪？结合高效率的系统总线、改良后的内建式可程式化中断控制器（APIC）、丝毫不会浪费系统总线频宽的独立二级高速缓存，与处理器核心具备非顺序的存取能力，Pentium Pro 替x86 敲开服务器天堂的大门，让英特尔过了快7 年的好日子，直到被宿敌AMD 用名为K8 的大榔头（Hammer）狠狠敲醒为止。哪一天x86 处理器奠定在服务器市场的坚实地位？1998 年6 月29 日英特尔推出的Xeon 品牌，从此成为x86 服务器的象征，以及英特尔最重要的现金母牛（Cash Cow）。依据英特尔的既定战略，服务器的大旗应由Itanium 一肩扛起，那为何失败？因为英特尔一连串策略失误，加上缺乏对高端服务器市场的正确预判，让“64 位元真命天子”IA-64 指令集和Itanium 处理器，不得不消失在历史的洪流，也结束了英特尔企图消灭80×86 的野心。现在看来这伟大的“历史使命”，似乎落在ARM 阵营的肩上？AMD 又是如何踏入服务器市场？2002 年4 月24 日，AMD针对服务器市场发布了Opteron 品牌，刚刚好，微软也在同一天宣布即将推出x86-64 版Windows 操作系统。骨灰级电脑玩家一定记得2001 年6 月5 日的Athlon MP，但源自Alpha 的EV6 系统总线，大幅提高做多处理器平台的门槛，基本上可谓无疾而终，很快就被Opteron 取代。AMD的Opteron有何过人之处？AMD K8 微架构从内到外的每个环节，几乎比照高阶RISC处理器设计，如果把K7 看成“x86世界的Alpha 21264”，那K8就是“穷人版的Alpha 21364”。AMD K8 微架构的Hyper-Transport 系统总线、处理器整合内存控制器、更先进的MOSEI 快取资料一致性协定、强大的RAS（可靠性、可用性、可服务性）、与诸多节能特色等优势，为x86服务器带来前所未有的多处理器及多核心延展能力，毋须价高量少的特殊服务器芯片组，任何一家服务器厂商都可轻松打造“”四颗甚至八颗处理器的x86服务器”。AMD K8 带领x86 进入64 位元的世界，彻底摧毁了中低阶RISC / Unix 服务器仅存的脆弱保护伞。K8成功大幅提升了AMD的市场影响力，让AMD在高效能x86 处理器技术领域，拥有足以和英特尔平起平坐的地位。Xeon 与Opteron 两大品牌双日争辉、兄弟登山各自努力，扩大x86 在服务器市场的版图。那为何“RISC诸神”很快又一蹶不振，只剩下IBM Power 硕果仅存？因为它叫“IBM”。第二个大议题：就商业和政治角度，“x86 Everywhere”是怎么产生的？天底下任何产品演进和市场发展，都是“技术”、“商业”与“政治”彼此交错影响的结果。x86 指令集相容处理器能够“淘汰”RISC 诸神，相较冷冰冰的技术，商业和政治因素更举足轻重。1990 年代末期，x86 处理器逐步支配服务器市场的关键性因素：Windows NT。Linux（笔者私心想加上FreeBSD）。出货量持续激增的个人电脑市场。个人电脑市场跟服务器又有什么关系？1998年全球出货量突破“1亿”大关的个人电脑市场，成为英特尔和AMD长期维系半导体业界最先进制程与最庞大研发团队的基本盘，不仅对“RISC诸神”拥有压倒性成本优势，利用更多的晶体管数量，充分弥补 x86指令集的众多先天缺陷（Pentium比PowerPC 601多30%晶体管，只为了维持x86指令集相容性），更分摊天文数字般的产品研发开销。RISC 指令集应该更容易打造能效更高的处理器，但到头来在服务器市场并不是这么回事？这跟x86处理器在1990年代末期延伸到笔记本电脑，有根深蒂固的关联，尤其当英特尔为了Centrino量身订做Pentium M处理器，奠定“追求高能耗比”的长期发展方向后，服务器产品线也雨露均沾。2006年Merom微架构一统服务器、桌面PC和笔记本，更让Xeon产品线“强迫中奖”，让IBM Power和Oracle / Sun的SPARC相较之下，根本毫无优势。这些年来，假如各位也有关心那票前仆后继、有一阵没一阵的“ARM服务器”，也势必会注意到，那些规格看起来很暴力的ARM处理器，怎么好像也没省电到那去？其实当处理器微架构的复杂度抵达“某条看不见的临界点”，“相对复杂又毫无道理可寻的”x86指令集带来的额外“赋税”也就不会那么明显了。IBM 不是一直想推动Power Everywhere，为何难以成功？因为IBM 自己也在做服务器，会有“既当裁判又当球员”的疑虑，这就是非常显而易见的政治因素。谁能动摇x86 处理器在近代数据中心的主导地位？唯有这票大型云端服务业者通通采用自研的自家专用的“非x86”（不见得是ARM，如Google 的TPU）处理器，否则将难以动摇x86 的地位。况且先进制程晶圆代工厂的产能，也是处于供不应求的紧绷状态，贸然放弃拥有大量自有产能的英特尔处理器，风险不能说不小。看看AMD 的缺货窘境就知道了，产品再好，出不了货也只是白费力气。至于一般商用服务器市场，也是要等到ARM 在企业服务器应用的生态系统，成熟到连一般的MIS 都愿意采用，这之前讲再多都多余。无论英特尔还是AMD，近代主流x86微架构都是“服务器、桌面PC、笔记本电脑”共用，那眼前的Xeon-SP 和EPYC，难道真是“100%服务器最佳化”设计吗？这就是x86 指令集的原罪：超级长的产品开发及验证周期，强迫拥有巨大研发能量的英特尔和AMD，也只能将资源聚焦在极为少数的专案，也难以迅速应对新兴的应用需求，这就是ARM 等IP 授权商、EDA 工具软体和专业晶圆代工，会主导消费性产品芯片的主因。这才是ARM 阵营在服务器领域的最佳切入点，但偏偏也只有“实际的使用者”才知道需要的产品规格究竟是什么，而他们却都有自己开发芯片的本钱。最后，ARM 能在服务器市场引发迅速的“典范转移”吗？坦白讲，怎么想都非常的困难，除非革命性的应用，像软件定义网路、网络功能虚拟化和25G＋以太网络，让从1G迈向10G花了整整十年以太网络，只花不到3年就跑出一众Smart NIC，让整体数据中心应用架构出现颠覆性演化，要不然都是难如登天。也许大家可以多多关切 Nvidia企图发动的革命，以及云端巨头又有哪些风吹草动。更何况英特尔和AMD 又不会躺着等死，一切都还还有得瞧。当然，AMD 自己带头做ARM 版EPYC 的话，那又是另一条截然不同的世界线了。现在就让我们想像搭上时光机，回到世人对x86 的刻板印象，难以与“服务器”划上等号的古老年代。1995~1998 年：英特尔发动的酝酿期个人电脑普及化，带来更惨烈的价格竞争，1990 年代后期的英特尔和AMD 为了维持获利，投入服务器市场，实乃不得不为之 。在1994 年第一季，主频100MHz 的Pentium 可卖到“995 美元”（今天都足以组出一台顶配的台式机），只过个半年就要打7折了。个人电脑出货量抵达1亿台历史新高的1998年，“600美元个人电脑”蔚为风潮，引爆低阶处理器的价格战争，导致英特尔的Celeron和 AMD的K6-2 大打出手，还“顺便”打垮一票x86处理器小厂（Cyrix、Centaur、Rise），入门级CPU的平均售价（ASP），更是下探到100美元。Xeon 并非英特尔首次进军伺服器市场，第二代Pentium（P54C）内建支援双处理器组态的先进可程式化中断控制器（APIC），和Pentium Pro（P6）带来革命性处理器微架构与崭新系统平台，都是以功败垂成黯然收场的尝试。好吧，200MHz Pentium Pro“胆敢”开价1,989 美元，也算很了不起的丰功伟业了。反观那票从1980 年代末期开始，已经盘据伺服器市场已久的“RISC 诸神”，早就享受丰厚利润，以Sun 的UltraSPARC 为例，1998 年第二季，也是个人电脑市场的削价战杀声震天之际，360MHz 的UltraSPARC II模组，要价高达3,961 美元。我们也知道，今天即使同样晶粒，封装印着不同品牌，价格就天差地远。AMD 还曾为了解释单处理器的Opteron 100 系列和桌面PC的Athlon 64 究竟有何不同，特别制作说明用简报，大意就是Opteron 用的晶粒品质比较好、验证项目比较多、微码（Microcode）修补bug 重点不同之类的。这也是为何这些年来，连发迹于消费性电子产品的RISC指令集，像目前最普及的ARM，阵营也积极开拓服务器市场。x86处理器世界快没存在感的VIA也沉潜多年，推出目标5G边缘伺服器（MEC）的 CHA系统单晶片。充满神秘俄系血统的俄罗斯Elbrus，更在多处理器服务器领域耕耘已久，只为了让CPU不受制于“邪恶的美国帝国主义者”。对技术有深度认知的读者，或多或少也了解，服务器用的CPU 不仅需要更好效能、出色的多处理器扩充性与效能延展性、更完备的高可靠性、滴水不漏的可用性，并搭配强大的系统晶片组和更高容量的系统内存。但商业因素却远比技术门槛更严峻：英特尔和AMD 要如何说服企业客户，一家长期研制100 美元桌面型PC芯片等便宜货的厂商，有能力卖3,500 美元等级的服务器芯片，所以就像另外成立「豪华车专属品牌」的汽车厂商，英特尔必须创造Xeon 以区隔市场。英特尔的老对手AMD，于相容Alpha EV6 总线的Athlon MP 企图抢滩服务器市场失败之后，2002 年4 月24 日也借Opteron 之名，踏上一条殊途同归的荆棘之路。1998~2001 年：Xeon 诞生的开创期英特尔首要之务莫过于推出“一看就知道是服务器专用”的产品，巨大Slot-2“弹夹”就为此而生。但英特尔并非只为了让Xeon看起来比较专业，才搞出这样的巨大塑胶盒，更为了应对更高容量的同核心频率的高速二级缓存，原先242只针脚的Slot-1无法满足供电需求，Slot-2扩展为330只，趁机塞入系统管理总线（SMBus），并将原生的多处理器支援性，恢复到Pentium Pro的4颗（Pentium II仅2颗）。此外，为确保四处理器时，系统总线可跑到100MHz，在英特尔拥有专利的GTL+之外，进一步引进AGTL+信号，在Pentium III世代再提升到133MHz。“扩大内存容量”和“高速缓存的定址范围”也是另一场重头戏。为了突破32位元的4GB限制，除了Pentium Pro问世的PAE-36模式，Pentium II世代Xeon 追加“效能较低，但比较不需要修改软件系统”的PSE-36。Pentium II世代Xeon的L2缓存可涵盖到整个64GB可定址内存范围，不像早期的Pentium II有512MB或4GB限制。提高数据可靠度的ECC纠错，更是必备的制式武装。如同低价电脑Celeron，Pentiun III时代后期的Xeon，随着制程技术的进步，逐步将外高速缓存塞回CPU本体。2001年3月21日登场的Xeon 900A，内建多达2MB的L2高速缓存，开启英特尔高容量高速缓存之先例。也难怪日后英特尔常被取笑：这家公司最大的业务不是CPU，而是制造高速缓存。2001~2004年：Xeon的扩张期与AMD Opteron即将带来的风暴英特尔2001年之后的Xeon产品线命名，完全拿掉Pentium字样，借此彻底摆脱个人电脑形象，也在这段32位元NetBurst微架构期间，确立了Xeon DP（双处理器）和Xeon MP（四处理器）分立的局面，也结束了Pentium II / Pentium III时期，桌面处理器可以同时插两颗的美好年代。要支援多处理器，请乖乖掏钱购买更贵的Xeon。因服务器产品追求更高的可靠性和稳定性，导致验证时期较长，Xeon MP通常推出时程较晚，且主频也较低，也有更大容量的高速缓存。相较之下，Xeon DP比较像桌面处理器换成另一种封装产物。从NetBurst开始出现的xAPIC，将APIC的3位元专属总线，直接融入系统总线的通讯协定，避免APIC运作时影响记忆体存取效能，并将处理器核心上限激增到255个。如同初代180nm制程Pentium 4被批评空有高主频，但部分效能不如前代Pentium III甚至AMD Athlon MP，初期的Xeon DP也被指责整体效能不及拥有2MB L2高速缓存的末代Pentium III Xeon，这问题到了130nm制程世代，主频大幅提升后，才渐渐消失。此外，一般资深电脑玩家对英特尔的HyperThreading的初次登场，印象多半是2002年11月之后的130nm制程Pentium 4，但其实早在当年2月的130nm制程Xeon DP就问世了。对于多人多工作业的服务器来说，可改善整体输出率的同时多执行绪（SMT）技术，确实是天作之合。更重要的是，英特尔以实际行动证实180nm制程的NetBurst核心，已经内建HyperThreading的谣传，2003年3月的Xeon MP就支持这“一颗当两颗用”的神秘功能。至今英特尔尚未透露为何初代Pentium 4要这样留一手，主因可能是个人电脑操作系统的多处理器支持性。面对来势汹汹的AMD K8，英特尔在2003年9月，抢在Athlon 64和Athlon 64 FX前一周，发布将Xeon专用核心“下放”到桌面PC的Pentium 4 Extreme Edition，但仍然难以挽回颓势，也让2004年2月的90nm制程Pentium 4 Prescott产品定位，显得更尴尬。Xeon MP一次连接四颗CPU的SMP系统总线，以及共用的内存控制器，成为明显的效能瓶颈，也突显AMD K8内建内存控制器与HyperTransport总线的绝大优势。在2003年4月22日，AMD Opteron的降临，让英特尔做了好几年恶梦，也让英特尔的处理器产品Roadmap，陷入了前所未见的极大混乱。2003年：开启AMD全盛期的Opteron英特尔跟HP合作的IA-64指令集与Itanium处理器，策略失当与出师不利，送给了AMD伺机杀入服务器市场的大好机会。相较于英特尔，AMD Opteron不仅享有压倒性的技术优势，其产品编号也极度的清晰易懂，可以想见“有备而来”的程度。1开头：单处理器2开头：双处理器8开头：多处理器（四颗或八颗）迈进DDR2内存后，编码变成x200，以此类推，2即代表“第二世代”。加上当时正是x86服务器也需要直接定址超过4GB主内存的心理关键时刻，让AMD发布于1999年的x86-64指令集，因具备x86回溯相容性兼具倍增的缓存，变成很具吸引力的64位元方案。2002年4月24日，AMD公布Opteron品牌，同一天微软也“很巧合”宣布将发行x86-64版Windows，让英特尔钦定的“64位元真命天子”Itanium处理器的未来，蒙上不祥的阴霾。同时AMD其他K8产品线品牌的发表日期，这也代表着64位元x86指令集，逐步推广到其他应用领域的里程碑。Athlon 64（桌面PC）：2002年11月19日。Sempron（低价产品）：2004年6月7日。BBS连线硬体版戏称为“散步龙”，和英特尔的“洗地龙”（Celeron）相互辉映，唯一的共同点就是“散步”和“洗地”都象征“跑不快”。Turion 64（笔记本电脑）：2005年1月10日，笔者还依稀记得HP还是带头冲第一的笔记本电脑厂商。AMD当时之所以能在短短两年就席卷伺服器市场，从英特尔手上硬抢下超过30%市场占有率，除了64位元，还有很多重要因素。服务器等级的侦错容错机制：从ECC单位元纠错的L1缓存与L2缓存、预防内存多位元错误的Chipkill技术、Parity位元侦错的L1指令快取、巨大的转译后备缓冲区（TLB）、到回报系统错误的MCA（Machine Check Architecture）机能，都充分展现了AMD抢攻服务器市场的决心。HyperTransport总线：Opteron直接提供点对点连接处理器的方式，不像英特尔的传统北桥架构，每个处理器都要共用有限的FSB频宽外，打造大型系统也需要昂贵复杂的芯片组、如桥接芯片，这让实作Opteron多处理器环境远比Xeon轻松。也因此，大型Opteron多处理器平台享有比Xeon MP更短的研发时间，不仅成本比较低廉，效能和可靠度上更是毫无妥协，一度让AMD在四处理器以上x86服务器，曾有40%以上市占率。英特尔是到2008年的Nehalem有了QPI，才追上AMD。高效率的高速缓存一致性协定（Cache Coherence Protocol）：这对多处理器环境效能有着举足轻重的影响，而AMD的MOESI协定有极为出色的表现。和处理器核心同频率的整合型内存控制器：多处理器环境变成CC-NUMA（Cache Coherence-Non Unified Memory Architecture）分散式内存架构，让Opteron整体内存效能，远胜过英特尔的系统前端总线（FSB）连接北桥（North Bridge）的架构。整合式内存控制器让处理器数量越多，可扩增的内存容量也会更大。2005年，企业需要128GB主内存容量的服务器，采用Itanium的HP SuperDome要价4千万台币，但八颗Opteron的系统，如Sun X4600和Iwill H8501，每颗安装16GB内存，价格却仅十分之一，巨大优势不言可喻。直冲原生双核心：当北桥内存控制器都位于在处理器晶粒之中，自然也不必担忧双核心至多核心的内部频宽与延迟问题。AMD打从2001年，就宣布让K8直奔原生双核心（请注意下图的CPU 0和CPU 1），更在2004年8月31日（2004年秋季IDF）就公开双核心样品，2005年4月准时登场，这是AMD x86处理器发展史上最重大的战略胜利。K7演进而来的成熟微架构：K8是以K7为基础进行改良的产物，相较于同时期的英特尔NetBurst体系，也享有压倒性的低功耗。AMD在2002年2月26日（2002年春季IDF）首次展示单核心K8，隔年4月正式上市，屡次用较低的运行频率「屠杀」英特尔NetBurst体系的产品线。强大动态分支预测和记忆体转译后备缓冲区：足以应付“分支密集且狂吃内存频宽”的服务器端应用软体的行为模式。值得一提的是，因为K8的L1 / L2缓存“互斥”（Exclusive），AMD还利用“L1指令缓存的数据，被挤回L2时，L2的ECC形同浪费”（L1指令缓存只有Parity）特色，将分支选择器“偷放”在这个栏位，以增强分支预测器的容量，并兼顾效能与成本，堪称非常厉害的巧思，毕竟L1缓存被侦测到数据受损，顶多从内存重新撷取一次就好了。2003年底上市的Opteron 848，售价高达3,199美元，这对过去只能在个人电脑市场跟英特尔打价格战的AMD来说，简直是连想都不敢想的梦。2004年6月14日，AMD发新闻稿，昭告天下“我们已经设计完毕原生双核产品”，并大方摊开产品Roadmap给大家看。2004年7月17日：Cray宣布将建造由10880颗Opteron构建出来的Red Storm超级电脑。2004年8月23日：AMD与Newisys在IEEE HotChips 16发表Horus芯片组，这是AMD史上首款32处理器的大型系统架构（即使后来胎死腹中）。2005年4月21日，AMD发布双核心的Opteron 800系列，领先英特尔的Core 2家族整整超过一年，堪称AMD公司当时最意气风发的时刻。只不过，再多好运也有用完的一天。当时无人预料到，AMD不仅将面对英特尔即将发动的帝国大反击（还是由Pat Gelsinger领军），更将在迈向原生四核心处理器之路，重重跌了一跤，还再不能爬起来。2004~2006年：陷入空前混乱的英特尔AMD在服务器市场趁势崛起的期间，英特尔的64位元布局，被AMD搞得阵脚大乱，陷入内外交逼困境，结果就是一连串赶鸭子上架的64位元x86指令集、东拼西凑的效能改进方案、以及换汤不换药的“双馅水饺”双核心。这时期的Xeon，除了具备大型化L3缓存的Xeon MP，和看起来有点像勉强赶工出来的双核Xeon DP，清一色都是桌面PC体系的衍生品，只差在芯片封装是包一颗还是包两颗，然后顺便“解放”被封印的64位元。此外，值得一提的是，后来在这NetBurst混乱期的末期，英特尔确立了Xeon MP 7000和Xeon DP 5000命名体系。你现在看到Xeon的四码数字型号，就是以这时候为起点。但AMD在服务器市场带来的空前威胁，逼出英特尔全部潜力，也让Xeon逐渐具备了更强大的多处理器竞争力。以Xeon MP平台Truland为例，E8500系列晶片组不仅藉由两条系统前端总线稍微弥补跟AMD Opteron的频宽差距，更“外挂”内存缓冲控制器（XMB，External Memory Buffer），实现更高的内存容量与频宽。芯片组的管脚数量有限，就算不惜血本，在北桥芯片组内“硬干”八通道内存，届时单一内存通道能够“推的动”几条模组，也将会是个大难题。不如分而治之，把部份内存控制器的机能分割出来，反正高单价的多处理器服务器，也足以吸收这些额外的成本。有点年纪的读者也应当知晓，这早已是众多高阶服务器（像IBM的Power和Z系列大型主机）行之有年的特色。日后一系列的Xeon MP也依循同样方式，像八核的Nehalem-EX、十核的Westmere-EX、十五核的Ivy Bridge-EX、十八核的Haswell-EX和二十四核的Broadwell- EX，直到英特尔从14nm制程“牙膏期”的Xeon-SP之后，将内存控制器机能全数收回到CPU内部。为了提升服务器的网络存取效能，微软2006年3月发布Scalable Networking Pack（SNP）与NDIS 5.2 Miniport驱动程式架构，技术核心的NetDMA规范，企图打通一条从网卡直奔应用程内存的「烟囱」，而英特尔的Xeon DP Bensley平台就成为首款对应I/OAT的产品。英特尔的I/OAT也陆续演进了好几个世代，唯一不变的就是“从CPU到芯片组到网卡，都要用英特尔的东西”。总之，以2005年为起点，以Xeon MP和Opteron x800系列为主的x86处理器，在四处理器以上高阶服务器芯片的出货量急速攀升，蚕食鲸吞传统高阶RISC服务器的地盘，到了2014年，英特尔的Xeon足足吃下94%市场，即使产品单价较低，也吞食超过80%营收，RISC伺服器的出货量更从一年32,000台掉到9,000台。顺便一提，在这块市场，2014年IBM是12%~15%，并购Sun的Oracle更只剩下5%。既然连四处理器都如此，单处理器和双处理器平台就更连想都不用想了。这些年来，昔日曾呼风唤雨的众多“RISC诸神”，沦落至此，令人不胜唏嘘。2006~2008年：英特尔开始转型并准备反攻AMD英特尔原先预定的「三轨共构」（服务器Itanium、桌面NetBurst、笔记本电脑Pentium M）产品发展计划，2005年完全推翻，确立回归x86为中心，集中资源发展同时满足笔记本电脑、桌面PC和服务器的x86处理器微架构，为对AMD发动帝国大反击的开路先锋。英特尔的钟摆巨轮（Tick-Tock）开始缓缓转动，彻底辗碎AMD的服务器战线。英特尔看到Google这些云端服务业者，为了降低成本，数据中心大量采用单处理器平台（Google第一代自制服务器使用单颗Pentium III），英特尔也将Xeon产品线延伸到单处理器、和桌面PC处理器相同脚位、相同产品代号的3000系列，落后AMD Opteron 100系列好几年。挂上Xeon品牌的价格当然比较昂贵，至于产品有没有比较可靠，就只有这些客户才会知道了。根据不同脚位，Xeon产品线分成3块：单处理器Xeon UP：LGA775的3000双处理器Xeon DP：LGA771的5000四处理器Xeon MP：Socket 604的7000，这个看似老旧的脚位，生命周期长到让人讶异。相对应的系统芯片组，也采取同样的命名方式，让客户更容易理解哪些CPU应该搭配哪些芯片组。在数字编号之外，以65nm制程的四核心为起点，型号另外加注E（高能耗）、L（低功耗）和X（高效能），突显产品属性。这时的Xeon，排除英特尔在印度班加罗尔的研发团队所负责操刀的原生六核Dunnington，其余的四核心，也都还是包两颗芯片的“双馅水饺”，整合式内存控制器和分散式主内存仍付之阙如，相较AMD在2007年底就发表原生四核K8（K10），英特尔Xeon仍看似落后AMD一大截。眼尖的读者势必察觉到某颗Xeon DP很不一样，特别标示超低电压（ULV）的特色。Xeon LV的存在理由不外乎当时流行的“刀锋”服务器，带动超低功耗服务器CPU的需求，虽然以事后诸葛亮的角度回顾这段历史，刀锋服务器的风潮真的差不多是“昙花一现”。其实这颗双核心的Xeon LV，源自于Core微架构（Merom）的前身Yonah，也同样出自于以色列海法研发团队之手，可视为从NetBurst转型到Core的“过渡时期实验性产品”。除了没有64位元，众多Merom的特点，像双核心共用大型化L2快取记忆体，Yonah都看得到。英特尔研发资源之充沛，由此可见一斑。当CPU核心倍增，更需要大幅度提升内存容量与频宽，也因此，英特尔在Xeon DP与Xeon MP的系统芯片组，导入FB-DIMM（Fully-Buffered DIMM），透过近似PCI Express的序列式（Serial）总线与通讯协定，连接内存控制器与内存模组上的AMB（Advanced Memory Buffer）。如果读者还记得前面提到的英特尔E8500芯片组的IMI与XMB，就可以把FB-DIMM想像成“把IMI / XMB概念，转移到内存模组的JEDEC标准”。不过，FB-DIMM存活在市场上的时间并不长，主因在于高昂的成本与过长的内存存取延迟，导致普及度不高，搞到连AMD都不想用，也仅有Sun UltraSPARC T2共襄盛举，最终默默的消失在所有厂商的产品Roadmap。那时入门级服务器导向的5100芯片组（San Clemente）因维持「传统」的DDR2记忆体，加上性能表现也没比那票FB-DIMM的产品来得差，被视为「一股清流」 。比较高阶的芯片组，如5000X（Greencreek）、5400（Seaburg）和7300（Clarksboro），均内建高速缓存一致性协定窥探过滤器（Snoop Filter），一个记录内存区块位址共享状态的高速缓存，减少窥探广播的次数，以减轻系统总线的负担。Core 2时代的英特尔Xeon并未一举击倒在系统平台架构仍享有技术优势的AMD Opteron，到了Nehalem / Westmere才开花结果，让AMD从此一蹶不振到2017年。2008~2011年：英特尔倾尽全力打垮AMD上面这张图片是原生八核、24MB L3缓存、晶粒面积高达648平方厘米的Nehalem-EX（Beckton），这颗“巨兽”也是英特尔彻底终结AMD优势（以及摧毁自家的Itanium）的终极象征。虽然源自于笔记本电脑需求的Core微架构，已经明显优于AMD K8与K10，但系统架构层面仍落后于AMD。英特尔在Nehalem世代一次“补好补满”，彻底瓦解AMD的服务器产品战线。虽然说自从Merom之后，英特尔所有x86处理器微架构，都须兼顾服务器、桌面PC和笔记本电脑，但Nehalem最重要的任务，只有“尽快将AMD逐出服务器市场”，所以一切以服务器和高效能桌面PC为最高优先权，到了32nm制程的Westmere才抢滩笔记本电脑市场。这段期间，除了单处理器3000、双处理器5000和四处理器7000，Xeon产品命名规则，新增以下项目：双处理器的核心代号多了EP（Efficient Performance），多处理器则是EX（Expandable）。6000系列：将最高阶7000系列的处理器，“下放”成双处理器版本。因QPI大幅提升多处理器延展性，7000 / 8000系列可直接对应8处理器平台，不再是AMD Opteron x800系列的特权。英特尔主流桌面PC处理器脚座的Socket H系列，以H1（LGA1156）为起点，直到今天的H5（LGA1200）。Jasper Forest是内建PCI Express NTB（Non-Transperent Bridge）技术的特规版Nehalem，直白一点，就是方便厂商研制双控制器（Dual Controller）相互备援的高可靠度硬件平台，如双控制器的企业级储存设备等。相较于Merom，Nehalem最重大的突破，由内到外，可简述为以下几点：HyperThreading复活，CPU再度一颗当两颗用。所有核心独享L2缓存，共用内建的L3缓存。CPU整合内存控制器，MCH就此消失。引进源自于Alpha EV7的QPI总线，并一并翻修高速缓存一致性协定（Cache Coherence Protocol）成MESIF。Nehalem的x2APIC处理器核心数目上限是4294967295，可视为无限大。八核心的Nehalem-EX，也导入处理器内的环状（Ring）总线，奠定未来数年英特尔多核心x86处理器的技术基础，到了Xeon-Phi和Xeon-SP才更替换成网状结构（Mesh）。微架构层面，今日成为英特尔、AMD处理器共同制式武装的“微指令缓存”（uOp Cache），只要命中就不须启动复杂又耗电的指令解码器，可同时改善功耗和效能，从NetBurst那失败的Trace Cache为起点，一路演进到Nehalem，才算出现真正雏型。这也让Nehalem微架构的Xeon平台，呈现和过去截然不同的风貌，也长得更像过去几年的AMD Opteron，即使多一颗有点碍眼、到Sandy Bridge才消失的IOH。不再受制于系统前端总线和MCH的Nehalem世代，拥有更巨大的系统总线与内存频宽，整体效能表现更是脱胎换骨，让AMD难以翻身。四处理器和八处理器Xeon平台为了支持高容量内存与更多的内存体通道，NetBurst时代Xeon MP的IMI（Internal Memory Interface）界面XMB（External Memory Buffer），替换成更先进SMI（Scalable Memory Interface）界面的SMB（Scalable Memory Buffer）。此外，为了强化服务器的RAS（可靠性、可用性、可服务性），英特尔在Nehalem-EX（Xeon 7500系列）将Itanium那一整套RAS架构原封不动的移植到x86平台，“MCA（Machine Check Architecture ）Recovery”可在内存区块标示硬件无法修复的错误，通知操作系统或虚拟机器管理员（Hypervisor），不能再使用这些单元，关闭标示错误的数据，并重新启动程序。当然，这也需要操作系统的配合，例如从2008年Windows Vista和Windows Server 2008开始引进的WHEA（Windows Hardware Error Architecture）。持续不断的补强，让x86处理器正式站稳高阶服务器的舞台。从Merom到Nehalem的“帝国大反击”，让AMD在x86服务器的市占率急速下滑，更一举跌破10%到个位数水准，让一度响亮的Opteron品牌黯淡无光。AMD从Zen世代开始企图“重返农药”，也将服务器品牌重新更名为EPYC，不再使用这曾代表AMD最辉煌岁月的名称。这段期间AMD发生了什么事？上面这张照片是原生四核心的K10 Barcelona，也是AMD Opteron极盛而衰的转折点。AMD从2003~2007年，压着英特尔猛打了好几年。但英特尔从2006年吹起反攻号角，AMD在2006年的夏天，耗资54亿美元并购ATi，也严重影响AMD内部产品研发时程，并造成一连串骨牌效应。当2006年的圣诞节，AMD宣布原生四核心的K10完成设计，并由CEO Hector Ruiz亲自主持庆功的圣诞晚会时，全世界都感受的到AMD早已力不从心。结果2007年11月，爆发会造成系统宕机的“TLB臭虫”事件，但通过更新BIOS关闭TLB，将会降低10%~30%的效能。AMD在服务器市场的气势，就如同自由落体直线下坠，难以挽回。AMD在2009年6月准时推出原生六核K10 Istanbul，并在产品行销简报内大肆宣扬“使命必达的执行力”，但这也是AMD成功的极限，融合CPU与GPU的Fusion大战略，让AMD从此备多力分，产品时程也渐渐脱轨，接着得来不易的服务器市占率，就被英特尔的钟摆巨轮狠狠辗碎，让AMD陷入长达十年的黑暗期。AMD从Socket G34“包双晶粒水饺”时，也将Opteron产品线精简成4000（单处理器或双处理器，Socket C32）与6000（双处理器或多处理器，Socket G34）系列，但x86服务器市占率依旧跌至个位数。姗姗来迟的“救世主”推土机（Bulldozer）家族能否救驾成功？但事后证明，根本只是提油救火。2011~2017年：英特尔的钟摆巨轮辗碎AMD英特尔不动声色在22nm制程，默默导入3D立体结构的Tri-Gate（三闸极）电晶体，并在2011年5月才正式昭告天下，领先其他厂商的FinFET起码超过三年，堪称这间以摩尔定律奉为登山宝训的公司，在先进半导体制程领域最意气风发的时刻。当英特尔在2014年2月10日的旧金山IEEE ISSCC（国际固态电路研讨会），正式公布代号Ivytown的Ivy Bridge-EX的技术细节，核心数量相较前代Sandy Bridge-EP几乎倍增的原生十五核，象征AMD Opteron被英特尔Xeon彻底压垮，连想利用“双馅水饺”的倍增核心数量，勉强抗衡英特尔的机会都没有。以2011年Sandy Bridge（Tock）为起点，英特尔的钟摆（Tick-Tock）巨轮开始全速转动，接连的Ivy Bridge（Tick）、Haswell（Tock）和Broadwell（Tick），制程从32nm、22nm演进到14nm，稳定推陈出新，让英特尔Xeon在伺服器市场的优势更难以撼动。英特尔在精准执行钟摆节奏的几年内，为了因应不同产品线需求，同一世代微架构的处理器组态，逐渐成形成LCC（Low Core Count，低数量核心）、HCC（High Core Count，高数量核心）与XCC（Extreme Core Count，超级多核心）等三种等级。Xeon的推出时程，因较长的产品开发与验证时间，和桌面PC、笔记本电脑处理器的“时差”也越拉越长，最高阶产品甚至可晚两年以上。眼光转向英特尔的钟摆节奏，就不难理解为何这些年是AMD最难过、最不堪回首的日子。知名技术评论家、Real World Tech站长David Kanter曾这样形容英特尔的钟摆“Damn Excellent At Execution”，的确是最贴切的写照。2011年（Tock）：Sandy Bridge，系统架构扬弃又热又烫的IOH，引进AVX指令集，具备货真价实的微指令快取（uOp cache），换装NetBurst体系的乱序指令执行引擎，指令重新排序缓冲区与实体数据缓存分而治之，以减少CPU内部的数据流动量，利于省电。这时AMD推土机家族的Opteron，仍可用两倍的核心数勉强抗衡。2012年（Tick）：Ivy Bridge，最主要的改进还是跑出十五核Ivy Bridge-EX这个妖怪，不给AMD的“双馅十六核”任何反击的机会。分配、协调各I/O周边装置存取处理器需求，发出中断（Interrupt）时，知道该由哪个处理器负责，是近代多处理器环境的必要条件，而起源于1993年Pentium的先进可程式化中断控制器（APIC, Advanced Programmable Interrupt Controller）则是技术核心。但和内存虚拟化的状况如出一辙，让VMM建立软件模拟的Shadow APIC不仅耗费处理器效能，更会造成虚拟机频繁的进出执行环境。英特尔则是在2013年发布APICv（APIC Virtualization）实用于Ivy Bridge微架构的Xeon E5-2600 v2。应对激增的核心数，为了确保充裕的内存频宽与容量，继Boxboro-EX（Nehalem-EX / Westmere-EX）平台的SMI之后，Brickland平台（Ivy Bridge-EX / Haswell-EX / Broadwell-EX ）升级成SMI2，数据传输界面从序列（Serial）转为64位元并列（Parallel），走线从70根爆增到110根，电气特性也截然不同，总之就是砍掉重练。2013年（Tock）：Haswell，新增AVX2指令集，并带来英特尔x86处理器微架构史上，最大规模的执行单元扩张行动，并大幅强化虚拟化机能，进一步追求控制不同虚拟机器占用L3高速缓存与内存频宽的精细调控机制，实现“L3高速缓存层级的QoS（Quality-Of-Service）”，避免系统资源被少数虚拟机吃光，或让VMM集中资源在最需要的虚拟机。Haswell-EP/EX最大核心组态再度略增到十八核，让AMD连核心数都占不了便宜。2014年（Tick）：Broadwell，虚拟化机能更精进，如更彻底的硬体化APICv（APIC Virtualization）和正名为Resouce Director Technology的L3高速缓存QoS，Broadwell-EX更将核心数推进到二十四核。为了阻止ARM或其他RISC阵营，藉由低功耗和网络储存等应用“渗透”伺服器市场，英特尔推出整合网络控制器和一堆I/O界面的Xeon-D系统单芯片Broadwell-DE ，在入门级企业储存与网通产品大受欢迎，后续还升级成Skylake-DE。这时AMD Opteron已走到生命尽头。AMD当初挖角IBM Power4首席工程师Chuck Moore，开发号称“可以只增加50%晶粒面积，即可提升80%性能”的丛集多执行绪（CMT，Cluster-based Multi-Threading），却被一再延宕的产品研发时程拖累。AMD也仿照英特尔，同时开发大核与小核，后者虽然在游戏机领域得到重大战果，却也挽回不了在服务器市场的颓势。AMD错估英特尔钟摆节奏的进步幅度，规格四处偷工减料的推土机（Bulldozer），也注定对抗不了融合P6与NetBurst技术大成的Sandy Bridge，AMD服务器战线就此彻底崩盘，直到2017年EPYC才重返战场。各位读者可先复习一下AMD近代x86处理器的家族简史，你会对2010年之后AMD产品线乱象更有感。原本AMD打算靠着连续四个世代的丛集多执行绪微架构：推土机（Bulldozer）、打桩机（Piledriver）、压路机（Steamroller）、挖土机（Excavator），用两个比较简单的整数运算核心打英特尔一个大核，双核心共用的浮点运算器则“依据Fusion大战略，假以时日替换成GPU”，重夺Opteron的技术优势。结果到头来AMD Opteron连核心数都输人，这场“走音工地秀”也无法走到尽头，丛集多执行绪的Opteron实际只进展到第二代（挖土机的X3000是沿用桌面PC的低阶产品），还乱入毫无竞争优势的ARM Cortex-A57核心的A1100系列。“正统”Opteron处理器的发展只撑到了2012年，就黯然划下句点，接着就是等到Lisa Su走马上任，将满天飞舞的简报通通束之高阁，倾尽全力研发Zen。物极必反，否极泰来，就轮到AMD吹起反攻的号角了，虽然在2017年6月初代EPYC准备跟姗姗来迟的Skylake-SP Purley平台对垒时，声音还是相当微弱，几乎没有人听见。2017~2020年：乱挤牙膏的英特尔再次被AMD反打一枪可能领先优势已经拉太开，IBM也迟迟难以有效将Power“下放”到一般平民百姓家，看在毫无竞争对手的份上，英特尔2015年（Tock）“集技术之大成的最终英特尔x86处理器微架构”Skylake问世后，钟摆巨轮慢慢停下，转型成“14nm制程Skylake牙膏厂。英特尔金鸡母的Xeon亦不可免俗，意图“一次到位”、满足所有市场需求的Skylake-SP Purley平台，历经多次延宕，到2017年7月才姗姗来迟，接着就被AMD一口咬住，启动“重返农药”大反击。既然Skylake微架构是“奋钟摆六世之余烈”的技术集大成，那以它为心脏的Xeon当然也不能丢脸，不让世人感到“耳目一新”实在说不过去。Skylake-SP之所以多出那个SP（Scalable Platform，可扩展性平台），充分彰显了英特尔的企图：统合过去Xeon MP和Xeon DP及EN / EP / EX的系统架构，不再分而治之，并企图降低整体成本。所以Skylake-SP呈现了和过去的Xeon平台截然不同的崭新面貌，笔者仅列出几个比较显眼的重点：Skylake-SP核心比一般桌面PC、笔记本电脑处理器，多了AVX-512指令集，为此新增两个专用执行单元（部份低阶型号Xeon仅启动一个），L2 / L3高速缓存也针对服务器，调整容量与区块置换策略，这也让单一核心面积肥大化，也在日后“吸引”了不少事后诸葛亮的批判，像Linus Torvalds就希望“AVX-512应该痛苦的死去”。UPI（Ultra Path Interconnect）总线取代QPI。省略掉XMB、SMB、SMB2记忆体缓冲器，内存模组通通直连CPU，从双处理器、四处理器、八处理器，统一成六通道DDR4内存。系统芯片组整合对应iWARP的10GbE以太网路控制器，与提升数据压缩和加解密运算的QuickAssist辅助处理器。部分型号内建英特尔自订的OmniPath总线控制器，超低延迟的特性利于高效能运算（HPC）等应用。不过英特尔在2019年宣布放弃OmniPath了。3D XPoint内存模组Optane Apache Pass，但却延后到2年后的微幅改进版Cascade Lake-SP。产品命名系统除了数字，更加上白金、金牌、银牌、铜牌等名称，看似80 PLUS电源供应器的效率等级认证。至于2019年4月登场的Cascade Lake-SP，则在AVX-512追加以Deep Learning Boost为名的VNNI指令（重点在于支持人工智能推理需要的INT8 / INT16短整数）与“幽灵（Spectre）、熔断（Meltdown）”攻击的防御措施，2020年6月的Cooper Lake-P则再补上对于深度学习必备的BFloat16格式的支持，补强重点都集中在人工智能，制程也依旧“死守”14nm。面对AMD EPYC来势汹汹的压倒性核心数量优势，英特尔也得重演“双馅水饺”的旧戏码，创造了400W功耗、最多56核的Cascade Lake-AP。这张表格应可帮助读者迅速理解英特尔Xeon-SP「牙膏期」的更迭史。挺过Cooper Lake-SP被腰斩的风波，随着英特尔终于在2020年的夏天，在HotChips 32公开Ice Lake-SP技术细节，看似漫长的“14nm Skylake牙膏期”即将划下句点，但Ice Lake-SP推迟到2021年第二季。值得注意的是，英特尔在第三代Xeon-SP短暂重现Xeon MP和Xeon DP分立的样貌，在第四代的Eagle Stream平台和Sapphire Rapids处理器之前，如果需要BF16浮点格式做人工智能深度学习，就请乖乖掏钱购买比较贵的Cedar Island平台和Cooper Lake-P处理器。时过境迁，AMD总算挺过了最黑暗的10年。随着2017年AMD发布第一代EPYC服务器芯片，重新向数据中心处理器市场发起冲击之后，得益于出色的Zen架构以及台积电的先进制程的加持，仅过了两年的的时间，根据官方公布的数据显示，2019年AMD在服务器市场的份额就迅速增长到了接近8%。而去年底AMD还推出基于Zen 3架构的第三代EPYC服务器芯片（代号Milan），这将是一款基于台积电7nm工艺制程，最高64核心的产品。外界认为，新一代性能更强的EPYC服务器芯片有望助推AMD市场份额的进一步提升。但是也同样将面对英特尔最新推出的10nm工艺的第三代Xeon-SP带来的巨大压力。另外，目前AMD在服务器市场的市占率，却仍看不到当年Opteron全盛时期的车尾灯。身为Opteron继承者，EPYC跟英特尔的Xeon-SP之间的激战，依旧是未来数年内，处理器技术领域最值得关注的焦点（假若ARM没有在数据中心领域出现爆发性成长）。2021年之后：英特尔再度重启钟摆巨轮Pat Gelsinger做为英特尔的CEO回归后，宣布重启“钟摆巨轮”，但这次面临的局势，远比15年前更严峻。综观已知的英特尔未来数年Xeon产品Roadmap，重点都不在于规格细节和有没有看起来出色的尖端技术，而是英特尔能否重现“钟摆期”（2011~2017）使命必达的优异执行力。除此之外，英特尔还得面对两个问题：“利润下滑”和“来自ARM的潜在威胁”。现今以云端服务业者的数据中心为大宗的服务器市场，处理器采购案可谓杀价杀到刀刀见骨的程度，动辄砍到牌价三四成的惨案，亦随处可闻。这也是为何AMD宁愿付出效能代价、宁可让多芯片封装衍生出较长的数据存取延迟、选择Chiplet“多馅水饺”路线的主因，并且利于应对供货需求、灵活调配服务器和桌面PC的出货比例。当然，握有绝大多数市场的英特尔可透过大量的“商业手段”和“生态系统”维持市占率的稳定，不过因为产品逐渐失去竞争力而导致获利下滑，对英特尔才是最致命的一击。请别忘了Xeon一直是英特尔最重要的现金母牛，很不幸的，这件事似乎已经成为现在进行式了。x86双雄将如何面对伺服器市场巨变此外，对业界动态敏感的读者，应该有留意到一件看似微不足道、但绝对影响深远的小事：VMware在2020年10月6日（那时Pat Gelsinger还是VMware执行长），发表Arm版ESXi Hypervisor。这代表VMware可能认定Arm在服务器应用的爆发性成长，即将抵达微妙的临界点与心理关键时刻。回过头来，ARM要切入个人电脑市场的成功率，最终仍取决于微软的态度，是否愿意再大费周章建立全新的生态系统。但假若UEFI和ACPI等规范，在ARM处理器平台发展成熟度，可和现有x86平起平坐，让自行更替操作系统更方便，那服务器市场将会呈现截然不同的局面。各位可以想像一个画面：假以时日，ARM在伺服器市场的确占有一席之地，并持续攻城掠地，然后AMD顺势推出脚位与x86版本相容的K12核心EPYC，并可无痛转换。这恐怕将是英特尔不想看到的。但对x86双雄来说，最可怕的长期危机还是“云端业者越来越多的开始自己开发服务器芯片”，他们拥有足够的本钱与条件，如果有人跟你讲「Google搞不好已经正在秘密开发可取代英特尔、AMD的RISC-V指令集处理器」，你大概也不会感到惊讶。总之，Xeon、Opteron和EPYC，不只是x86站稳服务器市场的象征，更是见证英特尔与AMD兴衰的图腾，也许在过去难以想像、甚至连想都不敢想的巨变，将以出乎意料的速度，出现在我们眼前。作者：痴漢水球 来源：technews编辑：芯智讯-浪客剑 注：相对于原文，本文略有修改，且有补充部分内容