数据交换平台的双内存设计，数据交换平台设计

数据交换平台的双内存设计，数据交换平台设计

一、数据交换平台

数据交换平台的项目目的，就是为了解决异构数据库之间的数据交换问题。

这个平台的设计，参考了淘宝开源的DataX、大众点评的Wormhole，等，受到的启发很大。

项目由小到大，逐步形成平台化发展，几乎汇总了公司后台db之间的所有数据同步，任务个数有近500个，每天数据量达3亿。

目前，平台运行稳定，推广部署到其他分公司。趁这个机会，整理了一些文档，拿出来分享，也算是回馈感恩吧。

上一篇文档，说了一些需求和初步设计。

这一篇重点说下，两块共享内存的设计细节，直接上图。

二、任务实时数据：Shmrt

三、任务详细参数：Shmtd

双通道，就是在北桥（又称之为MCH）芯片级里设计两个内存控制器，这两个内存控制器可相互独立工作，每个控制器控制一个内存通道。在这两个内存通CPU可分别寻址、读取数据，从而使内存的带宽增加一倍，数据存取速度也相应增加一倍（理论上）。目前流行的双通道内存构架是由两个64bit DDR内存控制器构筑而成的，其带宽可达128bit。因为双通道体系的两个内存控制器是独立的、具备互补性的智能内存控制器，因此二者能实现彼此间零等待时间，同时运作。两个内存控制器的这种互补“天性”可让有效等待时间缩减50％，从而使内存的带宽翻倍。
双通道是一种主板芯片组(Athlon 64集成于CPU中）所采用新技术，与内存本身无关，任何DDR内存都可工作在支持双通道技术的主板上，所以不存在所谓“内存支持双通道”的说法,所以和CPU是没关系的,看一下你主板会不会支持就行了.
 

双通道内存技术其实是一种内存控制和管理技术，它依赖于芯片组的内存控制器发生作用，在理论上能够使两条同等规格内存所提供的带宽增长一倍。它并不是什么新技术，早就被应用于服务器和工作站系统中了，只是为了解决台式机日益窘迫的内存带宽瓶颈问题它才走到了台式机主板技术的前台。在几年前，英特尔公司曾经推出了支持双通道内存传输技术的i820芯片组，它与RDRAM内存构成了一对黄金搭档，所发挥出来的卓绝性能使其一时成为市场的最大亮点，但生产成本过高的缺陷却造成了叫好不叫座的情况，最后被市场所淘汰。由于英特尔已经放弃了对RDRAM的支持，所以目前主流芯片组的双通道内存技术均是指双通道DDR内存技术，主流双通道内存平台英特尔方面是英特尔 865、875系列，而AMD方面则是NVIDIA Nforce2系列。

双通道内存技术是解决CPU总线带宽与内存带宽的矛盾的低价、高性能的方案。现在CPU的FSB（前端总线频率）越来越高，英特尔 Pentium 4比AMD Athlon XP对内存带宽具有高得多的需求。英特尔 Pentium 4处理器与北桥芯片的数据传输采用QDR（Quad Data Rate，四次数据传输）技术，其FSB是外频的4倍。英特尔 Pentium 4的FSB分别是400、533、800MHz，总线带宽分别是3.2GB/sec，4.2GB/sec和6.4GB/sec，而DDR 266/DDR 333/DDR 400所能提供的内存带宽分别是2.1GB/sec，2.7GB/sec和3.2GB/sec。在单通道内存模式下，DDR内存无法提供CPU所需要的数据带宽从而成为系统的性能瓶颈。而在双通道内存模式下，双通道DDR 266、DDR 333、DDR 400所能提供的内存带宽分别是4.2GB/sec，5.4GB/sec和6.4GB/sec，在这里可以看到，双通道DDR 400内存刚好可以满足800MHz FSB Pentium 4处理器的带宽需求。而对AMD Athlon XP平台而言，其处理器与北桥芯片的数据传输技术采用DDR（Double Data Rate，双倍数据传输）技术，FSB是外频的2倍，其对内存带宽的需求远远低于英特尔 Pentium 4平台，其FSB分别为266、333、400MHz，总线带宽分别是2.1GB/sec，2.7GB/sec和3.2GB/sec，使用单通道的DDR 266、DDR 333、DDR 400就能满足其带宽需求，所以在AMD K7平台上使用双通道DDR内存技术，可说是收效不多，性能提高并不如英特尔平台那样明显，对性能影响最明显的还是采用集成显示芯片的整合型主板。

NVIDIA推出的nForce芯片组是第一个把DDR内存接口扩展为128-bit的芯片组，随后英特尔在它的E7500服务器主板芯片组上也使用了这种双通道DDR内存技术，SiS和VIA也纷纷响应，积极研发这项可使DDR内存带宽成倍增长的技术。但是，由于种种原因，要实现这种双通道DDR（128 bit的并行内存接口）传输对于众多芯片组厂商来说绝非易事。DDR SDRAM内存和RDRAM内存完全不同，后者有着高延时的特性并且为串行传输方式，这些特性决定了设计一款支持双通道RDRAM内存芯片组的难度和成本都不算太高。但DDR SDRAM内存却有着自身局限性，它本身是低延时特性的，采用的是并行传输模式，还有最重要的一点：当DDR SDRAM工作频率高于400......余下全文>>