全面了解各种反“垃圾邮件”的解决方案

全面了解各种反“垃圾邮件”的解决方案

自2000年后,互联网技术飞速发展,邮件技术已经逐步成为了现代社会最重要的沟通工具之一。然而，予生俱来的是垃圾邮件对邮件用户的侵扰；到2006年末，这种侵扰已经成为公认的最大的互联网应用威胁之一。有许多数字让人触目惊心：每天全球产生的垃圾邮件达1000封；用户收到的邮件之中，有94％是垃圾邮件；美国、中国是全世界最大的两个垃圾邮件生产国家和消费国；中国网民每周收到的垃圾邮件数平均达到了19.4封。这些垃圾邮件充斥着各种非请求的商业广告、色情与反动内容、政治敏感话题传播、甚至计算机病毒与恶意代码，给我们正常的邮件收发增加困难，使企业的网络与邮件资源被恶意浪费，甚至有可能对组织与个人的硬件资产遭受入侵、破坏等损失。垃圾邮件最新的形式是钓鱼邮件，Spammer通过传播类似银行及会员机构邮件的方式，来骗去用户的用户名和密码，直接获取非法利益；而有些则通过恶意代码控制计算机，使网络用户的计算机变成Zombie　PC，利用这些PC来发送大量广告等垃圾邮件以获取商业价值。可以说，反垃圾邮件的斗争以及到了白热化的程度。

中国的反垃圾邮件技术研究几乎和国外同步，但产品化进程比较慢，基本上到2003年后才有初步能够应用的专业级产品与系统方案。在国际上，有两大开源社区比较权威，目前世界上大部分垃圾邮件的核心技术都来源这两个社区，一个是著名的SpamAssassin，一个是，Razor。而中国目前还没有形成比较成规模的反垃圾邮件技术开源社区。在技术上，特别是产品结构上都借鉴这些著名的先行者。

说到反垃圾邮件的技术方案，一般有三种类型的解决方案。

第一种是初级的用户级客户端方案。

大部分人都认为客户端方案效果不好，这里面其实有个误区，很多说法是包含了商业利益在里面的，所以就不能够客观的评价。客户端方案，有些人就认为是Foxmail、Outlook之类的邮件客户端自带的简单的黑白名单判别垃圾邮件功能，其实这是有误的。真正的客户端方案，不仅包含这些黑白名单功能，也包括其他类型方案一样的一些手段，象实时RBL、指纹检查、信任网络、甚至包含内容过滤等技术，由于它服务的对象是“客户端个人用户”，没有关注邮件服务器而已，然后它仍然是专业级别的反垃圾邮件防方案。关键是，需要找到专业的产品，而且这种方案在50人以下应用环境时具有很好的经济价值，在超过50人的应用环境下，这种方案就没有其他的方案更具竞争力。代表产品是全球知名的反垃圾邮件技术公司Cloudmark公司的个人版反垃圾邮件产品。

第二类技术方案是反垃圾邮件网关方案。

这种方案是目前应用最广泛，也是应用最简便的企业级反垃圾邮件方案。这种方案是各种反垃圾邮件技术综合到一台设备或者软件系统当中去，放在邮件服务器的前端，对进出邮件系统的所有邮件进行过滤、审查，对违反规则或者具有明显垃圾邮件特征的邮件予以处置。　网关型的反垃圾邮件方案，其形态可以是专用硬件产品，也可能是软件形式。需要特别强调的是，传统上认为硬件产品比软件产品好，这种认识也是有很大偏差的，需要差别的看：如果反垃圾邮件网关软件能够与邮件系统实现真正意义上的无缝结合的化，是能够大大提升系统的整体性能的，而不是象部分商业公司宣称的那样，硬件产品一定是最好的；原因很简单：　这中间节省了两个计算环节（反垃圾邮件系统在将邮件系统解包检后，可以不用打包就可以直接转给邮件系统接受；而邮件系统不需要先对邮件进行解包，就可以直接接受－－减少动作，就意味着性能的提高）。

网关方案做为最主要的企业级反垃圾邮件方案，因各商业和研究机构的技术路线不同，主要有3种：

基于经验规则和内容检查技术的技术路线。这类反垃圾邮件网关，以内容检查为主，主要的检查手段包括关键字过滤、贝叶斯过滤、基于规则的评分系统、邮件指纹检查、黑白名单技术、速率控制等等。需要的是提取样本、提取内容特征等信息，来检查与过滤垃圾邮件。代表的产品是梭子鱼反垃圾邮件系统。　需要注意的是，这类产品大多数需要进行大量的内容检查计算，对产品的系统结构和硬件平台的系统资源要求比较，性能峰值不是很高，特别是部分产品是用pear编写的，程序的限制，使得性能成为其最主要的瓶颈。　这点用户在选择时是需要关注的，选型时尽量采用高一点的型号，以应对突然的邮件高峰。

智能行为识别技术路线。由于认识到基于规则与内容技术路线在性能上的局限性，有部分技术人士摈弃了内容检查，而是将产品方案的主要检查手段放在了邮件的协议分析。　这类技术通过总结和分析垃圾邮件发送者的各种共性行为，比如用客户端群发软件发送、高频率发送、Dns伪装、IP欺骗等等方法，解析出这些“垃圾行为”的特征并形成规则，用这写规则来判别一封邮件是否合法。这类技术，同时包括了众多的邮件合规性认证机制；同时也包含了部分杀病毒等内容层技术。　同样需要大家注意的是，这类技术针对的是大规模的、以群发为特征的垃圾邮件，而针对单个、无规律的、甚至是合法来源发送非法内容的邮件，没有很好的解决方案。因为它不强调内容检查，而对对垃圾邮件判定最重要的标准是“内容”非法！　但，这种技术已经能够拒绝大部分垃圾邮件了，因为绝大部分垃圾邮件确实是通过群发的方式产生的。　这类产品的代表厂商是敏讯科技，以及来自台湾的硕奇公司反垃圾邮件产品（该公司更宣称完全运用行为识别技术来反垃圾邮件）。

混合模式路线。这种技术路线强调过程化处理技术，利用过程化处理技术整合各种反垃圾邮件技术，既包括基于协议分析的智能行为识别，也包括基于规则与内容检查的模式对比路线。反垃圾邮件网关在智能过程化处理平台的控制下，有次序的让邮件接受各个层次的合规性检查与内容检查。综合应用行为识别技术，在协议层对TCP/IP进行分析规范发件连接行为、在SMTP层对邮件从Hello、Auth、From、To、Data等各个层次进行合规性检查，对违发正常规则的邮件进行重点分析，对明显的群发行为予以处置。而内容检查阶段，也是严格按照“过程”来进行的，病毒查杀、用户级黑白名单、关键字、贝叶斯过滤、指纹检查、以及其他的基于内容检查的技术。　这类网关的设计架构比较好，“过程化”的处理办法，让大量的垃圾邮件在“前端”就被过滤掉，而在内容阶段系统的工作量非常的少，能够大幅度的提升系统的整体工作性能和垃圾处理能力。　这类产品的代表是Commontouch反垃圾引擎，以及智海华程CyanFilter反垃圾邮件引擎。　他们共同的特点是过程化处置，都拥有自己核心的反垃圾邮件引擎。Coummontouch的反垃圾引擎采用实时检查技术，轮回检查信任网络；而CyanFilter反垃圾邮件引擎则包含了中文分词、特征进化引擎技术等等，使得青莲Cyanlotus反垃圾网关更具有强大的中文垃圾能力。　另外，Cloudmark公司的电信级反垃圾邮件网关也同样拥有这中能力，其基因算法与全球最大“可信任用户网络”更是无与伦比。