基于AWS的时序处理应用架构

基于AWS的时序处理应用架构

当数据用来作为定期连续测量时，它被称为时间序列信息。通过AWS的独特定位解决了基于时间序列的信息处理带来了规模化挑战。

这种弹性是通过AutoScaling组进行采集处理，Amazon Elastic MapReduce定时作业的AWS数据管道，系统间数据编排的AWS数据管道，大规模数据分析的AmazonRedshift来实现的。关键架构要素包括用于消息缓冲的SQS，它减少了频繁AWS数据管道调度，保持了整体解决方案的成本预测和控制。

1.  远程设备，如电表，移动客户端，广告网络客户端，工业仪表，卫星和环境测量工具感知着他们周围的世界，并通过HTTP（S）发送采样传感器数据作为信息进行处理。

2.  发送到Amazon Simple QueueService 队列的信息通过自扩展的AmazonEC2 进一步存储到 Amazon DynamoDB。 DynamoDB 中的表是一个基于时间且面向星期的表结构。

3.  如果存在一个一个监督控制和数据采集（SCADA）的系统，可以从Amazon DynamoDB 创建采样数据流来分别支持另外的云计算或其他的现有系统。

4.  通过一个定时的Amazon ElasticMapReduce作业来创建数据管道，可以同时计算密集的采样处理并输出采样结果。

5.  数据管道将结果存储到Amazon Redshift用于进一步的分析。

6.  数据管道将面向星期的历史采样数据表从AmazonDynamoDB 导出到Amazon Simple Storage Service (Amazon S3)。

7.  数据管道将结果导出为其他可接受的自定义格式。

8.  Amazon Redshift 作为选项来保留历史采样数据及计算结果。

9.  用内部或亚马逊合作伙伴的商业智能解决方案，AmazonRedshift可以支持其他的大规模分析。

AWS中Web应用程序托管架构 

AWS中批处理任务运行架构 

本文永久更新链接地址：