中小企业的大数据技术路线选择(二)-Cassandra+Presto方案,-cassandrapresto


中小企业的大数据技术路线选择(二)-Cassandra+Presto方案

        我前面曾经写过:中小企业的大数据技术路线选择 和 低调、奢华、有内涵的敏捷式大数据方案:Flume+Cassandra+Presto+SpagoBI 。
        最近用了两个月的时间终于把Cassandra+Presto+SpagoBI方案验证通过了。验证了Presto的JDBC Driver 、Prestogres网关、SHIB三种方式。
        一、Presto JDBC驱动方案
        Presto JDBC驱动方案,Java动用客户端,如dbeaver可以使用Presto JDBC驱动访问,执行SQL语句。这其中要注意的问题是:需要添加“user.timezone=Shanghai/ASIA”参数。
       在自己写程序调用Presto JDBC驱动时,需要注意现在的版本已经是独立版本,不再需要调用引用Jar包。此外,也需要设置“user.timezone=Shanghai/ASIA”.。我在这个问题纠结了很久。
       此外,需注意SpagoBI无法使用Presto JDBC驱动程序,只能使用Prestogres网关方案。
       二、Prestogres网关方案
       使用Prestogres网关方案时,需注意protocolVersion=2。这一步,我也是摸索了很久才找到连接一直无法测试成功的原因。SpagoBI测试成功后,PostgreSQL客户端也可以访问Presto了。
     三、SHIB方案
     SHIB方案安装配置简单,很容易成功。但使用SHIB后,发现界面粗糙,功能太简单,难以在实际生产中使用。
     四、总结
     以上几种方案中,Prestogres网关方案,可以使用PostgreSQL 客户端和JDBC驱动,支持SpagoBI等BI工具。但这种方式架构复杂,可能有性能瓶颈,无法发挥该方案的优势。SHIB现在代码量较小,在Team中有报表开发经验的成员即可上手。如果时间和人力允许,开发一个轻量级的Bigdata BI也是可能的。我更推荐使用SHIB+定制开发的模式。
     我已经在准备在实际项目中使用,希望有兴趣的朋友可以一起研究下。

相关内容

    暂无相关文章