Apache Avro 1.9 发布,增加ZStandard支持


Apache Avro 1.9已发布可用,带有更新的JSON阅读器,体积更小,并支持ZStandard压缩。

Avro是一种用于高容量,高性能,高吞吐量,数据处理系统的数据序列化框架。它使用JSON定义数据类型和协议,并以紧凑的二进制格式序列化数据。 Avro是由开发Hadoop的同一团队开发的,它被包括Hadoop,Spark和Kafka在内的数据处理系统使用。

Avro可以通过远程过程调用(RPC)用作工具包。 Avro的参考实现是作为Java库开发和发布的。 Avro具有对C,C++,C#,Go,Haskell,Java,Perl,PHP,Python,Ruby,Scala和TypeScript的语言绑定支持。它使用快速紧凑的二进制数据格式,具有独立于语言的模式定义格式。并使用容器文件来存储和保存数据。

新版本的改进旨在使其更精简和更快。这些更改始于新版本默认使用Java 8构建。这意味着不再需要Joda时间库来处理逻辑日期和时间值,因为Java 8本身处理日期和时间。

下一个改进改变了JSON读取的方式。在以前的版本中,这是使用Java的Jackson库进行的。在这个版本中,旧的Codehaus Jackson已被FasterXML的Jackson 2.9取代。除了更快,这还有安全性改进。开发人员还从公共API中删除了Jackson类。

还增加了对Facebook的ZStandard压缩的支持。 ZStandard是一种实时压缩算法,可提供高压缩比。

在其他方面,为了使Acro更精简,删除了多个依赖项,包括番石榴,paranamer,commons-codec和commons-logging。 Apache Avro使用Java 11进行编译和测试。

更多信息

Avro网站

linuxboy的RSS地址:https://www.linuxboy.net/rssFeed.aspx

本文永久更新链接地址:https://www.linuxboy.net/Linux/2019-06/158924.htm

相关内容