Apache CarbonData 是一个开源的柱状存储格式
https://mp.weixin.qq.com/s/LFwcSHUGsIOiB9hR-4kxRQ
http://www.gitpp.com/fm/carbondata-cnApache
CarbonData 是一个开源的柱状存储格式，专为提高大数据分析应用程序的速度而设计。以下是关于 CarbonData 的一些关键信息：列式存储格式：CarbonData 采用列式存储格式，这种格式特别适合于大数据分析。列式存储可以显著提高查询性能，尤其是在处理大量数据时。索引技术：CarbonData 使用多种索引技术来加速查询处理。这些索引技术包括多维索引和倒排索引，它们可以帮助快速定位和访问数据。数据压缩：CarbonData 提供了高效的数据压缩功能，这有助于减少存储空间的需求，并提高 I/O 性能。压缩还可以加快数据在内存和网络中的传输速度。支持多种数据处理工具：CarbonData 可以与多种大数据处理工具和平台集成，包括 Apache Spark。这意味着用户可以利用他们现有的数据处理基础设施来处理 CarbonData 格式的数据。支持多种文件格式：除了列式存储，CarbonData 还支持其他文件格式，如 Parquet 和 ORC。这为用户提供了灵活性，可以根据他们的具体需求选择最合适的文件格式。适用于复杂查询：CarbonData 优化了复杂查询的处理，支持包括聚合、筛选和连接在内的多种查询操作。这使得它非常适合用于数据仓库和商业智能应用程序。开源社区支持：作为一个 Apache 项目，CarbonData 拥有一个活跃的开源社区，不断贡献新功能和改进。用户可以从社区获得支持，并参与到项目的发展中。Apache CarbonData 通过其优化的存储和查询技术，CarbonData 可以显著提高大数据应用程序的性能。特征
CarbonData文件格式是HDFS中的列式存储，它具有现代列式格式所具有的许多功能，例如可分割、压缩模式、复杂数据类型等，并且CarbonData具有以下独特功能：将数据与索引一起存储：在查询中有过滤器的情况下，可以显着提高查询性能并减少 I/O 扫描和 CPU 资源。CarbonData索引由多级索引组成，处理框架可以利用该索引来减少需要调度和处理的任务，并且还可以在任务侧扫描中以更细粒度的单元（称为blocklet）进行跳跃扫描而不是扫描整个文件。可操作的编码数据：通过支持高效的压缩和全局编码方案，可以对压缩/编码数据进行查询，在将结果返回给用户之前可以对数据进行转换，即“晚物化”。支持使用一种数据格式的各种用例：例如交互式 OLAP 式查询、顺序访问（大扫描）、随机访问（窄扫描）。以下是 CarbonData 的一些主要应用场景及其详细介绍：大规模数据仓库：CarbonData 非常适合用于构建大规模数据仓库。其高效的列式存储和索引技术可以显著提高查询性能，尤其是在处理大量数据时。这使得 CarbonData 成为数据仓库的理想选择，特别是在需要快速查询和分析大量数据的情况下。交互式查询和报告：对于需要快速响应的交互式查询和报告，CarbonData 提供了优化的查询性能。它的索引和压缩技术可以加快数据检索速度，为用户提供即时的查询结果。复杂的数据分析：CarbonData 支持复杂的查询操作，如聚合、筛选和连接。这使得它非常适合用于复杂的数据分析任务，包括多维度分析和数据挖掘。实时数据处理：尽管 CarbonData 主要是为批处理而设计的，但它也可以与实时数据处理工具集成，以支持近实时的数据分析。这对于需要快速处理和分析实时数据流的用例（如实时报告和监控）非常有用。多格式数据支持：CarbonData 支持多种文件格式，包括 Parquet 和 ORC。这为用户提供了灵活性，可以根据不同的数据类型和需求选择最合适的存储格式。云环境和分布式存储：CarbonData 可以在云环境和分布式存储系统上运行，这使得它非常适合用于需要高可扩展性和灵活性的大数据应用程序。跨行业应用：由于其广泛的功能和灵活性，CarbonData 可以跨多个行业应用，包括金融服务、电信、零售、医疗保健等。这些行业通常需要处理和分析大量数据，以获取有价值的洞察和做出数据驱动的决策。总的来说，Apache CarbonData 提供了一个高效、可扩展且功能丰富的解决方案，适用于各种大数据分析和数据仓库场景。通过其优化的存储和查询技术，CarbonData 可以帮助组织更快地分析和理解他们的数据，从而做出更好的决策。
官网：https://carbondata.apache.org/源代码：http://www.gitpp.com/fm/carbondata-cn
