MaterializeInc/materialize

Materialize 是一个实时数据集成平台，它能创建并持续更新组织内事务性数据的一致性视图。其 SQL 接口让实时数据的服务与访问变得触手可及。Materialize 可以部署在你基础设施运行的任何地方。

使用 Materialize 可以轻松实现诸如为 AI/RAG 流水线提供实时上下文、驱动运营仪表板以及打造更动态的客户体验，而无需构建耗时的数据流水线。

采用 Materialize 的三种最常见模式如下：

• 查询卸载 (CQRS) - 比只读副本更高效地扩展复杂查询，且无需处理缓存失效带来的困扰。
• 集成中心 (ODS) - 从多个来源提取、加载并增量转换数据。创建可直接查询或推送到下游的实时数据视图。
• 运营数据网格 (ODM) - 使用 SQL 创建并交付实时、强一致性的数据产品，从而简化跨服务和跨领域的数据协同。

入门指南

准备好尝试 Materialize 了吗？你可以注册获取免费云试用，或者下载我们的社区版。对于内存使用小于 24 GiB、磁盘使用小于 48 GiB 的部署，社区版永久免费！

有疑问吗？欢迎随时联系我们：

• 加入我们的 Slack
• 给我们发送邮件

关于 Materialize

Materialize 专注于以最小延迟提供正确且一致的查询结果，且无需你接受近似答案或最终一致性。即使在联合来自多个上游系统的数据时，这一保证依然有效。每当 Materialize 回答一个查询时，该结果都是基于数据在某个特定（且近期）版本下的正确结果。Materialize 通过将你的 SQL 查询重构为“数据流”（dataflows）来实现这一切，这些数据流能够针对数据的变化实时进行高效响应。

我们提供的全托管服务是云原生的，具有以下特性：通过多活复制实现高可用性；通过在多台机器间无缝扩展数据流实现横向扩展能力；以及利用云对象存储（如 Amazon S3）实现近乎无限的存储。你也可以使用我们的企业版或社区版自行管理 Materialize。

我们支持大量的 PostgreSQL 功能，并正在积极扩展对更多内置 PostgreSQL 函数的支持。如果你有改进建议，欢迎提交 Issue！

接入数据

Materialize 可以直接从 PostgreSQL 或 MySQL 复制流、Kafka（及其他兼容 Kafka API 的系统，如 Redpanda），或者通过 Webhook 从 SaaS 应用中读取数据。

转换、操作并读取你的数据

数据接入后，即可通过 PostgreSQL 协议定义视图并执行查询。你可以使用自己喜欢的 SQL 客户端，包括系统内置的 psql。在生产环境中使用 Materialize 的客户通常会使用 dbt Core。

Materialize 支持丰富的 SQL 功能，全部使用 PostgreSQL 方言和协议：

• 连接、连接、还是连接！Materialize 支持多列连接条件、多路连接、自连接、交叉连接、内连接、外连接等。
• Delta-joins（增量连接）避免了只能规划嵌套二元连接系统的中间状态爆炸问题 —— 已在多达 64 个关系的连接上进行了测试。
• 支持子查询。Materialize 的 SQL 优化器会自动执行子查询去相关（decorrelation），无需手动将子查询重写为连接。
• Materialize 能够在存在任意插入、更新和删除的情况下增量维护视图。无需任何特殊标记。
• 支持所有聚合函数：min, max, count, sum, stddev 等。
• HAVING
• ORDER BY
• LIMIT
• DISTINCT
• 支持 PostgreSQL 方言中的 JSON，包括运算符和函数，如 ->, ->>, @>, ?, jsonb_array_element, jsonb_each。Materialize 会自动规划横向连接（lateral joins）以高效支持 jsonb_each。
• 支持视图嵌套视图！
• 支持多视图。