本项目提供全栈大数据服务部署,包括:
- PostgreSQL(高可用,支持 pgvector)
- Redis(Sentinel 模式高可用)
- RabbitMQ(多副本集群 + 队列高可用)
- Kafka + ZooKeeper(全副本持久化)
- Quickwit(全文索引)
- Debezium CDC + Kafka Connector 自动注册
- 使用 OpenEBS + cStor 作为持久化存储方案
./init-openebs-cstor.sh
helm repo add bitnami https://charts.bitnami.com/bitnami
helm dependency update .
helm install openebs-stack . -f values.yaml
helm install openebs-stack . -f values-prod-all.yaml
中间件 | 高可用架构 | 说明 |
---|---|---|
PostgreSQL | 主从复制 + Repmgr | 自动故障转移 + pgvector 支持 |
Redis | Sentinel | 自动选主 + 读写分离 |
RabbitMQ | 多副本集群 + quorum queue | 队列强一致,高可用 |
Kafka | 多 Broker + ZooKeeper | 分区 + 副本容灾 |
Quickwit | 多副本 ingestion/searcher | 分布式全文索引 |
文件名 | 说明 |
---|---|
values-prod-all.yaml |
一键高可用配置(推荐使用) |
doc/ |
部署、扩容、备份恢复、工作流文档 |
scripts/setup-data-flow.sh |
初始化工作流测试脚本 |
[PostgreSQL] --(Debezium)--> [Kafka] --(Quickwit Ingestion)--> [Quickwit 索引]
| ↑
|-- pgvector (向量搜索可选) -----------|
helm uninstall openebs-stack
INSERT INTO message (id, message, user_id, ts) VALUES (1, '你好 Quickwit', 123, now());
curl http://<quickwit-service>:7280/api/v1/message/search -d '{"query": "message:你好"}'
./push-images.sh