Maxwell‘s Daemon 采集Mysql数据变更到Kafka构建数据库审计

一、前言

  • 审计日志系统有很多应用场景,而不仅仅是存储用于审计目的的数据。除了合规性和安全性的目的之外,它还能够被市场营销团队使用,以便于锁定目标用户,也可以用来生成重要的告警。

  • 数据库内置的审计日志功能可能并不够用,要处理所有的用户场景,它肯定不是理想的方式。

  • 目前,有很多的开源工具,如Maxwell’s DaemonsDebezium,它们能够以最少的基础设施和时间需求支持这些需求。

  • Maxwell’s daemons 能够读取binlog并发送事件到各种生产者,比如KafkaAmazon KinesisSQSRabbit MQ等。

  • SQL 数据库生成的 binlog必须是基于 ROW 的格式,这样才能使整个环境运行起来。

假设你正在使用关系型数据来维护事务性数据并且你需要存储某些数据的审计跟踪信息,而这些数据本身是以表的形式存在的。如果你像大多数开发人员那样,那么最终所采用的方案可能如下所示:

1.1 使用数据库的审计日志功能

大多数数据库都提供了插件来支持审计日志。这些插件可以很容易地安装和配置,以便于记录数据。但是,这种方式存在如下的问题:

  • 完整的审计日志插件一般只有企业级版本才提供。社区版可能会缺失这样的插件。以 MySQL 为例,审计日志插件只

相关推荐
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页
实付 39.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值