大数据-264 实时数仓 - Canal MySQL的binlog研究 存储目录 变动信息 配置MySQL

配置 MySQL 的 binlog

基本介绍

MySQL 的二进制日志（Binary Log，简称 binlog）是 MySQL 数据库中的一种日志文件类型，它记录了对数据库执行的所有更改操作（不包括 SELECT 和 SHOW 等查询操作）。它主要用于数据恢复、复制和审计等场景。

Binlog 的作用

• 数据恢复：在数据库崩溃或误操作导致数据丢失时，可以通过 binlog 重放来恢复数据。
• 主从复制：Binlog 是 MySQL 主从复制机制的核心，通过将主库的 binlog 传输到从库并重放，从而实现数据同步。
• 数据审计：记录了所有数据更改的具体时间和操作人，便于审计与分析。
• 增量备份：Binlog 支持记录增量数据变化，结合快照备份，可以快速恢复到指定时间点。

Binlog 的工作原理

• 事件记录：Binlog 将每一个对数据的更改操作记录为”事件”（Event），按时间顺序存储。
• 日志格式：记录的数据包含事务 ID、表名、变更类型（INSERT、UPDATE、DELETE）、具体变更内容等。
• 写入过程：当用户执行事务时，数据变更先写入 binlog 缓冲区，事务提交后刷新到 binlog 文件。
• 日志滚动：Binlog 文件会按配置大小或时间定期轮转生成新的日志文件，并删除旧日志（根据配置）。

Binlog 的日志格式

STATEMENT 模式

记录 SQL 语句。

优点：日志较小。

缺点：依赖环境，某些 SQL 执行结果可能不一致。

ROW 模式

记录具体的行变化。

优点：安全可靠，适合复制。

缺点：日志较大。

MIXED 模式

混合模式，自动选择最合适的模式（一般以 ROW 为主）。

常见命令

是否启用binlog日志

show variables like 'log_bin';

查看binlog类型

show global variables like 'binlog_format';

查看详细的日志配置信息

show global variables like '%log%';

mysql数据存储目录

show variables like '%dir%';

查看binlog的目录

show global variables like "%log_bin%";

查看当前服务器使用的biglog文件及大小

show binary logs;

查看最新一个binlog日志文件名称和Position

show master status;

查询binlog 变动信息

show binlog events;

修改MySQL

在 MySQL 中，需要先开启 binlog 写入功能，配置 binlog-format 为 ROW 模式。

vim /etc/my.cnf.d/mariadb-server.cnf

配置内容：

[mysqld]
# 配置 MySQL replaction 需要定义，不要和 Canal 的 slaveId 重复
server-id=1
# 开启 binlog
log-bin=mysql-bin
# 选择 ROW 模式
binlog-format=ROW
# dwshow是数据库的名称
binlog-do-db=dwshow

重启MySQL

修改后需要重启 MySQL，只有重启之后配置才能生效。

systemctl restart mariadb
cd /var/lib/mysql
ll

配置授权

授权 Canal 链接 MySQL 账号具有作为 MySQL Slave的权限，如果已有账户可以直接 Grant。

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal' ;

导入数据

接下来往 dbshow 数据库中导入业务数据进行测试，导入数据后，观察 /var/lib/mysql 目录中是否有 mysql-bin.* 文件。