概述

ShardingSphere 的分片流程核心包括 SQL解析、查询优化、SQL路由、SQL改写、SQL执行及结果归并 六大环节。

一、SQL解析

1. 词法解析（Lexical Analysis）

  • 将原始SQL语句拆分为基本的语法单元（Token）
  • 识别SQL字符串中的关键字（如SELECT、FROM等）
  • 识别标识符（如表名、列名）
  • 识别操作符（如=、>等）
  • 识别常量（如数字、字符串）

示例：SELECT id FROM user WHERE age > 18 会被分解为：[SELECT, id, FROM, user, WHERE, age, >, 18]

2. 语法解析（Syntax Analysis）

  • 根据SQL语法规则验证语句结构，生成抽象语法树（AST）
  • 检查关键字顺序是否符合语法规则
  • 验证语句结构完整性

3. Sharding-JDBC的解析器实现

Sharding-JDBC针对不同数据库方言提供了专门的解析器实现：

  • MySQL解析器：支持MySQL特有的语法如ON DUPLICATE KEY UPDATE，处理LIMIT分页语法
  • Oracle解析器：解析ROWNUM伪列，处理DUAL虚拟表
  • SQLServer解析器：解析TOP语法，处理WITH(NOLOCK)等表提示
  • PostgreSQL解析器：解析RETURNING子句，支持WINDOW窗口函数

二、查询优化

  1. 条件合并处理：将相同字段的多个条件合并为更高效的表达式
  2. 分片条件优化：识别可以下推的分片条件
  3. 执行计划改进：减少跨分区的数据传输量
  4. 特殊场景处理：处理带子查询的OR条件，优化包含JOIN的复杂条件

三、SQL路由

SQL路由是分布式数据库系统中的核心组件，负责根据SQL解析结果和用户配置的分片策略，将查询请求路由到正确的数据节点。

1. 分片策略匹配

系统会根据表的分片配置（如分片键、分片算法等）与SQL语句中的条件进行匹配。

2. 路由类型判断

  • 分片路由（Shard Routing）：将SQL路由到特定的一个或多个分片节点
  • 广播路由（Broadcast Routing）：将SQL同时发送到所有分片节点

3. 性能优化机制

  • 路由结果缓存
  • 分片元数据本地缓存
  • 智能路由选择算法

四、SQL改写

SQL改写是将原始SQL语句转换为能够在真实数据库环境中正确执行的形式。

1. 正确性改写

  • 语法适配：将特定数据库特有的语法转换为目标数据库支持的语法
  • 函数替换：将不兼容的函数替换为目标数据库支持的等效函数
  • 数据类型转换：调整数据类型定义以适应目标数据库

2. 优化改写

  • 查询重写：将子查询改为连接查询
  • 分页优化：对于大数据量分页，使用更高效的分页方式

五、SQL执行

1. 执行流程

  1. SQL解析：首先对SQL语句进行语法分析和语义检查
  2. 执行计划生成：根据SQL类型生成最优执行计划
  3. 任务分发：将SQL执行任务提交到线程池队列
  4. 异步执行：线程池中的工作线程从队列获取任务并执行
  5. 结果返回：执行完成后通过回调函数返回结果

2. 性能优化

  • 使用预编译语句(PreparedStatement)减少解析开销
  • 对大结果集使用分页查询
  • 对耗时操作设置合理的超时时间

六、结果归并

结果归并是将多个执行节点返回的结果集进行合并处理。

1. 流式归并

  • 采用迭代器模式逐条获取数据
  • 典型应用场景：ORDER BY排序归并、GROUP BY分组归并
  • 优点：内存占用低，适合大数据量处理

2. 内存归并

  • 需要将所有结果数据加载到内存中进行处理
  • 适用于：聚合函数计算（SUM/AVG/MAX等）

3. 装饰者模式追加归并

  • 在不改变原有结果集的基础上追加功能
  • 结果集元数据合并、分页归并、数据校验归并