一、分片概念详解
分片（Sharding） 是分布式数据库系统中用于确定数据在多台存储设备上分布的核心技术。可以将整个数据库形象地比作一块完整的玻璃，当这块”玻璃”被打碎成多个部分时，每一部分就称为一个数据库碎片。将一个完整的数据库分割成多个碎片的过程就称为分片，这是一种典型的横向扩展（Scale-out） 解决方案。
核心概念区分：
- 分片：逻辑层面的概念，指数据划分的策略和方法，描述了如何将数据分散到不同节点的算法和规则
- 分库分表：物理层面的实现结果，是分片策略的具体体现
数据库扩展方案对比：
- 横向扩展（Scale-out）：通过增加机器数量来扩展系统，将单一数据库拆分为多个数据库实例，理论上可以无限扩展
- 纵向扩展（Scale-up）：通过提升单机性能来增强系统能力，升级CPU、增加内存、使用更快的存储设备
二、基于范围分片
基于范围分片（Range-based Sharding）根据特定字段的数值范围将数据划分到不同的存储节点上。常见的分片键包括：用户ID（如0-100万在节点1，100-200万在节点2）、订单时间（按月份划分）、产品价格等。
优点：
- 扩容友好性：新增数据天然落在新范围的节点上，集群扩容时只需为新范围添加节点，旧数据无需重新分配
- 查询效率：范围查询性能优异，支持高效的分片键顺序扫描
缺点：
- 热点问题：近期数据集中在最新时间范围节点，造成访问不均衡
- 数据分布不均：某些范围可能包含过多数据
- 维护复杂度：需要持续监控和调整范围边界
适用场景：有明显时间特征的数据（如日志、订单）、数值分布均匀的键、需要频繁进行范围查询的业务
三、哈希取模分片
哈希取模是一种基础且常用的数据分片方法。
实现原理：
- 整型Key处理：
设备编号 = Key % N - 其他类型Key处理：
设备编号 = Hash(Key) % N（N表示当前集群中的设备总数）
优点：
- 实现简单，逻辑清晰，开发成本低
- 数据分布均匀性较好
- 不易出现热点问题
- 查询效率高
缺点：
- 扩容困难：当需要增加节点时（如从N台扩容到N+1台），会导致绝大部分数据的模值发生变化
- 数据迁移量大：扩容时约(N/(N+1))的数据需要重新分配和迁移
- 无法实现平滑扩容
数学特性分析： 假设原集群有N个节点，扩容到N+1个节点时，数据迁移比例 = 1 - (N/(N+1)) ≈ 1/N。例如从10台扩容到11台，约90.9%的数据需要迁移。
四、一致性哈希分片
一致性Hash是将数据库按照特征值映射到一个首尾相接的Hash环上，同时也将节点映射到这个环上。对于数据，从数据在环上的位置开始，顺时针找到的第一个节点即为数据的存储节点。
工作原理：
- 哈希环构建：将整个哈希值空间组织成一个虚拟的环（0~2^32-1）
- 节点映射：对每个节点计算哈希（如hash(IP:port)），将其映射到环上
- 数据定位：对数据key计算哈希，在环上顺时针找到第一个节点即为存储位置
关键优势：
- 最小化数据迁移：当增加节点时，仅影响相邻节点之间的数据
- 虚拟节点技术：通过为每个物理节点分配多个虚拟节点（如200-300个），解决数据倾斜问题
- 动态平衡：节点上下线时，数据迁移量平均仅为K/N
典型应用场景：
- Redis集群：采用16384个槽位的变种一致性哈希
- Memcached：客户端分片常用一致性哈希
- 分布式存储系统：如Ceph的CRUSH算法
- 负载均衡：Nginx的upstream一致性哈希负载策略