Merge branch 'master' into document-split

lilin90 · Sep 4, 2018 · e38959c · e38959c
2 parents 4981d28 + 3f51d07
commit e38959c
Show file tree

Hide file tree

Showing 96 changed files with 3,692 additions and 1,663 deletions.
diff --git a/FAQ.md b/FAQ.md
diff --git a/QUICKSTART.md b/QUICKSTART.md
diff --git a/README.md b/README.md
@@ -70,12 +70,13 @@
   - [错误码与故障诊断](sql/error.md)
   - [与 MySQL 兼容性对比](sql/mysql-compatibility.md)
   - [TiDB 内存控制](sql/tidb-memory-control.md)
+  - [慢查询日志](sql/slow-query.md)
   + 高级功能
     - [历史数据回溯](op-guide/history-read.md)
     - [垃圾回收 (GC)](op-guide/gc.md)
 + TiDB 运维文档
   - [软硬件环境需求](op-guide/recommendation.md)
-  + 部署集群 
+  + 部署集群
     - [Ansible 部署方案（强烈推荐）](op-guide/ansible-deployment.md)
     - [离线 Ansible 部署方案](op-guide/offline-ansible-deployment.md)
     - [Docker 部署方案](op-guide/docker-deployment.md)
@@ -84,36 +85,50 @@
   + 配置集群
     - [参数解释](op-guide/configuration.md)
     - [TiDB 配置项解释](op-guide/tidb-config-file.md)
+    - [使用 Ansible 变更组件配置](op-guide/ansible-deployment-rolling-update.md#变更组件配置)
     - [开启 TLS 验证](op-guide/security.md)
     - [生成自签名证书](op-guide/generate-self-signed-certificates.md)
   + 监控集群
     - [整体监控框架概述](op-guide/monitor-overview.md)
     - [重要监控指标详解](op-guide/dashboard-overview-info.md)
     - [组件状态 API & 监控](op-guide/monitor.md)
   + 扩容缩容
-     - [使用 Ansible 扩容缩容](QUICKSTART.md#tidb-集群扩容缩容方案)
-     - [集群扩容缩容方案](op-guide/horizontal-scale.md)
-  - [升级](op-guide/ansible-deployment.md#滚动升级)
+    - [集群扩容缩容方案](op-guide/horizontal-scale.md)
+    - [使用 Ansible 扩容缩容](op-guide/ansible-deployment-scale.md)
+  + 升级
+    - [升级组件版本](op-guide/ansible-deployment-rolling-update.md#升级组件版本)
+    - [TiDB 2.0 升级操作指南](op-guide/tidb-v2-upgrade-guide.md)
   - [性能调优](op-guide/tune-tikv.md)
   + 备份与迁移
     - [备份与恢复](op-guide/backup-restore.md)
     + 数据迁移
       - [数据迁移概述](op-guide/migration-overview.md)
       - [全量导入](op-guide/migration.md#使用-mydumperloader-全量导入数据)
       - [增量导入](op-guide/migration.md#使用-syncer-增量导入数据)
-  - [Binary 部署方案](op-guide/binary-deployment.md)
   - [故障诊断](trouble-shooting.md)
 + TiDB 周边工具
-  - [Syncer 使用文档](tools/syncer.md)
-  - [Loader 使用文档](tools/loader.md)
-  - [TiDB-Binlog 使用文档](tools/tidb-binlog-kafka.md)
-  - [PD Control 使用文档](tools/pd-control.md)
+  - [Syncer](tools/syncer.md)
+  - [Loader](tools/loader.md)
+  - [TiDB-Binlog](tools/tidb-binlog-kafka.md)
+  - [PD Control](tools/pd-control.md)
+  - [PD Recover](tools/pd-recover.md)
+  - [TiKV Control](tools/tikv-control.md)
+  - [TiDB Controller](tools/tidb-controller.md)
 + TiSpark 文档
   - [TiSpark 快速入门指南](tispark/tispark-quick-start-guide.md)
   - [TiSpark 用户指南](tispark/tispark-user-guide.md)
 - [常见问题与解答(FAQ)](FAQ.md)
 - [最佳实践](https://pingcap.com/blog-cn/tidb-best-practice/)
 + [版本发布历史](releases/rn.md)
+  - [2.1 RC1](releases/21rc1.md)
+  - [2.0.6](releases/206.md)
+  - [2.0.5](releases/205.md)
+  - [2.1 Beta](releases/21beta.md)
+  - [2.0.4](releases/204.md)
+  - [2.0.3](releases/203.md)
+  - [2.0.2](releases/202.md)
+  - [2.0.1](releases/201.md)
+  - [2.0](releases/2.0ga.md)
   - [2.0 RC5](releases/2rc5.md)
   - [2.0 RC4](releases/2rc4.md)
   - [2.0 RC3](releases/2rc3.md)
@@ -131,26 +146,32 @@
   - [北京银行](http://t.cn/RnY8fGn)
   - [海航](http://t.cn/REXx0Qe)
   - [今日头条](http://t.cn/RnLfEMf)
+  - [转转](http://t.cn/R1MAXEq)
   - [Mobike](http://t.cn/RT8FbP6)
-  - [饿了么](http://t.cn/RnsqFT6)
+  - [饿了么（一）](http://t.cn/RucuK6m)
+  - [饿了么（二）](http://t.cn/RnsqFT6)
   - [易果生鲜](http://t.cn/RTYVhzH)
   - [同程旅游](http://t.cn/RmXeNKR)
   - [去哪儿](http://t.cn/RTKnsL7)
   - [G7](http://t.cn/RQVePoX)
   - [一面数据](http://t.cn/RT9r5di)
   - [凤凰网](http://t.cn/RHRQfNT)
   - [猿辅导](http://t.cn/RTKnKSX)
-  - [Mobikok](http://t.cn/Rm1F6lg)
+  - [Mobikok](http://t.cn/Rm1F6lg)
   - [二维火](http://t.cn/R8bXM2f)
+  - [客如云](http://t.cn/R1wSEJH)
   - [Ping++](http://t.cn/RE5xYKn)
   - [乐视云](http://t.cn/Rnv3IVs)
   - [零氪科技](http://t.cn/REj7tSv)
+  - [威锐达测控](http://t.cn/R3CrviR)
   - [盖娅互娱](http://t.cn/RT9r7hx)
   - [游族网络](http://t.cn/R8k4AWB)
+  - [西山居](http://t.cn/RBP12zj)
   - [FUNYOURS JAPAN](http://t.cn/Rnoab5D)
+  - [特来电](http://t.cn/RrHzUGW)
   - [万达网络](http://t.cn/RTKm6ds)
-  - [佐助金融](http://t.cn/RQeoKaa)
   - [360金融](http://t.cn/RTKnTev)
+  - [中国电信翼支付](http://t.cn/R3Wd9p3)
   - [某电信运营商](http://t.cn/RTYWADg)
 + 更多资源
   - [常用工具](https://github.com/pingcap/tidb-tools)

diff --git a/ROADMAP.md b/ROADMAP.md
@@ -1,63 +1,78 @@
+---
+title: TiDB 路线图
+category: Roadmap
+---
+
 # TiDB 路线图
 
 ## TiDB：
 
 - [ ] 优化器
-  - [ ] 重构 Ranger
-  - [ ] 统计信息优化
-  - [ ] 代价模型优化
+    - [x] 重构 Ranger
+    - [ ] 代价模型优化
+    - [ ] Join Reorder
+- [ ] 统计信息
+    - [x] 基于 Query Feedback 动态更新统计信息
+    - [x] 自动 Analyze
+    - [ ] 提升 Row Count 估算精度
 - [ ] 执行引擎
-  - [ ] 算子并行化
-  - [ ] Compact Row Foramt，节省内存占用
-  - [ ] File Sort
-- [ ] 支持 View
-- [ ] 支持窗口函数
-- [ ] 支持 Common Table Expression
-- [ ] 支持分区表
-- [ ] Hash 时间索引，解决写入热点 Region 问题
-- [ ] 逆序索引
+    - [ ] 下推 Projection 到 Coprocessor
+    - [ ] 优化 HashJoin 算子执行速度
+    - [ ] 算子并行化
+        - [x] 并行 Projection
+        - [ ] 并行聚合
+        - [ ] 并行 Sort
+    - [x] Compact Row Format，节省内存占用
+    - [ ] File Sort
+- [ ] View
+- [ ] 窗口函数
+- [ ] Common Table Expression
+- [ ] 分区表
 - [ ] 聚簇索引
 - [ ] DDL 改进
+    - [x] Add Index 加速
+    - [ ] 并行 DDL
 - [ ] 支持 `utf8_general_ci` collation
 
 ## TiKV:
 
 - [ ] Raft
-  - [ ] Region 合并
-  - [ ] Local read thread
-  - [ ] 多线程 Raftstore
-  - [ ] None voter
-  - [ ] Pre-vote
-- [ ] RocksDB
-  - [ ] 使用 DeleteRange 特性
-- [ ] Transaction
-  - [ ] 提升冲突严重的场景下 Transaction 的性能
-- [ ] Coprocessor
-  - [ ] 支持 Streaming 接口
+    - [x] Region 合并
+    - [ ] Local read thread
+    - [ ] 多线程 Raftstore
+    - [x] None voter
+    - [ ] Pre-vote
+- [x] RocksDB
+    - [x] 使用 DeleteRange 特性
+- [x] Transaction
+    - [x] 提升冲突严重的场景下 Transaction 的性能
+- [x] Coprocessor
+    - [x] 支持 Streaming 接口
 - [ ] Tool
-  - [ ] 分布式数据导入
-  - [ ] 分布式数据导出
-  - [ ] 灾难恢复
+    - [x] 分布式数据导入
+    - [ ] 分布式数据导出
+    - [ ] 灾难恢复
 - [ ] 流控和降级处理
 
 ## PD:
 
-- [ ] Namespace 完善
-  - [ ] 不同 Namespace 或者 Table 配置不同的副本策略
-- [ ] Table region 分散调度
-- [ ] 调度支持优先级，更加可控
+- [x] Namespace 完善
+    - [x] 不同 Namespace 或者 Table 配置不同的副本策略
+- [x] Table Region 分散调度
+- [x] 调度支持优先级，更加可控
 - [ ] 使用机器学习优化调度
 
 ## TiSpark:
 
-- [ ] limit / Order下推
-- [ ] DAG接口接入（废除Select接口）
-- [ ] Index Join和并行merge join
-- [ ] Data Federation（桥接其他数据源，最好能和社区同步，这个接进来可以比较好扩展Usecase，如果再做一个InputFormat适配就可以接Hive和Presto这些Hadoop上的数仓）
+- [ ] Limit/Order 下推
+- [x] DAG 接口接入（废除 Select 接口）
+- [ ] Index Join 和并行 merge join
+- [ ] Data Federation（桥接其他数据源，最好能和社区同步，这个接进来可以比较好扩展 Usecase，如果再做一个 InputFormat 适配就可以接 Hive 和 Presto 这些 Hadoop 上的数仓）
 
 ## SRE&Tools:
-- [ ] On-Premise 版本集成部署 (K8s based)
+
+- [x] On-Premise 版本集成部署 (K8s based)
 - [ ] On-Premise 版本 Dashboard UI
 - [ ] 集群备份和恢复工具（结合物理备份）
 - [ ] 数据迁移工具（Wormhole 二期）
-- [ ] 安全与系统诊断
+- [ ] 安全与系统诊断
diff --git a/benchmark/sysbench-v2.md b/benchmark/sysbench-v2.md
@@ -0,0 +1,132 @@
+---
+title: TiDB Sysbench 性能对比测试报告 - v2.0.0 对比 v1.0.0
+category: benchmark
+---
+
+# TiDB Sysbench 性能对比测试报告 - v2.0.0 对比 v1.0.0
+
+## 测试目的
+
+对比 TiDB 2.0 版本和 1.0 版本在 OLTP 场景下的性能。
+
+## 测试版本、时间、地点
+
+TiDB 版本：v1.0.8 Vs v2.0.0-rc6
+
+时间：2018 年 4 月
+
+地点：北京
+
+## 测试环境
+
+IDC 机器
+
+| 类别 | 名称 |  
+| :--------: | :---------: |
+| OS | Linux (CentOS 7.3.1611) |
+| CPU | 40 vCPUs, Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz |
+| RAM | 128GB |
+| DISK | Optane 500GB SSD * 1 |  
+
+Sysbench 测试脚本：
+https://github.com/pingcap/tidb-bench/tree/master/sysbench   
+
+## 测试方案
+
+### TiDB 版本信息
+
+### v1.0.8
+
+| 组件 | GitHash |
+| :--------: | :---------: |
+| TiDB | 571f0bbd28a0b8155a5ee831992c986b90d21ab7 |
+| TiKV | 4ef5889947019e3cb55cc744f487aa63b42540e7 |
+| PD | 776bcd940b71d295a2c7ed762582bc3aff7d3c0e |
+
+### v2.0.0-rc6
+
+| 组件 | GitHash |
+| :--------: | :---------: |
+| TiDB | 82d35f1b7f9047c478f4e1e82aa0002abc8107e7 |
+| TiKV | 7ed4f6a91f92cad5cd5323aaebe7d9f04b77cc79 |
+| PD | 2c8e7d7e33b38e457169ce5dfb2f461fced82d65 |
+
+### TiKV 参数配置
+
+* v1.0.8
+
+    ```
+    sync-log = false
+    grpc-concurrency = 8
+    grpc-raft-conn-num = 24 
+    ```
+
+* v2.0.0-rc6
+
+    ``` 
+    sync-log = false
+    grpc-concurrency = 8
+    grpc-raft-conn-num = 24 
+    use-delete-range: false
+    ```
+
+### 集群拓扑
+
+| 机器 IP | 部署实例 |
+|--------------|------------|
+| 172.16.21.1 | 1*tidb 1*pd 1*sysbench |
+| 172.16.21.2 | 1*tidb 1*pd 1*sysbench |
+| 172.16.21.3 | 1*tidb 1*pd 1*sysbench |
+| 172.16.11.4 | 1*tikv |
+| 172.16.11.5 | 1*tikv |
+| 172.16.11.6 | 1*tikv |
+| 172.16.11.7 | 1*tikv |
+| 172.16.11.8 | 1*tikv |
+| 172.16.11.9 | 1*tikv |
+
+## 测试结果
+
+### 标准 Select 测试 
+
+| 版本 | table count | table size | sysbench threads |qps | latency(avg / .95) | 
+| :---: | :---: | :---: | :---: | :---: | :---: | 
+| v2.0.0-rc6 | 32 | 1000 万 | 128 * 3 |  201936 | 1.9033 ms / 5.67667 ms |
+| v2.0.0-rc6 | 32 | 1000 万 | 256 * 3 | 208130 | 3.69333 ms / 8.90333 ms  |
+| v2.0.0-rc6 | 32 | 1000 万 | 512 * 3 |  211788 | 7.23333 ms / 15.59 ms |
+| v2.0.0-rc6 | 32 | 1000 万 | 1024 * 3 |  212868 | 14.5933 ms / 43.2133 ms |
+| v1.0.8  | 32 | 1000 万 | 128 * 3 |  188686 | 2.03667 ms /  5.99 ms  |
+| v1.0.8  | 32 | 1000 万 | 256 * 3 |  195090  |3.94 ms / 9.12 ms  |
+| v1.0.8  | 32 | 1000 万 | 512 * 3 |  203012 | 7.57333 ms / 15.3733 ms  |
+| v1.0.8  | 32 | 1000 万 | 1024 * 3 |  205932 | 14.9267 ms / 40.7633 ms |
+
+GA2.0 比 GA1.0 在 Select 查询性能上，最高提升了 10% 左右。
+
+### 标准 OLTP 测试 
+
+| 版本 | table count | table size | sysbench threads | tps | qps | latency(avg / .95) | 
+| :---: | :---: | :---: | :---: | :---: | :---: | :---:|
+| v2.0.0-rc6 | 32 | 1000 万 | 128 * 3 | 5404.22 | 108084.4 | 87.2033 ms / 110 ms |
+| v2.0.0-rc6 | 32 | 1000 万 | 256 * 3 | 5578.165 | 111563.3 | 167.673 ms / 275.623 ms |
+| v2.0.0-rc6 | 32 | 1000 万 | 512 * 3 | 5874.045 | 117480.9 | 315.083 ms / 674.017 ms |
+| v2.0.0-rc6 | 32 | 1000 万 | 1024 * 3 | 6290.7 | 125814 | 529.183 ms / 857.007 ms |
+| v1.0.8 | 32 | 1000 万 | 128 * 3 | 5523.91 | 110478 | 69.53 ms / 88.6333 ms |
+| v1.0.8 | 32 | 1000 万 | 256 * 3 | 5969.43 | 119389 |128.63 ms / 162.58 ms |
+| v1.0.8 | 32 | 1000 万 | 512 * 3 | 6308.93 | 126179 | 243.543 ms / 310.913 ms |
+| v1.0.8 | 32 | 1000 万 | 1024 * 3 | 6444.25 | 128885 | 476.787ms / 635.143 ms |
+
+GA2.0 比 GA1.0 在 OLTP 性能上，性能基本一致。
+
+### 标准 Insert 测试 
+
+| 版本 | table count | table size | sysbench threads |qps | latency(avg / .95) | 
+| :---: | :---: | :---: | :---: | :---: | :---: | 
+| v2.0.0-rc6 | 32 | 1000 万 | 128 * 3 | 31707.5 | 12.11 ms / 21.1167 ms |
+| v2.0.0-rc6 | 32 | 1000 万 | 256 * 3 | 38741.2 | 19.8233 ms / 39.65 ms |
+| v2.0.0-rc6 | 32 | 1000 万 | 512 * 3 | 45136.8 | 34.0267 ms / 66.84 ms |
+| v2.0.0-rc6 | 32 | 1000 万 | 1024 * 3 | 48667 | 63.1167 ms / 121.08 ms |
+| v1.0.8 | 32 | 1000 万 | 128 * 3 | 31125.7 | 12.3367 ms / 19.89 ms |
+| v1.0.8 | 32 | 1000 万 | 256 * 3 | 36800 | 20.8667 ms / 35.3767 ms |
+| v1.0.8 | 32 | 1000 万 | 512 * 3 | 44123 | 34.8067 ms / 63.32 ms |
+| v1.0.8 | 32 | 1000 万 | 1024 * 3 | 48496 | 63.3333 ms / 118.92 ms |
+
+GA2.0 比 GA1.0 在 Insert 性能上略有提升。