{
"componentChunkName": "component---src-templates-blog-blog-detail-tsx",
"path": "/blog/the-future-of-database-2023",
"result": {"pageContext":{"blog":{"id":"Blogs_500","title":"黄东旭：The Future of Database，掀开 TiDB Serverless 的引擎盖","tags":["PingCAP 用户峰会","Serverless"],"category":{"name":"观点洞察"},"summary":"PingCAP 联合创始人兼 CTO 黄东旭分介绍了 TiDB Serverless 作为未来一代数据库的核心设计理念，同时探讨了 TiDB Serverless 对于中国用户的价值。","body":"## 导读\n\n在 PingCAP 用户峰会 2023 上，PingCAP 联合创始人兼 CTO 黄东旭分享了“The Future of Database”为主题的演讲，介绍了 TiDB Serverless 作为未来一代数据库的核心设计理念。黄东旭通过分享个人经历和示例，强调了数据库的服务化而非服务化数据库的重要性，并展示了 TiDB Serverless 架构的创新之处，同时探讨了 TiDB Serverless 对于中国用户的价值。以下为分享实录。\n\n作为今天上午的最后一个话题，相信大家已经感受到今天我们分享的最核心逻辑，跟刚才刘奇分享的我们部署一代、研发一代相承接，到我这部分就是未来的一代：预研一代。 \n\n因为今天会场有很多熟悉的老朋友，看到我这个标题肯定会心一笑，我每次在大会上的演讲都是这个题目：The Future of Database。选择这个主题一是我发现每次讲未来的东西都有东西可以讲；另外一点，很多老朋友发现我去年总是不时消失一段时间，怀疑我去闭关修炼了，我也跟大家汇报一下东旭去哪儿了。 \n\n**Demo：我花了多长时间构建我自己的 OSSInsight Lite**\n\n\n\n分享之前给大家看看，刘奇的分享里面的这一页，把我 GitHub 个人数据分析的服务截图放上去了，这个小 demo 是我个人的挑战，我能不能完全做到不写代码，不去买服务器，完全用现代化的在线的云上的应用做一个我自己的数据服务。\n\n\n\n在这个小的视频里边，我几乎全程只用了鼠标来操作，我想分享的点并不是让大家去学习这些技术，而是想让大家稍微体验一下现代的开发者构建应用的方式已经完全不同——门槛越来越低。 \n\n我经常会有一些天马行空的想法，比如我会想如果要给全世界的开发者都提供免费的数据库，这个成本得有多大？以现在的技术肯定支撑不了。那如果要做这么个东西的话，我们可能需要重新去思考数据库本身的一些最基础的东西。 \n\n## 一个人人可用的数据库服务有怎样的技术架构？\n\n\n\n这是一些数据库厂商会说的老生常谈：扩展性、稳定性、用户线性的扩缩容、节省成本、多租户、云原生。 \n\n但是刚才我说的那些新的需求或者面向未来的数据库，可能对每一项都会有更高的要求。比如你的系统已经具备了一定的扩展性和稳定性，但更重要的是你能不能给用户一个稳定的性能的预期，我经常说一句话，稳定的慢比不稳定的快其实更好，可预测性对系统和底层的架构提出了更高的要求；第二就是现在几乎每个分布式数据库都支持弹性扩容，而更高的要求可能是，在做这些扩缩容的复杂操作的时候，开发者、DBA 都不需要去费心，数据库的扩缩容对业务来讲是完全无感的，体验非常顺滑；成本层面，我们再把成本压缩到极限——我能不能，不用的时候就不花钱？开源软件的分发上、下载不要钱，但是运行软件的服务器要花钱，现在我们再往前想一步，——数据库、服务器零成本的起步能不能支持；多租户上，我们过去要去强调互相的隔离，但是如果为了实现大规模的海量的免费的用户、中小型的敏捷的业务，不仅要强调隔离，还得强调资源的高效利用和共享；云原生是老生常谈，做到云中立就是进一步的目标。 \n\n\n\n我这边挑一个简单的例子，就从最近发布的多租户能力说起。如果把租户的规模从私有化部署的几十几百个，扩大到十万个、一百万个、一千万个甚至一亿个，平台如何去支撑这么大的租户数量，它需要哪些基础的能力，我们是怎么思考的？第一老生常谈，多租户一定要隔离；第二是刚才唐刘稍微讲了一下我们现在在研发的东西：资源管控，我们必须得实现一套很好的机制能够让海量用户更高效地利用和共享底层系统的资源，才能达到很低的成本；第三就是能区分，每一个用户在使用的体验上都必须能够感受到自己是在拥有整个数据库的。 \n\n\n\n之前有人问我 TiDB 支持多租户、多应用这种模式吗，我当时一直都是比较保守，通过几个大版本的迭代，我现在可以负责任的说，TiDB 要去实现现代的多租户，基础的能力都已经满足了。 \n\n## TiDB Serverless：未来数据库理念的“概念车” \n\n我们回到最开始的话题：如果我们要给全世界的开发者提供数据库该咋做？今天我就给大家说一下背后的概念车，把 TiDB Serverless 引擎盖掀起来大家看一看。 \n\n\n\n今天无数次讲到了 TiDB 的经典架构，然而如果把 TiDB 这个经典架构搬到云上，想实现“人人可用”这个目标，仅从成本上考虑，PingCAP 就得赔死了。 \n\n\n\n所以重新设计 TiDB Serverless 的时候，我当时定下了几个规范或者开发的哲学，其中最重要的一条就是我们应该做的是数据库的服务化，而不是服务化的数据库。 \n\n传统意义上来说我们要做云数据库，大家第一直观感觉，底下做个云管平台，每个租户部署一套 TiDB，把自动化的管控做完，这不就可以了吗？但是 TiDB Serverless 在这个方面，我们选择重新去思考一些非常基础的东西，刚才做云上运维 TiDB 的思路是行不通的，如果要做这么大规模这么新的东西的话，而且应该当做一个完整的服务去设计，而不是把它当做一个数据库去设计。 \n\n八年前一开始设计 TiDB 的时候，我看到的东西就是一台台具体的服务器，我看到的是 CPU、内存、磁盘，基于这些东西我们构造了 TiDB。但是如果我们现在在云上构建 Serverless 这个系统，拿到的是一张白纸，我今天重新再开始去设计这个系统的时候，我看到的已经不是 CPU、磁盘机器这样的东西了，我看到的东西是云上给我的服务，EC2、虚拟机，我看到的是对象存储，我甚至可以看到云厂商的 RDS，我能不能拿 RDS 作为系统的一部分，所以在新的云原生的工程哲学里边必须有一条能够充分利用云的基础设施，这也是我们能把成本推到如此极限的一个核心的思想。 \n\n\n\n掀开 TiDB Serverless 的引擎盖，大概有三个新的东西，第一个换了新的云原生的引擎 CSE（Cloud-native Storage Engine），非常朴素的名字。第二是终于在 TiDB 引入了逻辑上的 Key Space，第三就是 Resource Control 以及 RU 的概念，从上到下做全局流控。 \n\n\n\n这是 CSE 整体的架构，核心就一点，它是一个极致的成本考虑下，极致的多租户背景下的新一代云上 OLTP 存储引擎。本质来说即使在之前的存储层，TiKV 这一层也开始做了存算分离，这就带来一个好处，比如有一些用户的数据是冷数据，因为我们在云上发现大多数的用户的业务和数据满足 82 法则，20%的热数据，80%可能是冷数据，但这些冷数据你在它不用的时候就可以按照流量的需求，直接 compact 到 AWS S3 这样云上更便宜的存储上面。AWS S3 存储的价格每 TB 每个月大概 20 美金，喝两杯咖啡就有一个月一个 TB 的存储空间了，这还是没有任何优惠的情况，实际上还可以更便宜。 \n\n\n\n所以基于新的存储引擎，我们可以发现本身 TiDB 之上所有的组件一下子就变成了无状态的。当一个组件变成无状态了以后，怎么去降低成本？池化。 \n\n图中 TiDB 右边现在已经把所有的包括计算节点存储节点全都变成了池化的设计，最上面加入了一层 Gateway，用户直接连接到 Gateway，Gateway 负责对现在用户的请求从资源池中捞出一个活跃的节点，它不用的时候连接断开再放回去。 \n\n大家看这个图尤其是做系统架构多年的朋友会有个感觉，这个东西感觉不像一个数据库，反而像大型互联网公司后台的服务——有这个感觉就对了，因为我们在设计这个系统的时候就不是把它当做一个数据库在设计，而是把它当做一个真正的云服务在设计，所以才能达到极致的性能和成本的压缩。 \n\n\n\nTiKV 是 TiDB 的存储引擎，所有的数据都是通过 key-value 来编码的，Key Space 本质上，就是在编码前面加上一个用户 ID 的前缀，将 tenant ID 作为 group keys 的前缀。 \n\n\n\n这张图解释了零成本起步，业务没有流量的时候就不收钱，本质上还是依靠池化来实现的。刚才我提到用户的连接都是连接到一层可以水平扩展的 Cluster Gateway 上，Gateway 来控制计算节点是否启用。如果这个客户的数据特别冷，十天半个月都不访问一下，这个数据完全存储在对象存储上，在对象存储上的成本是极其低的，在用户请求的时候再快速加载回来。这样一个架构保证了 TiDB Serverless 基础设施的成本会被均摊到所有用户身上，用户越多，数据量越大的时候，成本也就会越来越低。 \n\n\n\n我最后分享一个小小的例子。我们公司内部也有自己用自己产品的习惯，这是我们自己的一些服务 demo，全部用 TiDB 自己构建。我们做了一个很有趣的工具叫 OSS Insight，把 GitHub 上的数据抓下来做分析的一个在线应用，这个在以前传统的 TiDB Cloud，也就是经典 TiDB 云上部署架构下，一个月的成本在一万美金左右，上图就是我们付给自己的账单。 \n\n\n\n同样这个业务今天已经接近 12 个 TB 了，这样一个巨型的数据库前一段把它迁移到 Serverless 以后，总体成本下降了 70%，而业务在使用层面上也完全没有任何的感知。 \n\n\n\n这里有一个很有趣的真实例子，刚才我们看到整体的 TiDB Serverless 的设计是面向弹性去做设计的，但是这种东西总是希望能有一个实际的例子去验证一下这东西是不是真的在现实生活中比较好用，我们也真的有了这样的机会。今年 4 月初 OSS Insight 成功登上了 HackerNews 的首页，流量一下暴增到原来的 7 倍，这个事情还发生在中国时间的深夜，我们的工程师都还在睡梦中，TiDB Serverless 自动发现了流量的突变把集群扩容，承担起 7 倍流量的业务负载以后，又自动缩回来，前端业务的各项指标都还是非常稳定的，也没有额外的收费。这是一个特别好的例子，我们也特别欣慰。 \n\n\n\n我今天分享了一些我们未来对数据库的看法，关于 TiDB Serverless，我还有三个点想强调。第一，虽然看到现在它是一个在纯云端的服务，但是我们有计划将更先进的架构服务于中国的客户，甚至你可以未来在私有化环境里面部署 TiDB 的 Serverless。因为我们设计这个系统内核的时候非常仔细的考虑了这个系统本身的可移植性，刚才这些东西未来大家会在自己的数据中心或者自己的云上去使用；第二，我个人认为这也是代表着数据库最前沿的发展的方向，就是云原生加上极致的弹性，我们在思考数据库本身的一些架构或者最底层的想法的变革都会遵循这个方向；第三点我个人觉得Serverless 是我们很好的练兵场，包括中国企业级客户我们预研出来的版本我们新的一些特性，最早会在 Serverless 上应用，比如刚才我说的 Key Space 这个功能，目前已经在 Serverless Tier 上实现了上万个用户的部署，经过上万个集群的打磨，很快也会在企业版和云上托管版本里边落地。 \n\n最后我想小小的总结一下今天我的分享以及我的一些感受。我也代表着 PingCAP，纵使大的经济环境充满各种不确定性，我们永远相信技术创新能够真正给业务带来价值，我也相信技术真正能够改变世界，所以我们相信未来永远是一个更好的世界。","date":"2023-07-24","author":"黄东旭","fillInMethod":"writeDirectly","customUrl":"the-future-of-database-2023","file":null,"relatedBlogs":[{"relatedBlog":{"body":"## 导读\n\n在刚刚结束的 PingCAP 用户峰会 2023 上，PingCAP 创始人兼 CEO 刘奇分享了题为“创新涌动于先”的演讲，全面解析了 AI 时代 TiDB 的演进方向，宣布 TiDB Serverless 正式商用，并携手用户代表发布了面向中国企业级用户的平凯数据库。以下是演讲实录全文，阅读需约 8 分钟。 \n\n过去一段时间，我拜访了全球各地的客户，聆听他们的挑战和建议，以及 PingCAP 是如何帮助他们解决挑战的。在这个过程中，我们也看到一些新的技术发展趋势。当下，AI 技术非常火，到处都是各种各样的 AI Demo，每家企业都在思考这样一个问题：**AI 到底有没有可能重塑软件行业？我的答案是——AI 这次真的要重塑整个软件行业了**。\n\n\n\n## AI 重塑软件行业\n\n作为一家软件公司，我们思考的问题直接体感通常有两个：一个是代码，一个是数据。 \n\n先从代码说起，大家有没有意识到，很多人在过去一段时间不自觉地变成了程序员。今天，我们向 ChatGPT 提问题，它会给我们一个答案；向它提要求，它会给我们一个结果。比如我们可以让 ChatGPT 做总结、写文章，或者让它生成图片。大家可以回忆一下，在 AI 时代到来之前，所有这些工作都需要用程序去完成。我们需要用各种各样的辅助工具，那些东西都需要编程开发。而今天，我们没有写任何一行代码，只是提了个需求，结果就有了。以前，这需要很多程序员很长时间努力才能得到一样的结果。而现在，我们向 AI 发命令、提要求、提问题就能拿到结果，事实上就等于完成了编程工作。现在，自然语言已经成为最热门的编程语言。在过去七个月的时间里，GitHub 上新增代码中已经有超过 46% 是由 AI 生成的。如果从软件开发效率的角度看，AI 实际上已经完成差不多一半的人类工作。 \n\n再说数据，我们今年一月份发布了一个 AI 生成 SQL 的产品，叫 Chat2Query（前往 tidbcloud.com 立即注册体验），用户使用 Chat2Query 就不需要再写 SQL 了，只要用自然语言描述一下希望得到什么数据，希望做一个什么分析，SQL 便会自动生成，只要在数据库里运行一下，就能得到想要的结果，并且还能用图表化的形式自动展示出来。 \n\n\n\n上图右侧是 PingCAP CTO 黄东旭在 GitHub 上的个人数据看板。以前要实现这样一个数据看板，需要一个前端程序员、需要一个数据分析人员写 SQL 来分析数据，还需要一个后端程序员部署服务，甚至还需要知道一点云的知识，理解如何把应用部署在云上。到了今天，这变成一件非常简单的事情，只需十分钟，一行代码都不用写。这是一次巨大的生产力提升，**AI 带来的能力让数据消费的门槛变得极低**。以前，我们必须是一个 SQL 的专家，才能分析数据。有人曾经写过一万多行的 SQL 来处理一个分析需求，这个东西不是人类能轻易掌握的。如今，这个门槛已经降到人人都有可能做到。这意味着我们只要能够连接上电脑，能和 AI 交互，能接触到数据，就可以消费数据。这个数量级可能达到 10 亿人。在接下来的几年里，由数据消费门槛降低带来的数据消费人数的增加，数据消费频次的增长，将使数据呈 10-100 倍规模的增长，这是一个远超我们预期的增速。\n\n## AI 时代，我们需要怎样的数据库技术？\n\n以上改变，将给数据库带来巨大的挑战，数据消费的门槛降到人人可用的程度，需要每个人都有一个数据库可用。早在四五年前，我和 CTO 黄东旭探讨过一个话题——如果 PingCAP 要为全世界所有开发者提供一个免费的数据库，那这个数据库的架构应该是什么样？ \n\n\n\n我们希望这个数据库能够做到实时在线，随时都可以访问，随时都可以用；我们也希望它是一个开放的生态，因为我们不仅仅有存在数据库里面的数据，还有很多存在其他地方的数据，我们需要有一个生态能够和所有数据消费端做更好的对接。 \n\n后来，我们形成了一个结论，起码它应该是个云原生的架构。如果不是云原生的架构，我们就没有办法去应对各种各样弹性的需求；今天，一个用户相对容易预测，那为全球所有开发者都提供一个免费的数据库，就意味着我们会有数千万甚至数亿的用户，这个数据库怎么才能做得到？它需要很强的数据整合能力；其次，因为不同用户的需求是不一样的，数据量也不同，我们需要它有非常强的弹性扩展能力。 \n\n\n\n过去这两年的变化特别快，大家感知最直观的可能是宏观经济变化很快，其实除此之外，AI 技术的进步速度也非常快。从 ChatGPT 在去年 11 月底推出，到今天才过去短短八个月的时间。这八个月中已经创造了无数新的纪录，包括一个新的项目在 GitHub 上面获得 Star 的数据、ChatGPT 用户增长的速度等等。 \n\n大家在面对大量新技术的时候，都做出了最直观的选择，那就是拥抱先进性。过去一段时间我在与美国、日本的客户交流时，最直接的感受是每个人都在讨论两个方向，一个是成本，另一个是效率。在当前经济环境下，这几乎成了所有人的共同选择。\n\n## 客户的关注点就是 TiDB 的焦点 \n\n如果仔细观察 TiDB 发展的轨迹，你就会发现用户对数据库的关注点，其实和 TiDB 实际解决的问题是高度一致的。TiDB 在稳定性、性能、高可用性、易用性、工具生态的提升等方面付出了巨大努力。但我们认为这件事光努力还不够，我们还需要有一个非常好的演进策略以及分层的架构设计。 \n\n\n\n在内部，我们有一个说法叫做 API First，各个模块之间优先设计 API（接下来我们也会推出更多基于 Open API 规范的 API 测试），有了 API 之后系统就很容易被其他各种各样的业务系统集成。举个例子，各大型用户基于 TiDB 都有自己公司内部的运维平台，通过我们提供的 API 能更好地融合到客户内部的平台里。在日本我和一个客户交流的时候，对方专门提到过这一点。过去他们需要花几天时间才能完成新版本的集成，但有 API 之后只要花几分钟就能做到。 \n\nTiDB 整个系统除了模块化的切分，也做了很好的纵向切割，从上到下分成三层。比如 Chat2Query 在最上面一层，这层会更关注整个系统的交互性、易用性，如何让系统更加自动化、更加智能；在 SQL 层主要关注如何提升它的稳定性，让它变得更加智能。比如 TiDB 的优化器如何更智能地选择，到底使用行存还是列存，还是让行列同时使用；最下面是内核层，所有人对此的关注点都一样，就是高可用、高性能。 \n\n\n\n在内核层，TiDB 的存储引擎使用了一个持续升级的策略——部署一代、研发一代、预研一代。今天我们听到的所有关于 TiDB 的讨论，其实都是基于部署一代的体感，不少用户还使用着 TiDB 3.0、4.0，而这已经是四五年前的版本了。当然我们也希望用户能更快升级到最新版本，享受到新版本带来的优势，每一个新版本都会带来巨大的性能和稳定性提升。7.0 版本发布的实验特性 Partitioned Raft KV 就带来了巨大的性能提升。前面预测未来几年数据会扩大 10 倍，部分领域会扩大 100 倍，在如此大的数据规模下面我们的数据库能力是不是也能同步扩大 10 倍、100 倍？这是 Partitioned Raft KV 解决的问题。我们预研一代的存储引擎 Cloud Storage Engine 已经在后面要提到的 TiDB Serverless 中应用，我们的 CTO 黄东旭在后面的演讲和 Blog 中都有详细的解读。 \n\n如果大家留心就会注意到，过去一年时间里 TiDB 的 Online DDL 的速度提升了 10 倍。设想一下，我们有一个 100TB 的表，加一个索引要多久？对系统资源的消耗又是什么样的？除了 DDL，还有一点是 TiDB 的扩缩容的速度在这个引擎里面提升了 5 倍，这也意味着数据丢失的风险降低 5 倍，业务中断的风险降低 5 倍。\n\n## 平替还是跃迁？TiDB 产品家族的协同演进\n\n经过多年发展，TiDB 目前已经拥有三大产品家族：一是面向企业级市场的 TiDB 企业版，服务于企业级关键业务场景；二是全托管的 TiDB Cloud，提供云端一栈式 HTAP 数据库服务，已经成为欧洲、北美、日本、亚太地区众多数字原生企业的选择；三是刚刚正式商用的 TiDB Cloud Serverless，一个 AI Ready 的数据库，以极简架构、极致体验和超低门槛为云上开发者、创业公司提供低至零成本的选择，较 TiDB 社区版和 MySQL RDS 更具成本优势。 \n\n\n\nTiDB 是如何在多个版本间协同演进的？从上图可以看出，最上面有一个 TiDB 的 Open Core，TiDB 的所有这些版本都是基于共同的 Root 生长出来，去适应不同的客户和不同的使用场景。 \n\n\n\nTiDB 企业版已经拥有很多大行、大型企业的使用经验，他们有些是从数据库一体机迁移过来的，在迁移过程中和 TiDB 一起积累了大量的迁移经验。最近 MySQL 5.7 马上就要结束产品生命周期（End of Life）了，用户应该怎么办？换一个数据库平替一下？我们的思路不一样，我们希望的是用户不仅仅是从 MySQL5.7 迁移到 TiDB，更要关注的是他迁移过来之后的获得的价值到底是什么。 \n\n我们希望 TiDB 提供的价值是“可持续、可扩展、可整合”。很多企业都有大量的 MySQL 5.7 ，有成百上千个 instance，管理和维护它们都是非常复杂的事情。TiDB 提供了资源共享的多租户能力，我们可以把更多的 MySQL 实例整合到一个或者多个 TiDB 集群，极大提升资源利用率，从而降低硬件成本，同步降低管理集群的成本。最近我们和一个客户交流，他们有很多 MySQL 实例，有的利用率不高，就直接降级，从原来的 8C 配置，直接降成 4C 或 2C 配置。过了一段时间，业务这边有个流量把系统卡死了，再给升级一下。过一段时间流量又下来了，再降级。这就很头疼，运维和开发的关系就很难处，降本增效的压力很大。这么多的 MySQL instance 一旦迁到 TiDB 上面，基于 TiDB 本身的资源共享能力，流量超了几倍都没问题，这就可以带来非常显著的降本增效。 \n\n\n\n接下来是 TiDB Cloud，它在过去几年里得到了全球客户的认可，包括欧洲最大的移动出行公司 Bolt，北美新锐的 SaaS 公司 Catalyst，印度最大的电商 Flipkart，日本著名的游戏公司 CAPCOM 等等。 \n\n\n\n最后是 TiDB Serverless。四年前，我亲手写下第一行源代码，探索新一代云上 Serverless 架构，这是预研一代的成果。非常幸运，预研一代的速度远远超出我们的预期，它现在已经正式商用了。过去几个月的时间里，TiDB Serverless beta 版已经拥有超过 1 万个活跃的集群。 \n\nServerless 带来了什么样的价值和能力呢？第一，低成本零元起步。TiDB Serverless 完成了 PingCAP 的一个梦想，我们有能力为全球每一个开发者提供一个免费的数据库。 \n\n我想稍微分享一个内部的小故事，最早 TiDB Cloud 的 free tier 成本是现在的 100 多倍。我们内部有个笑话，自己总是调侃说我们是“贵司”。“贵司”是什么意思呢？TiDB “贵”。因为比较的对象是 MySQL，作为一个分布式系统，TiDB 跟一般的系统比成本肯定高，起步就三个副本，还有计算层、调度层，跟单机比肯定是贵了。很幸运的是， TiDB Serverless 出来之后“贵司”终于不“贵”了。得益于 TiDB Serverless 采用的完全分离式的架构，不仅仅做到了存算分离，我们还做到了算算分离、存存分离，整个系统的弹性非常强，同时它的使用异常简单，用户体验非常好。我们收到大量用户的赞誉，超出了自己的预期。 \n\n大家都希望把自己的时间精力投资在自己的创新上面，投资在自己的业务上面，尽量不想再花时间在数据库上面，将所有复杂的事情都交给系统，交给 PingCAP 完全自动化处理。过去，大家可能会很好奇，这听起来好得有点过了，能做到吗？凭什么？ \n\n## TiDB Serverless 为什么比社区版更便宜？\n\n今天我们在云上面使用数据库或者使用传统的 RDS，不管是什么数据库，本质上都是买一个虚拟机，按照最高的峰值要求配置，不管你的业务现在跑的是什么量，哪怕 CPU 利用率是 1%，你也必须为它的 100% 利用率付费。这就是一个传统的计费模式，永远为最高的峰值付费。 \n\nTiDB Serverless 的创新在于，你永远只为你正在使用的资源付费。举个例子，你现在假设有 10 TB 的数据跑在 TiDB Serverless 上面，你没有任何访问，那所有的计算节点全部会被自动 shutdown，但你可以在百毫秒的时间内就马上让它启动提供服务。这是一个巨大的进步，用户仅仅为使用付费，使用曲线长什么样，TiDB 的计费就会长什么样。这就是为什么 TiDB Serverless 能够做到比现在的 RDS，比云上面部署社区版还要便宜，只要这个 CPU 的利用率低于 20%，全自动的弹性就会带来巨大的成本优势。 \n\n\n\n今天，不管你使用的是经典的单机数据库、开源数据库还是云端的数据库，TiDB 都提供了成本更低，扩展性更强，更加省心的选择。 \n\n## 面向中国企业级用户，发布平凯数据库 \n\nTiDB 源于中国，很多关键特性也来自于中国复杂的用户场景，毫无疑问中国市场就是 TiDB 的根据地和大本营。最近我们和很多中国用户沟通交流，他们给了我们非常多的反馈，很多反馈都非常有价值，特别是对于 TiDB 未来发展的预期和展望。我们发现，TiDB 企业版经过五年的打磨，更多是面向全球用户提供通用性的功能，但是这些功能对于中国企业级用户来说还远远不够。 \n\n当下，随着 TiDB 逐步进入中国用户的核心场景以及 TiDB 规模化进入国产化生态，面向中国企业级用户的“平凯数据库”正式发布了。 \n\n\n\n简单来说，平凯数据库主要包含 TiDB Open Core 的稳定内核以及满足中国企业用户的增强级企业功能。第一，提供国产化需求的企业级功能，包括图形化管控平台、全链路数据迁移平台、安全特性等等；第二，提供更完善的国产化生态系统的接入功能，包括国产软硬件的适配，比如操作系统、服务器等等；第三，提供更完善的国产化企业级服务支持能力。 \n\n未来，我们希望平凯数据库站在 TiDB LTS（长期支持版）的基础上能为中国的客户带来更好的价值，我们希望这个过程是开放的，会定期在国内各个区域组织用户讨论交流的活动，我们希望大家能一起参与到未来平凯数据库的建设中来。","author":"刘奇","category":5,"customUrl":"always-ahead-by-max-liu","fillInMethod":"writeDirectly","id":496,"summary":"在刚刚结束的 PingCAP 用户峰会 2023 上，PingCAP 创始人兼 CEO 刘奇全面解析了 AI 时代 TiDB 的演进方向，宣布 TiDB Serverless 正式商用，并发布了面向中国企业级用户的平凯数据库。","tags":["PingCAP 用户峰会"],"title":"刘奇：经典数据库亟需跃迁，TiDB 不是“平替”"}},{"relatedBlog":{"body":"## 导读\n\n在 PingCAP 用户峰会 2023 上，PingCAP 研发副总裁唐刘、PingCAP 首席科学家丁岩，共同带来了“携手中国用户，打造世界级产品”主题分享。分别从 TiDB 7.x 版本内核的演进方向、面向中国企业级用户的新品平凯数据库的发版策略和产品路线图两个角度，解析 TiDB 产品家族协同演进路径。以下为分享实录。\n\n## 携手中国用户，打造世界级产品 \n\n\nPingCAP 研发副总裁 唐刘\n\n我是 PingCAP 唐刘，负责 TiDB 的产研工作。首先请容我对在座的各位以及在线收看直播的用户报以最诚挚的敬意，因为有你们八年多不断的坚持、陪伴和信任，才有了我们现在源源不断的动力去打磨、去不断完善我们的产品，给客户带来更大的价值。 \n\n我们先来探讨一个话题，为什么中国企业以及中国的用户对 PingCAP 非常重要？从 TiDB 诞生的第一天起我们就致力于解决企业用户在规模化负载下的稳定性和性能问题。熟悉 TiDB 的用户应该都知道，我们最开始就是解决的 是 MySQL 分库分表的问题。经过八年多的发展，在各行各业无论衣食住行，还是金融保险都有了 TiDB 的身影。鉴于中国这样庞大的用户基数，大家可以想象这些规模化场景对整个数据库的稳定性和性能都提出了世界级的挑战。毫不夸张地说，如果我们能满足中国用户这些天花板级别的要求，我们就非常有信心地将产品推广到全世界，让全世界的用户享受到 TiDB 带给他们的价值。所以，中国对我们来说非常重要。 \n\n\n\n过去一年，PingCAP 投入了大量资源去解决 TiDB 在规模化场景下的稳定性和性能问题，也取得了不小的成果。首先在国内的某头部大行，通过我们的跑批优化，在该行的反洗钱业务、客户详单查询业务跑批场景上有 2-3 倍的性能提升。在国内某头部城商行，我们通过悲观事务的优化，在他们的互联网核心交易场景，实现了延迟降低 4 倍，7*24 小时延迟抖动控制在 2% 以内的目标。在国内某互联网零售企业，我们通过多业务整合和资源管控的方式，不仅使得用户节省了成本，同时也让业务的整体延迟下降了将近 50%。这些是我们在过去一年中取得成绩的一部分，非常感谢这些用户对我们的选择和信任。 \n\n\n\n当然不限于此，TiDB 的产品核心能力也有很多方面的重要提升。首先，在线 DDL 的性能提升了 10 倍。对于老版本中用户关注的 OOM 问题，经过我们一年多的努力，TiDB 最新的版本中的 OOM 较之前的版本下降了 99%，实现了质的飞跃。目前，TiDB 已经能做到单表 50TB 数据的小时级别导入，让用户非常顺滑、快速地将大批数据导入到 TiDB，满足用户对极致的 RPO 和 RTO 的述求，数据同步输出的延时也降低至了秒级。这些性能提升大家可以在最新的 TiDB 7.1 LTS 版本中享受到。未来，我们在后续的 TiDB 7.X 版本中，将继续致力于稳定性与性能的提升。 \n\n\n\n下面我给大家简单介绍 TiDB 7.X 版本中的三个重要新特性。 \n\n第一个特性是 Partitioned Raft KV，它带来的用户价值非常显著。我们能让用户相比之前用更少的机器，挂更大的盘，存更多的数据，还能提供更好的性能。在当前数据规模不断膨胀和多变的经济环境下，对用户来说这是一个非常具有吸引力的特性。使用 Partitioned Raft KV 这个特性之后，TiDB 无论是在性能还是在成本上面相比之前都有了质的飞跃，希望大家尽快使用 TiDB 的最新版本来体验这个功能。 \n\n\n\n第二个重要新特性就是资源管控（Resource Control），之前有很多用户反馈在使用和维护多套 MySQL 集群上面精疲力尽，将多套 MySQL 集群归集到一个 TiDB 里面又担心跑在数据库里面的业务相互影响。TiDB 7.1 LTS 版本已经提供了一个非常好的解决方案，就是通过 Resource Control 让用户非常方便地将多个 MySQL 实例汇聚到一个 TiDB 集群里面，一方面能够极大降低用户对于多套 MySQL 集群的运维成本，降低了运维复杂度，另一方面通过多合一的业务汇聚能够帮助用户节省成本。在实际的用户场景中，我们发现使用多合一的汇聚能帮用户节省 40% 左右的成本，在当前经济环境的压力下和降本增效的背景下，基于 TiDB 资源管控的数据库整合方案无疑是理想的选择。 \n\n\n\n第三个重要特性就是在线 DDL。在今天敏捷迭代的商业环境中，数据库需要跑得更快，但是我们不可能一开始就设计出一个完美的表结构。随着业务不断地快速变化，我们势必会对原始设计的表结构进行频繁的变更。运维过 MySQL 的同学应该都知道，当 MySQL 的集群规模非常大的时候（或者一些传统数据库集群规模非常大的时候），如果你要做一个 DDL 变更，这是多么痛苦的一件事情，不仅耗时会非常长，而且可能会造成停机维护、业务中断，甚至造成业务损失。然而，这一切在 TiDB 里面都不是问题，我们从第一天就支持了在线 DDL。在 TiDB 新版本中，在线 DDL 的性能提升了 10 倍，意味着你可以比竞争对手更快地进行表结构的变更，更敏捷地支撑业务迭代，以更快的速度在竞争中胜出。 \n\n\n后续的 TiDB 7.X 版本中将会推出 DDL 并行执行框架。如果你想要 DDL 执行得更快，只需要不断地添加节点，就能够实现性能的水平扩展，可以在 10 倍提升的基础上再乘以 N 个框架并行。这套框架不仅会用于当前的 DDL 处理，未来 TiDB 大批量的数据导入、大规模的数据统一分析、甚至一些重型查询的并行执行，我们都会通过这套框架进行统一的收敛。未来，我们希望通过这套并行框架给用户提供一套极致的性能体验。 \n\n\n\n这一系列新特性将会在 TiDB 7.5 LTS 中和大家见面。TiDB 7.5 版本将会提供更强大的资源管控能力，Partitioned Raft KV 将正式 GA，TiDB 也将全面兼容 MySQL 8.0。大家知道 MySQL 5.7 将在今年 10 月 End of Life，PingCAP 承诺我们会持续拥抱 MySQL 生态，不断地兼容 MySQL 5.7 和 MySQL 8.0，同时会带来顺畅的迁移体验，方便用户把数据库从 MySQL 迁移到 TiDB，实现无缝地迁移和使用。 \n\n\n\n从第一天开始 TiDB 就致力于成为一款全球化的数据库，从第一天开始我们坚信中国用户一直是 TiDB 持续创新的核心发动机。据我们内部统计，TiDB 新版本中有 50% 的功能需求来自中国用户，TiDB 70% 的外部贡献者来自于中国，有 30,000 多名中国的 AskTUG 用户在体验产品并给出反馈。今年，我们启动了用户之声活动，来到各个区域倾听用户的声音，希望通过我们的努力携手中国用户打造一款世界级的数据库产品。 \n\n\n\n## 平凯数据库，为中国企业用户需求量身定制 \n\n\nPingCAP 首席科学家 丁岩\n\n我是平凯数据库的研发负责人丁岩。刚才唐刘介绍了很多 TiDB 的内核新特性，非常惊艳。对于中国企业用户来讲还有一个惊喜，一个专属的福利就是平凯数据库，我来介绍一下平凯数据库的发版策略和产品路线图。 \n\n我们锚定 TiDB 在每个 LTS 版本发布之后三个月左右，随着增强型企业级功能一起发布平凯数据库的新版本，节奏是每半年发布一个版本。平凯数据库是中国企业用户专属的一个福利，它有哪些吸引人的特性？ \n\n前面研究院付平老师介绍过，中国正在加速制定数据库的标准规范，涵盖方方面面。平凯数据库定位于全面地遵守国标、行标，兼容国产化生态，在安全合规方面让用户用得放心、用得安全。我们有很多大客户，例如国有大行的 TiDB 集群已经达到上百个，服务器达到上千台的规模，这个时候管理和运维就成为一个难题。平凯数据库适时地推出可视化管控平台（TEM），轻松管理上千台服务器、上百个 TiDB 集群，为用户节省管理运维的成本，提升管理效率。 \n\n\n\n中国市场上很多客户正在计划或者已经在把 Oracle 上的业务迁移到 TiDB，这个时候迁移成本包括迁移过程中的风险在所难免，我们也急客户所需，想客户所想，推出了全链路数据迁移平台（TMS），从数据库的对象，到 SQL 的兼容分析，到迁移前后 SQL 执行性能的对比，再到存量数据的迁移，提供一套全流程的迁移工具和解决方案，降低客户的迁移成本和迁移风险。此外，平凯数据库还提供存储过程的兼容，存储级的备份恢复，高级安全功能等。平凯数据库 7.1 版本将在今年 8 月底正式 GA。 \n\n\n\n半年之后，我们将发布平凯数据库 7.5 版本。7.5 版本将在符合国标、行标最新的规范标准，在安全方面持续发力。在生态方面，TEM 支持 K8s 集群的管理；大数据生态兼容方面，7.5 版本支持 ORC 格式数据的导入；自动化部署支持 IPv6。7.5 版本将持续提升存储过程的执行效率。我们收到的中国企业用户的迫切需求，都会在后续版本中做规划和交付，更多惊艳的企业级新特性正在路上，敬请期待。 \n\n\n\n","author":"唐刘 丁岩","category":5,"customUrl":"build-world-class-products","fillInMethod":"writeDirectly","id":497,"summary":"PingCAP 研发副总裁唐刘、PingCAP 首席科学家丁岩分别从 TiDB 7.x 版本内核的演进方向、面向中国企业级用户的新品平凯数据库的发版策略和产品路线图两个角度，解析 TiDB 产品家族协同演进路径。","tags":["PingCAP 用户峰会"],"title":"PingCAP 唐刘：携手中国用户，打造世界级产品"}},{"relatedBlog":{"body":"## 导读\n\n在 PingCAP 用户峰会 2023 上，PingCAP 副总裁陈煜琦分享了“激流入海，PingCAP 中国业务发展策略”的演讲，介绍了 PingCAP 在技术层面的发展方向，强调了 PingCAP 服务于中国企业客户的重要性，并介绍了 PingCAP 助力客户长期业务发展的目标和方向。大会上，陈煜琦与中电金信、中科软科技、移动云、华锐技术、英方软件、甄盈业财、东软等合作伙伴代表，共同发布多项战略合作与联合解决方案。以下为分享实录。\n\n今天我演讲的主题是“激流入海，PingCAP 中国业务发展策略”，这个主题包含着两层含义：一层是指技术，例如新型分布式技术、HTAP、Serverless 等，怎么能够融入到数据库的技术海洋中；另外一层更重要的是 PingCAP 作为三位码农成立的极客公司，怎么能够服务好浩如烟海的中国企业客户的需求，助力客户长期的业务发展，这是我们过去一年不断尝试，过去五年不断打磨产品的重要目标和方向。\n\n## 深入核心场景，拓宽服务广度\n\n过去十年时间中国企业级市场的发展，特别是国产化替代领域，金融行业一直是排头兵，走在了行业的最前列。过去这一年，TiDB 在国有大行实现规模化的系统上线，在股份制和城商行进入了核心系统。过去的一年和今年证券行业进入了国产化替代的高峰阶段，我们看到越来越多的业务系统正在使用 TiDB 数据库承载。TiDB 也进入了保险企业的核心系统，多家保险企业把传统数据库迁移到了 TiDB。 \n\n\n\n在金融行业之外，作为一款通用型数据库 TiDB 也获得了众多行业的新客户，包括制造业，运营商、消费品、公共服务、交通物流、零售等，当然还有很多的中国出海企业。TiDB 在不同的行业场景下持续打磨产品能力和服务支持，已经取得了长足的进步。 \n\n\n\nPingCAP 一直聚焦如何能够服务好中国市场的企业级客户。我们在北、上、广、深、江浙和四川专门成立了从研发到销售到售后的全链条服务体系。在全中国，有超过一万名的 PCTA 和 PCTP 数据库专家覆盖更广的区域，与区域合作伙伴提供联合的服务支持。我们引以为豪的 TiDB 开源社区已经有超过三万多名注册用户，AskTUG 上问题的互助解决率已经超过了 90%。这是 TiDB 开源软件强大的基因和能力，倪院士也提到开源是中国软件发展的重要方向。 \n\n\n\n## 构建“行业 X 区域 X 生态” 的客户成功生态 \n\n开源生态是我们的基因，也是我们的基础，在开源生态之上我们构建了非常重要的基础架构生态，包括众多的国产芯片、操作系统、中间件和软硬件厂商。为了更好地服务行业客户的数字化转型，PingCAP 在过去 1-2 年与行业科技、解决方案和工具、服务和云合作伙伴们不断深化合作，锚定行业用户的需求，提供更加丰富的解决方案。 \n\n\n\n今天，很多 PingCAP 的合作伙伴来到峰会现场，接下来我将请出其中的一些代表跟大家做一些分享。 \n\n\n中电金信副总裁 邵建军（左）\n\n中电金信将与 PingCAP 正式成为战略合作伙伴，共同拓展金融市场。中电金信是中国电子成员企业，参与国家重大工程，依托行业场景，构建金融级数字底座，打造全栈全域解决方案，提供领先的咨询、软件产品及开发、质量安全保障及运营服务，为金融及重点行业数字化转型及安全发展提供强大动能。中电金信目前有 42,000 名员工，连续六年位列 IDC 中国银行业 IT 解决方案市场第一名。在数字化转型及 IT 架构变革背景下，中电金信在产品研发、解决方案持续投入，在新一代的分布式核心、信贷、CRM、支付、营销平台、数据中台、数据治理等领域持续发力。我们有幸与 PingCAP 在某城商行“基于云原生微服务分布式的新一代核心”项目中紧密合作。今后，我们希望与 PingCAP 一起携手并进、风雨同舟，一起把金融市场做大、做深、做强。 \n\n\n中科软高级副总裁 彭敬（左） \n\n中科软作为保险的一个 IT 龙头企业级，我们在十多年来一直稳居保险 IT 解决方案市场的第一位，近 16 年来业务的年复合增长率一直保持在 24% 左右。中科软覆盖了 98% 的保险机构客户，其中核心系统覆盖了 80% 的保险公司。随着 IFRS17 新会计准则推行，保险的财产系统、精算系统、财务系统、风险管理系统都面临着全面的升级，同时数据要素的政策背景与 IT 需求的多元化竞争也日趋激烈，中科软携手合作伙伴出台“云解决方案”，以数据治理为抓手，应对保险的产品重塑、运营模式重塑、商业模式重塑的三重挑战，进一步推动保险 IT 技术的完善与成熟。 \n\n中科软与 PingCAP 从 2019 年就开始合作，两家公司一直秉持着共同的开源理念，很快就在技术架构、技术迁移、数据架构、数据迁移层面进行了联合的研发，并和我们的客户一起努力，最终在国内的头部客户的核心系统上成功地进行了迁移上线。我们都知道金融领域的核心系统上的国产替代是最硬的骨头，尤其是数据库，它犹如给 飞行中的歼 20 换发动机，需要严密的切换和兜底方案，这并非一朝一夕的事。这几年客户、PingCAP 和中科软三方通力合作，为保险行业的核心系统数据库的国产替代提供了极具价值的最佳实践和避坑指南。下一步我们将在 HTAP 和大数据融合方向持续进行联合研发，期望以数据要素驱动业务创新。 \n\n\n移动云云原生数据库研发负责人 薛港\n\n移动云是国内发展最快、政企客户最多的一朵公有云。移动云和 PingCAP 有非常广泛且深入的合作，双方公司三年前成立了联合实验室，在联合实验室的框架里面我们在移动云上线了 TiDB 数据库服务，我们培养了大量 TiDB 的专业人才，包括运维、实施、内核的人才。过去三年里 TiDB 不仅在移动云内部支撑了我们很多核心的关键系统，也在我们移动的专业公司以及政企客户都有相关的落地案例，并取得非常好的反馈。过去几年里我们团队也积极参与 TiDB 社区的贡献和竞赛，团队的成员在社区发表多篇文章并获得年度 MVA 荣誉。移动云持续看好 TiDB 以及 TiDB 未来的发展。我们相信 TiDB 依托移动云强大的基础设施以及我们广泛的政企客户群体，未来一定能够在多个行业服务更多的用户。 \n\n\n华锐分布式技术实验室主任 何志东\n\n作为中国领先的分布式基础软件公司和证券、资管行业核心业务平台提供商，华锐技术首创证券行业第一家分布式技术实验室，自主研发出世界级分布式低时延消息中间件 AMI。AMI 不仅填补了国内细分领域的空白，其高可靠、高并发、高可用、低时延、集成能力等重要指标均已完成对国外同类产品的超越，实现先进替代；同时，AMI 对国产基础软硬件进行了深度适配和优化，能够让国产处理器跑出最佳性能。在机构交易领域，华锐技术是中国资本市场机构交易的第一品牌。华锐 ATP 以深厚的业务积累和领先的技术能力，服务众多国内中大型券商机构，TOP10 券商覆盖度 100%，百亿量化私募覆盖度 100%，凭借成熟的产品服务能力和完整的解决方案广受客户认可。在零售交易领域，2022 年 8 月，华锐与国泰君安共研的新一代信创分布式低延时交易平台（NGTP）正式上线，近 400 家营业部和 1600 万零售客户全部迁移至新平台，交易速度提升 30 倍，并创下多个证券行业“首家”，示范效应显著。华锐技术早在 2017 年就开始深入金融核心国产化研究，截至目前，已构建了面向证券交易和资管领域的全栈国产化解决方案，并落地多家客户案例，实现先进替代、真替真用、规模上线。PingCAP 作为华锐技术的生态合作伙伴，双方从 2021 年起开始合作，华锐的交易、风控、行情等产品均已完成与 TiDB 的深度适配。未来，华锐技术也将携手 PingCAP 等生态伙伴推出更加完善的国产化解决方案，助力证券行业实现数字化转型和金融核心自主创新。 \n\n\n东软医疗保障行业线技术总监 于伟\n\n东软集团作为中国最重要的政府信息化保障厂商，过去两年东软和 PingCAP 一起成功地将 TiDB 分布式数据库应用于医疗保障核心交易系统中，服务于 1,100 万参保人这样的规模化场景，在交易分析场景中支撑着 4 亿人的就医与购药。未来我们期望东软和 PingCAP 一起能够共同成长、共同收获。 \n\n\n甄盈业财联合创始人 & 产品事业部总经理 陈浩\n\n甄盈业财聚焦于业财融合管理领域，基于多年实践孵化了统一清分结算、高效灵活计费等功能并形成了计费云、清分云等系列产品，旨在为各行业的客户提供业财一体、业财融合管理方案，加速财务数字化高效转型。我们跟 PingCAP 早在很多年前就已经相识相知，并且在实际项目中已经完成了相互认证。跟 PingCAP 的合作是历史必然的结果，因为我们的产品主要还是定位在业财衔接，每天会面临业务上万、上千万、上亿级别数据的消费、接入以及财务复杂逻辑处理，我们非常需要 PingCAP 这样的数据库解决方案合作伙伴跟我们一起服务好客户。期望接下来双方可以在资源的优势互补、市场的共同开拓、方案的深度融合上展开深入的交流合作，以更好地服务于我们的客户。 \n\n\n英方软件行业技术总监 吕玉良\n\n上海英方软件成立于 2011 年，已经有十多年的发展历史，据 IDC 过去的三年的报告显示，在大中华区数据复制与保护这个专项领域里面，英方软件在国内的专业厂商里排名最靠前。英方软件很荣幸在今年年初成功登陆了科创板，我们也是国内数据复制这个专业领域第一家，目前也是唯一的一家上市公司。目前我们团队的规模在 700 人左右，整个服务体系分布在全国各地，我们也在积极拓展海外市场。未来，希望我们能跟 PingCAP 一起紧密协作，支撑好用户的业务，保障好用户的数据。 \n\n每家合作伙伴在介绍自己特色的时候，我就在想激流不光只是 PingCAP，激流是中国数以百万计的工程师，包括非常杰出的每个领域里面的领头企业、新兴企业共同完成这样一个拥抱新技术，服务好用户的过程。在这个过程中，企业服务一定是绕不开的话题。除了产品的易用性以外，非常重要的是服务的标准化以及服务的本地化。过去一年，在服务金融行业以及其他重要行业客户的过程中，我们不断地积累客户成功经验。PingCAP 是一家拥有开源基因的公司，我们把产研的支持前置作为一个非常重要的服务内容，当客户遇到问题的时候，快速定位和解决问题，这是我们一直以来的服务理念，也会一直坚持下去。 \n\n\n","author":"陈煜琦","category":5,"customUrl":"build-a-customer-success-ecosystem","fillInMethod":"writeDirectly","id":499,"summary":"在 PingCAP 用户峰会 2023 上，PingCAP 副总裁陈煜琦分享了“激流入海，PingCAP 中国业务发展策略”的演讲，介绍了 PingCAP 在技术层面的发展方向，强调了 PingCAP 服务于中国企业客户的重要性，并介绍了 PingCAP 助力客户长期业务发展的目标和方向。","tags":["PingCAP 用户峰会"],"title":"PingCAP 陈煜琦：深耕中国市场，构建客户成功生态"}}]}}},
"staticQueryHashes": ["1327623483","1820662718","3081853212","3430003955","3649515864","4265596160","63159454"]}