之家云多种数据库统一管理实践

总篇130篇 2022年第5篇前言本文简要介绍了之家云多数据库管理平台产生的背景，目前支持的数据库类型及为用户提供的便利服务，并对未来发展做了规划。01之家云多种数据库管理平台RDS背景业务驱动技术，随着业务的不断扩展，技术必随着不断创新、进步。存储作为技术中的一个不可或缺的组成部分，扮演着非常重要的角色。数据库，存储中的重要的、元老级别的成员，更是日常工作中必不可少的。随着技术的发展，出现了各种类型的数据库，RDBMS数据库如mysql、sqlserver，nosql型数据库如mongodb，newsql型数据库如Tidb等等，这些数据库在特定的场合发挥着难以替代的作用。作为一个开发人员，面对不同业务，不同的数据库，经常会产生凌乱的感觉，想新建个库，找谁去帮分配资源；某个实例的连接地址忘记了，从哪去查询下；新产生了一条业务数据，找下对应数据库类型的工具查询下数据是否正确；某条语句执行太慢，怎么获取下慢日志；想了解下重要业务数据库目前的运行情况，看下资源是否够用、数据量有多少，等等日常必须的需求，看似很容易获取到需要的信息，但考虑到多种类型的数据库，开发人员权限限制等等，往往会话费大量的时间，在此环境下，一个统一的数据库管理平台显得非常重要。02之家云数据库管理平台RDS的介绍作为数据库管理平台，面向公司所有开发人员、运维人员，以操作方便、快捷、功能全面、数据准确为宗旨。在平台中可以体验数据库管理、查询、监控等功能的一站式服务，目前平台已经接入了mysql、sqlserver、mongodb，tidb四种数据库，下面是RDS功能的简介。首先给出RDS系统大体架构如下：1）数据库实例、库、表、账号的管理a.创建、修改、销毁等操作流程化数据库变动相关基础操作包括实例、库、表、账号等的创建、修改等，平台提供了各种线上自助化流程，如实例创建销毁、库创建销毁、账号申请删除、表创建变更，数据提取等流程，用户可以按照自己的需求选择创建数据库的类型，运行环境是物理机还是容器化，数据库的内存、磁盘等的配置，账号的读写权限，sql的定时执行，敏感字段的加密处理等等。近期，为了进一步方便用户，提高申请效率，平台也在整合合并流程，如使用户可以一次性完成实例、库到表的创建的三合一流程等。下图为三合一流程的展示。b.信息查询信息查询包含基本元数据查询、业务数据查询和运行日志查询。元数据指实例、库、表以及账号基本信息的查询，可以获取到数据库连接地址、运行环境、架构、配置，账号读写权限、密码等各种信息。业务数据指平台提供用户直接查询业务数据的能力，避免用户根据不同数据库选择不同工具查询数据的麻烦。运行日志查询主要指慢日志查询，方便用户排除效率问题。? ? 2）监控报警目前平台支持在创建各种数据库实例时加入默认告警策略，对数据库连接数等指标进行监控，并设置相应的告警级别及联系人，减少用户配置监控报警的麻烦，用户可以从平台查询告警策略详情以及对应的告警历史信息。3）健康诊断为了让用户进一步把控所用数据库，了解数据库运行现状，优化、高效使用数据库，平台提供了健康诊断功能。在此处，可以看到平台对数据库综合情况的评分，以及数据库连接数、QPS、cpu使用率、磁盘使用率等基本信息的展示。此外，根据不同数据库还分别提供了会话管理、冗余索引、表使用分析、容量管理等功能，帮助用户了解更多的数据库运行细节，这对用户提高数据库利用率、排除数据库问题，预测及避免未来问题都有很大帮助。下图为mysql健康评分详情展示。03RDS未来规划作为一个数据库管理平台，RDS还有很多的工作要做。目前只接入了mysql、sqlserver、mongodb、tidb四种数据库，但这四个数据库代表了sql的不同方向，现在平台可以将它们进行整合管理，预示着未来可以接入其他的数据库，提高数据库的管理能力。现在的平台是将数据库的管理能力整合，后期可以考虑数据库之间数据的迁移，包含元数据及业务数据，方便用户按需切换数据库。对外可以提供相应接口，给其他数据抽取等系统提供数据库元数据等信息，为将来数据库元数据等信息的统一管理做准备。作者简介钱磊任职于云开发平台研发团队，负责中间件相关工作阅读更多汽车之家AutoKH混部技术实践项目管理系统在之家的落地实践之家云API网关的前世今生