【IT168评论】在当今数据驱动的时代,数据库作为信息存储与处理的核心,其重要性不言而喻。随着大数据、云计算技术的飞速发展,数据库管理工具也在不断进化,旨在帮助企业和开发者更高效、安全地管理数据。
10月 22日,IT风向标邀请到了天翼云数据库产品专家何威、海信聚好看数据库负责人郑祥、BOE京东方技术专家王丁丁三位专家坐镇直播间,以不同的视角分享“数据库工具的高效应用”话题。
三位专家围绕三大议题来分享数据库智能运维管理的探索与实践,数据库性能审核与诊断优化的创新实践,并解读Oracle数据库管理工具。本期线上分享会的主题为“探索数据库工具的高效应用”,以下为直播内容精编整理。
《天翼云TeleDB数据库智能运维管理的探索与实践》
天翼云数据库产品专家 何威
数据库运维管理工具经过多年的发展,从脚本化方式过渡到产品化、通用化工具,再到平台化、自动化工具。随着云技术的兴起,这些产品又实现了自身的云化,并支持云原生数据库,并且正在向智能化阶段演进。
据研究机构预判,2025年中国数据库工具及服务的整体市场规模将达到101亿元。从国家政策层面看,国家对核心技术的政策要求不断提高,国产数据库正在加速向全行业渗透,对数据库运维管理类产品来说是一个极好的机遇。
然而,数据库运维管理类产品也面临着很多挑战。调研显示,大型金融机构在数据库产品选型中看重稳定、安全和性能。具体来说,大型企业数据库实例多、数据体量大,对数据库管理工具有更高的体验和稳定要求。在大量数据实例和内容的情况下,要做到稳定可靠运行,需要更高的运维分析能力。同时,要保障这些实例和海量数据运行的安全,包括复杂严格的权限管控、网络层面的策略管控等。有些企业甚至采用物理隔离方式解决安全问题。
不仅如此,数据库产品百花齐放,权限管理方式各不相同。因用户使用不当,容易出现配置漏洞。加之数据库自身的权限管理方式(密码和账号)易于传播,人员变动如员工离职等也容易导致密码泄露风险。
在日常使用方面,DBA运维操作缺乏有效控制和审计,可能导致“删库跑路”等极端事件发生。在数据稽查方面,经过数据迁移、转换、还原后数据是否依然一致也是客户的一大痛点。除了数据库自身使用方面的安全挑战外,数据库与外界联系的网络安全挑战也很突出。进入云时代后,网络复杂性更高,包括混合云、多云技术等,再叠加上多样的数据库访问协议,网络安全保障和措施的难度大幅提升。云网络的访问质量也是一直以来的挑战点,不同运营商、不同区域的网络质量不一样。当然,通过网络就会有各种网络攻击的风险和问题,也是需要去解决的。
最后,数据库是一个复杂的技术支撑系统,用户对产品能否有效的辅助其开发运维也非常关注。例如:用户在面对数据库运行时出现的异常,需要及时感知问题,并迅速止损,让服务降级到系统及业务可接受的范围内。异常发生后,用户还需要对问题进行根因分析,执行优化动作。
为应对上述挑战,天翼云推出了数据库管理DMS。DMS是异构数据库的一站式全生命周期管理平台,为企业提供统一的数据资产视图、统一的数据库开发规范、统一的数据安全策略及统计变更管理,让数据库使用高效、安全和规范。
DMS的核心能力包括全局数据库管理,解决异构和多数据库管理问题,强化了对异构多云多环境数据库的支持。在安全方面,DMS提供数据安全的访问控制、敏感数据的保护,并在研发流程中嵌入数据库研发规范方面的功能和管控,做到变化风险评估、拦截高危操作并提供审批能力,将数据库安全风险管控贯穿整个使用流程。DMS提供了一键诊断,根因分析等智能运维方式和手段,辅以良好的交互设计,让数据库运维工作降低了难度。
上图是天翼云数据管理服务DMS的平台架构图。DMS通过统一访问层为用户提供了统一的界面入口和统一的Open API支持,并提供AI智能问答提供对话式访问方式。
DMS主要包含五个功能板块:数据资产管理、数据可视化开发(包含SQL语句或者数据对象的编写和执行、数据导入导出等等)、操作管控(通过操作审批流程,对操作风险进行管控,以及之后的审计风险评估)、数据安全(提供三权分立的账户与权限管理能力、密码检测、操作审计日志等)以及运维管理(包含基于指标或实时运行数据的诊断与根因分析,请求分析和会话管理等)。
DMS通过统一元数据管理,完成开发过程和安全管控融合闭环。通过数据资产管理,解决了多环境的统一问题;通过角色和权限管理,解决了数据访问的成员录入问题以及团队权限、权限精度问题。DMS通过图表结构的可视化设计、结构对比、发布审批等功能提升协作的安全性和企业内使用的应用性。
在操作管控能力域中,DMS不仅会考虑到SQL规范的审核还包含性能的审核,提供出优化建议等等,以提升整个数据库使用的安全性,降低数据库使用风险。在易用性方面,DMS提供了一个SQL查询窗口来做到数据查询、数据变更和数据导入导出能力。
为满足用户数据安全的需求,DMS提供了结构对比和数据对比两个功能。这两个功能的流程比较相似,用户可以选择要对比的库表以及对比的范围。在执行对比操作过后,我们可以看到对比的差异,并且最终还可以根据差异去生成变更的DDL或者DML。用户可以查看这种变更语句、下载或提交功能执行。
在网络的安全和稳定性方面,DMS有自身独特的优势。基于AONE服务提供的安全层、网络层保障能力。能够在多云、混合云、私有云等复杂的网络环境下,获得链路的高可靠性、高安全性和低延迟,解决了数据库运维管理面临的网络安全和联通性问题。
《DBdoctor,数据库性能审核与诊断优化的创新实践》
海信聚好看数据库负责人 郑祥
在数字化时代,数据库作为企业的核心数据资产,其性能的稳定与优化直接关系到业务的持续发展与用户体验。而数据库工具,作为数据库管理与优化的重要手段,其转型与升级显得尤为重要。随着技术的不断进步,数据库工具也在不断地迭代更新,以适应更加复杂多变的业务需求。
目前,市场上存在着众多类型的数据库工具,如DMS(数据库管理系统)、DTS(数据传输服务)、云管等。这些工具各具特色,能够满足不同场景下的需求。例如,DMS通常提供了数据库的基本管理功能,如数据备份、恢复、监控等;而DTS则专注于数据的传输与同步,支持跨平台、跨数据库的数据迁移;云管工具则更多地关注云环境下的数据库管理,提供了更加灵活、可扩展的管理方案。
在选择数据库工具时,我们需要考虑多个因素,包括工具的功能、性能、易用性、成本以及是否能够满足我们的具体需求等。此外,我们还需要关注工具的升级与维护情况,以确保其能够持续地为我们的数据库管理与优化工作提供支持。
对于不同的应用场景,我们需要选择合适的数据库工具。例如,在性能监控方面,我们可以选择能够提供实时监控、报警等功能的工具;在数据备份与恢复方面,我们需要选择具有高效、可靠备份与恢复机制的工具;而在性能诊断与优化方面,我们则需要选择能够提供精准诊断与优化建议的工具。
随着技术的不断进步,数据库性能诊断与优化也在不断地向智能化、自动化方向发展。其中,eBPF(Extended Berkeley Packet Filter)技术作为一种高效的内核级观测手段,正在被越来越多地应用于数据库性能诊断中。通过eBPF技术,我们可以实现对数据库内核的深度观测,从而更加准确地定位性能瓶颈。
此外,AI辅助调优也是数据库性能诊断与优化领域的一个重要发展方向。通过机器学习算法,我们可以对数据库的历史性能数据进行分析,从而预测未来的性能趋势,并给出相应的优化建议。这将极大地提高数据库性能诊断与优化的效率与准确性。
DBdoctor是一款专为数据库性能诊断与优化设计的工具,它采用了先进的技术手段,能够实现对数据库内核的深度观测与分析。通过DBdoctor,我们可以快速地定位性能瓶颈,并给出相应的优化建议。它具备以下特点:
●深度观测:通过内核级的技术手段,DBdoctor能够深入数据库内部,实时捕获和记录数据库的运行状态,包括SQL执行、锁等待、内存使用等关键信息。
●智能诊断:基于大数据分析和机器学习技术,DBdoctor能够自动分析数据库的运行数据,快速定位性能瓶颈和问题根源。
●优化建议:针对诊断出的问题,DBdoctor能够给出具体的优化建议,帮助用户快速解决问题,提升数据库性能。
某客户是一家大型电商平台,面临着高并发、大数据量等复杂业务场景的挑战。在使用DBdoctor之前,他们的数据库经常出现性能瓶颈,导致业务响应缓慢,用户体验下降。
在使用DBdoctor进行性能监控和调优后,他们成功地定位并解决了多个性能问题,数据库性能得到了显著提升。同时,DBdoctor还帮助他们优化了SQL语句和索引设计,进一步提升了数据库的查询效率。
随着技术的不断发展,郑祥相信数据库性能监控和调优将会变得更加智能化和自动化。例如,基于eBPF的数据库深度观测技术和AI辅助调优技术将会得到更广泛的应用和推广。同时,他也期待更多的创新工具和技术能够涌现出来,为数据库性能监控和调优提供更多的选择和可能性。
《Oracle数据库管理工具,一家老小都在这里了》
BOE京东方技术专家 王丁丁
BOE京东方技术专家王丁丁介绍了三款数据库工具:SQL Developer、EMCC管理以及Zabbix监控。通过这三款工具,我们可以更加高效地管理和运维Oracle数据库。
一、SQL Developer
Oracle SQL Developer 是一个免费的集成开发环境,可在传统部署和云端部署中简化 Oracle Database 的开发和管理。SQL Developer 提供 PL/SQL 应用的完整端到端开发、用于运行查询和脚本的工作表、用于管理数据库的 DBA 控制台、报告接口、完整的数据建模解决方案,以及用于将第三方数据库迁移到 Oracle 的迁移平台。
●窗口管理界面:类似于我们平时使用的CRT或Mobile等工具,提供了直观的操作界面。
●桌面管理工具:用Java开发,相当于一个客户端,可以方便地进行各种数据库操作。
● Web架构:只要有网页,就可以通过打开网页在上面进行操作,非常方便。
SQL Developer的功能特性非常丰富。它有一个丰富的控制台,可以输出性能报告,支持建模,还可以整合第三方数据库。此外,它还支持多种操作系统,包括Windows、Mac和Linux。安装也非常简单,只需登录官网下载对应版本的安装包,按照提示进行安装即可。
在使用过程中,王丁丁发现SQL Developer确实非常便捷。比如,它内置了Visual Studio Code(VS Code)的插件,使得我们在做开发时可以直接登录VS Code进行数据库操作,无需再连接多个应用程序。同时,它还支持命令行工具,可以进行交互或批处理操作。
另外,SQL Developer的建模工具和数据库设计工具也非常实用。它们可以帮助我们在系统上线前进行建模和表之间的逻辑关联设计,使得我们的系统更加稳定和高效。
二、EMCC管理
Oracle EMCC(全称Oracle Enterprise Manager Cloud Control),是Oracle公司推出的一套集中化综合性管理平台,可以针对数据库、主机操作系统、中间件、企业级应用程序进行管理的自动化管理,特别是在管理Oracle数据库方面功能非常全面。
EMCC的功能特性也非常强大。它提供了全生命周期的管理,包括预警监控、诊断分析、优化验证等。同时,它还提供了补丁植入接口,可以灵活地进行升级和变更管理。此外,它还可以管理高可用性和安全性合规性等方面。
在架构上,EMCC由三部分组成:资料库、OMS和代理。资料库用于存储采集上来的数据;OMS相当于一个server,管理插件、发现目标、监控和管理目标;代理则用于采集远程数据并上报给OMS。
在安装部署方面,EMCC的安装过程可能比较漫长,但这也是因为它是一个庞大且稳定的工具。安装过程中需要解压模板、安装server和agent等步骤。安装完成后,我们就可以通过图形化界面或命令行工具来管理我们的数据库和IT设施了。
EMCC的监控功能也非常强大。它可以监控一体机、Linux服务器、硬件等多种设备。通过安装插件,我们还可以扩展它的监控范围。比如,要监控一体机,我们只需装入一个插件就可以实现。
在调优方面,EMCC也是最强的工具之一。它可以帮助我们分配资源、优化性能等。同时,它还提供了丰富的图形化展示和告警推送功能,使得我们可以及时地发现和处理问题。
三、Zabbix监控
在运维领域有这么一句话,监控做不好,救火救到老!运维离不开系统监控,就好像鱼儿离不开水一样。一款强大的监控系统可以事前及时预警发现故障,事后提供详实的数据用于追查定位问题。目前业界有很多不错的监控工具可供选择,而作为老牌监控系统之一的 Zabbix 依然屹立在监控系统之林。
Zabbix是一个企业级的、开源的、分布式的监控套件,被用来监控IT基础设施的可用性和性能。与以上各种监控系统的对比来看,Zabbix以强大优势傲视群雄,它丰富的功能、可扩展的能力、二次开发的能力和简单易用的特点,使用户大大降低了学习成本,可以轻轻松松构建属于自己的监控系统。
Zabbix的架构也非常清晰。它由server、UI界面、代理等部分组成。通过GVM、SNMP、SSH等多种方式,它可以监控我们的数据库和其他设备。同时,它还支持多地区采集和防火墙隔离等功能。
在部署方面,Zabbix的部署也非常简单。我们可以从官网下载安装包,然后按照提示进行安装和配置。在安装过程中,我们需要选择存储库、安装相关组件、初始化数据库等步骤。安装完成后,我们就可以通过UI界面进行监控和管理了。
Zabbix的监控功能非常强大。它可以监控Oracle数据库等多种设备,并提供丰富的图形化展示和告警推送功能。同时,它还支持二次开发和扩展功能,使得我们可以根据自己的需求进行定制化的监控和管理。