业务挑战
资源调度不够灵活
企业大数据平台存储与计算资源通常共享物理硬件,资源调度和管理要求变得越来越复杂,计算任务难以高效使用存储资源。
资源扩展容易受限
当需要扩展集群资源以提供更多存储资源或支撑更多计算任务时,存算一体集群容易遇到物理空间和资源无法定向扩展的问题。
集群性能瓶颈频发
存算一体模式下,大量的计算任务容易对存储系统读写性能造成压力,无法适应更适合在存算发分离环境中高效运行的业务应用场景。
故障及维护难度大
一体化部署模式中,硬件出现故障可能会影响到集群的存储和计算能力,导致故障恢复需要更长的时间以及更多资源投入。
方案架构
方案特点
多集群统一管理
USDP 支持构建时指定创建存储或计算集群,支持创建基于对象存储的计算与存储分离架构集群,并按集群独立高效的管理大数据服务及服务配置。
数据缓存加速
提供基于 Alluxio 文件层,其利用内存及 SSD 高性能存储介质,实现具有自动优化放置策略的巨量数据智能分层缓存,并提供存储系统全局命名空间。
业务分类构建
基于集群或框架部署规划,实现对业务计算任务的分类管理,提供可视化资源池管理,及任务监控与智能诊断,辅助用户业务充分利用存力及算力。
生态高度兼容
USDP 提供的 30 余款大数据生态服务,彼此高度兼容,开箱即用,支持按需灵活选用需要的大数据系统构建服务,支持灵活演进与可持续平滑升级。
方案价值
优化资源利用
存算分离模式允许企业按需灵活配置资源,当需要更多计算能力时定向扩展计算资源,而需要更多存储空间时横向扩展存储资源,提升资源利用效率。
提高集群性能
针对存储和计算使用需求,构建存算分离大数据平台,根据主要任务用途为硬件资源规格和软件服务配置参数进行设计和优化,获得更高的性能表现。
降低成本投入
建设大规模巨量数据分析平台时,企业无需依据峰值负荷时最大硬件资源而构建存算分离架构,可通过提升资源运营和资源利用效率,降低资源成本。
数据安全合规
数据和计算任务可在不同物理或逻辑位置上实现分离,企业可将敏感数据存储在受控的环境中,而将计算任务调度至普通区域,提高数据的安全性。
存储特性优化
存储集群支持企业根据特定工作负载选择合适的存储类型(内存、SSD、HDD 等)解决高频热数据存储性能的同时,实现低频温数据存储成本优化。
维护效率简化
在存算分离的模式下,对存储和计算集群可以独立维护,独立管理,从而大幅简化维护复杂度,便于企业针对不同集群和场景制定最佳维护技术实践。