近日，优刻得全面升级 USDP 智能大数据平台，推出 V3.1 版本，该版本引入了数据湖架构组件及相关易用性的服务，并增强了集群、服务和主机等层面的自定义监控图表功能；同时优化解决了 v3.0 版本中的一些已知问题，在安全性、易用性和性能方面进行了重大提升，为企业带来了更安全、更高效的大数据生态体验。现有 v3.0 版本的用户平台和集群均可平滑升级到最新版本。
## 01 安全管理能力扩展
安全性在大数据生态系统中是至关重要的。为此，优刻得在 USDP v3.1 版本中加强了安全性措施，提供更全面的数据保护和管理功能。引入了 LDAP 服务可视化配置集成功能，可以大幅简化手动管理和配置 LDAP 服务的复杂性。通过使用配置向导，用户可以轻松地为集群内各大数据服务组件进行配置集成 LDAP 服务并生效。USDP v3.1 版本还支持了一键解除 LDAP 功能，使用户可以快速、便捷地实现集群生态统一管控能力。此外，该版本还增加了对 FreeIPA 类型的 KDC 的支持，以适应将 FreeIPA 作为身份管理系统的用户的使用场景。这些安全管理能力的扩展，为企业提供了更加灵活、可靠的安全解决方案。
## 02 数据湖架构及相关服务拓展
为了满足日益增长的数据处理和分析需求，以及对数据分析时效性、存储管理的要求，USDP v3.1 版本中，引入了 Hudi、Iceberg 和 Canal 等组件，进一步丰富了 USDP 的大数据服务生态，为用户提供全面的数据管理解决方案。
Hudi 和 Iceberg 提供了强大的数据管理和存储能力，支持增量数据更新、事务性写入和元数据管理，使数据操作更高效、更可靠。这些组件可以帮助用户构建湖仓一体的数据湖架构，实现数据的统一存储和管理，同时提供灵活、可靠的数据操作和查询。
而 Canal 作为一种流式数据采集工具，能够实时捕获数据库的变更，并将数据发送到目标系统，实现实时的数据采集和传输。
通过引入这些组件，用户可以在现有的大数据集群基础上，构建更加完整和可靠的数据湖架构。无论是数据存储、数据管理，还是数据采集和传输，都能够满足企业的大数据处理和分析需求。
## 03 集群资源池管理配置功能
集群资源池管理配置功能为用户提供了便捷的管理工具，可以对 YARN 和 Impala 的集群资源池进行可视化动态配置。对于 YARN，用户可以选择容量调度模式，而对于 Impala，用户可以选择公平调度模式。通过这个工具，为用户提供了更灵活、易优化的资源管理方式，使不同的业务获得整个集群计算资源的合理分配，规避资源争抢等问题，从容地应对复杂的业务需求和资源分配挑战。
集群资源池管理配置功能的应用场景非常广泛。例如，在一个大数据集群中，可能有不同的业务部门或应用，需要使用不同的计算资源，而资源的分配和管理可能面临挑战。通过集群资源池管理配置功能，用户可以根据实际需求，为各个业务部门或应用分配合适的资源，确保资源的公平分配和有效利用。这样一来，不同的业务可以更高效地运行，避免资源争夺导致的性能下降或系统崩溃。同时，管理员也可以更好地监控和管理集群中资源的使用情况，及时调整资源分配策略，提高集群的整体性能和效率。总之，大数据集群资源池的管理配置功能为用户提供了更灵活和优化的资源管理方式，帮助他们更好地应对复杂的业务需求和资源分配挑战。
## 04 监控能力拓展
此外，该功能还支持用户自定义业务监控的扩展。用户可以通过扩展采集端的方式，采集平台默认未采集的系统或服务的监控指标。借助 USDP 监控模块，用户可以自定义拓展监控，满足特定业务需求。使得用户能够更全面地监控和评估与业务相关的指标，从而更好地把握系统的运行状况和性能表现。
这些监控能力的扩展功能适用于各种应用场景。例如，在大规模数据处理的场景下，用户可以自定义监控图表，以展示关键指标的趋势和变化，帮助监控任务的执行和资源利用；在复杂的服务架构中，用户可以自定义业务监控，以追踪特定服务的性能和可用性。
监控能力扩展功能为用户提供了更强大和灵活的监控工具，满足不同业务场景下的监控需求。新增的自定义监控图表功能，使用户可以按照业务关注点自主选择关键的监控指标，并以图表化方式展示，实现对集群、主机和大数据服务关键状态反馈的快速捕获。用户可以根据自己的需求进行指标汇总、对比等处理，便捷地获得所关注的监控数据图表化呈现。v3.1 版本中对监控能力的扩展，提供了更灵活、个性化的监控解决方案，帮助用户更好地管理和优化大数据平台的运行情况和性能。
## 05 运维审计能力扩展
运维审计能力的扩展功能为管理员提供了更强大和全面的审计工具，用于监控和记录平台、集群和大数据服务的关键状态变化。新增的记录和展示功能，使管理员能够快速发现已发生的异常情况，并及时介入诊断和处理这些异常事件，确保系统的稳定和安全。
新增的操作日志审计功能能够帮助管理员追溯操作行为，通过筛选器快速检索所需的操作日志，实现对操作行为的追溯能力。
在大数据平台的日常运维中，管理员可以通过审计功能追踪和记录平台、集群和各大数据服务的关键信息，如硬件资源异常检测、服务状态异常、集群资源紧缺、错误告警等，以便快速识别和解决潜在问题。操作日志审计功能可以帮助管理员跟踪和审查管理用户操作行为，提高安全性和合规性。
另外，在故障排除和系统故障恢复的场景中，运维审计功能可以提供有关事件发生的详细信息，辅助管理员进行诊断和处理，缩短故障恢复时间。
