k8s搭建大数据平台：实战解析与优化方

大数据平台架构——框架篇

1、Grafana、Prometheus等用于和管理大数据平台的运行状态。数据安全与云基础架构：数据安全：Apache Ranger或Sentry等为大数据平台提供数据安全保障。云基础架构：Kubernetes等云基础架构简化了大数据平台的部署与运维。这些框架和模块共同构成了大数据平台的完整架构，为数据驱动的决策提供了强大的支持。

2、管理是大数据平台的基石，包括数据、数据质量检测、元数据管理、血缘关系管理、异常处理与版本控制。预平台如Grafana、Prometheus等，数据治理平台如Altas、Data Hub等，确保数据流线顺畅。大数据安全不容忽视，用户访问权限、数据资源权限管理与审计等成为关键保障。

3、大数据平台致力于从数据的采集、存储、计算、应用、管理与运维等多维度组合研究，构建高效合理的大数据架构体系。大数据存储与计算 其中，Hadoop框架起着核心作用，是大数据存储与计算的基石。通过Hadoop，数据可被存储与高效处理。

米哈游大数据云原生实践

1、总结与展望：米哈游通过采用Spark on K8s + OSS-HDFS方，实现了大数据基础架构的云原生化，取得了显著的业务与技术收益。未来，米哈游将继续优化架构，增强承载与容灾能力，实现大数据组件的容器化，深化云原生实践，并通过更精细的资源管理和成本控制，推动业务的持续增长与创新。