高级大数据运维工程师 24-42k
### 岗位职责
1. 负责大数据平台（Hadoop/CDH、Spark、Flink、Kafka、HBase、Hive、StarRocks、ClickHouse等）的部署、运维、监控与优化，保障集群稳定高可用。
2. 负责集群容量规划、性能调优、故障排查与应急处理，持续提升资源利用率与作业执行效率。
3. 设计并完善大数据平台的监控告警体系、自动化运维工具与运维流程，推动运维标准化、自动化。
4. 负责数据安全、权限管理（Kerberos、Ranger/Sentry）、备份恢复及灾备方案的落地。
5. 配合数据开发、数仓、算法团队，支撑离线/实时数据链路的稳定运行。
6. 跟踪大数据生态新技术，推动平台架构演进与降本增效。
### 任职要求
1. 本科及以上学历，计算机、软件工程等相关专业，5年以上大数据运维经验。
2. 熟悉Hadoop生态（HDFS、YARN、Hive、HBase、Spark、Flink、Kafka、ZooKeeper等）的原理与运维。
3. 熟悉CDH（Cloudera Distribution Hadoop）平台的部署、运维与调优经验，熟悉Cloudera Manager。
4. 熟悉StarRocks与ClickHouse的生产环境运维经验，熟悉其架构原理、性能调优、扩缩容与故障处理。
5. 具备一定规模的大数据组件运维经验，需满足以下至少一项：
- Kafka集群日均消息量百亿级以上，或集群规模30节点以上；
- Spark/Flink实时或离线作业日均调度数千个以上；
- HBase集群单表数据量十亿行以上，或承载在线高并发读写场景；
- StarRocks/ClickHouse集群规模20节点以上，或单集群数据量百TB级以上；
- Hive/数仓管理表数量万级以上，日均查询作业数千次以上。
6. 熟练掌握Linux系统管理与性能调优，熟悉Shell/Python等脚本语言，具备自动化运维开发能力。
7. 熟悉监控体系（Prometheus、Grafana、Zabbix、ELK等）及CI/CD、Ansible等自动化工具。
8. 具备扎实的网络、存储基础知识，熟悉Kerberos、Ranger等安全组件。
9. 有较强的故障排查、应急处理能力和抗压能力，责任心强，沟通协作良好。
### 加分项
- 熟悉云原生大数据（K8s、Docker、云上EMR/CDP等）部署与运维。
- 有数据湖（Iceberg、Hudi、Delta Lake）或Doris等其他OLAP引擎运维经验。
- 参与过大数据平台从0到1建设或重大架构升级项目。
非中国大陆地区，可以是中国台湾地区；
TG：@hr861
邮箱：wangfeng588888@gmail.com
---
原文链接：[点击查看](https://www.v2ex.com/t/1231102)
1. 负责大数据平台（Hadoop/CDH、Spark、Flink、Kafka、HBase、Hive、StarRocks、ClickHouse等）的部署、运维、监控与优化，保障集群稳定高可用。
2. 负责集群容量规划、性能调优、故障排查与应急处理，持续提升资源利用率与作业执行效率。
3. 设计并完善大数据平台的监控告警体系、自动化运维工具与运维流程，推动运维标准化、自动化。
4. 负责数据安全、权限管理（Kerberos、Ranger/Sentry）、备份恢复及灾备方案的落地。
5. 配合数据开发、数仓、算法团队，支撑离线/实时数据链路的稳定运行。
6. 跟踪大数据生态新技术，推动平台架构演进与降本增效。
### 任职要求
1. 本科及以上学历，计算机、软件工程等相关专业，5年以上大数据运维经验。
2. 熟悉Hadoop生态（HDFS、YARN、Hive、HBase、Spark、Flink、Kafka、ZooKeeper等）的原理与运维。
3. 熟悉CDH（Cloudera Distribution Hadoop）平台的部署、运维与调优经验，熟悉Cloudera Manager。
4. 熟悉StarRocks与ClickHouse的生产环境运维经验，熟悉其架构原理、性能调优、扩缩容与故障处理。
5. 具备一定规模的大数据组件运维经验，需满足以下至少一项：
- Kafka集群日均消息量百亿级以上，或集群规模30节点以上；
- Spark/Flink实时或离线作业日均调度数千个以上；
- HBase集群单表数据量十亿行以上，或承载在线高并发读写场景；
- StarRocks/ClickHouse集群规模20节点以上，或单集群数据量百TB级以上；
- Hive/数仓管理表数量万级以上，日均查询作业数千次以上。
6. 熟练掌握Linux系统管理与性能调优，熟悉Shell/Python等脚本语言，具备自动化运维开发能力。
7. 熟悉监控体系（Prometheus、Grafana、Zabbix、ELK等）及CI/CD、Ansible等自动化工具。
8. 具备扎实的网络、存储基础知识，熟悉Kerberos、Ranger等安全组件。
9. 有较强的故障排查、应急处理能力和抗压能力，责任心强，沟通协作良好。
### 加分项
- 熟悉云原生大数据（K8s、Docker、云上EMR/CDP等）部署与运维。
- 有数据湖（Iceberg、Hudi、Delta Lake）或Doris等其他OLAP引擎运维经验。
- 参与过大数据平台从0到1建设或重大架构升级项目。
非中国大陆地区，可以是中国台湾地区；
TG：@hr861
邮箱：wangfeng588888@gmail.com
---
原文链接：[点击查看](https://www.v2ex.com/t/1231102)
评论
暂无评论。