工作职责:
本岗位为公司大数据核心基建岗位,负责大数据平台、数据仓库、主题集市、BI指标体系、AI数据集全链路建设。兼顾离线+实时数仓建设、ETL架构优化、数据治理、报表可视化、平台运维调优,是业务数据化、数据智能化的核心支撑岗位。团队技术栈新、业务场景丰富,需要具备3年以上大数据数仓实战经验、能独立扛模块的资深开发。
1、大数据平台与数据基建建设
负责公司数据仓库、大数据平台的规划与迭代建设,搭建统一数据接入体系,完成多源业务数据源接入、管控、清洗与标准化,持续优化ETL流程,保障数据链路稳定、高效、规范。
2、数仓建模与主题集市建设
基于业务架构进行数仓分层设计、维度建模,整合分散业务数据,搭建各业务主题数据集市,统一指标口径,沉淀高质量数据资产,提升数据复用性与业务价值。
3、指标报表与BI看板开发
根据业务运营、经营决策需求,独立设计并开发各类统计报表、数据分析看板、监控指标体系,支撑业务复盘、精细化运营、管理层决策。
4、AI高质量数据集建设
配合算法团队完成机器学习、深度学习所需的数据加工、样本筛选、清洗治理、特征预处理,构建标准化、可复用的AI训练数据集,支撑模型训练、迭代与效果优化。
5、业务数据赋能与专项分析支撑
对接各业务线,提供数据查询、专项分析、数据挖掘等支撑,协助业务落地数据驱动的运营策略,解决实际业务问题。
6、平台运维、监控建设与性能调优
负责大数据任务日常运维、调度管理,搭建完善的监控告警体系,快速响应数据故障与异常;持续优化SQL、离线/实时计算任务性能,治理数据倾斜、任务延迟、资源浪费等问题。
任职资格:
1、学历与经验
全日制本科及以上学历,计算机、软件工程、大数据、数据科学等相关专业;3年及以上大数据/数据仓库开发经验,具备完整大型数据平台建设项目经验。
2、核心技术能力(硬性门槛)
精通 SQL、HiveSQL,能使用 Python 进行数据处理与脚本开发;具备丰富的 ETL 开发、流程重构、性能优化实战经验,同时具备3年以上报表/看板独立开发实际经验。
熟练掌握数仓分层架构、维度建模理论,能够独立完成主题域建模、指标体系设计与落地。
熟练使用 Hadoop、Hive、Spark、Flink 等主流大数据组件,具备任务调优、资源优化、数据问题治理实战能力。
3、加分能力(优先录用)
熟悉 ClickHouse、Doris 等 OLAP 分析引擎,或 Iceberg、Hudi 数据湖技术者优先;
具备FineReport、观远BI等工具的实际项目开发经验,可快速落地业务指标体系优先;
有 AI 数据集、特征工程、算法数据支撑经验者优先。
4、综合素质
具备良好的技术敏感度,主动跟进大数据新技术、新方案;跨团队沟通顺畅,抗压能力强,结果导向,能独立推进模块落地。