etl研发工程师岗位职责
| 适配人群 | 大数据研发工程师，ETL开发人员，数据平台建设者 | 使用场景 | 电商数据分析，实时计算任务，数据质量监控 |
|---|---|---|---|
| 设立背景 | 公司要做数据平台，得有人搭架子、写代码、管数据。 | ||
| 核心职能 | 搭数据平台，做etl流程，保数据质量，支持分析和算法用数。 | ||
| 工作内容 | 写sql和脚本、调spark任务、建监控看板、洗脏数据、改慢任务。 | ||
| 协作关系 | 跟数据分析师要需求，跟算法工程师对特征，向技术组长汇报，和测试一起验数据。 | ||
职责描述：
1、负责大数据平台的设计以及开发工作，维护升级等等;
2、负责离线/实时的数据存储和加工处理，保证数据质量，负责数据监体系的建立和维护;
2、负责海量数据的清洗、处理和挖掘工作，支持数据分析师和算法工程师的数据需求;
3、对数据敏感，基于海量数据进行业务分析，灵活运用可视化工具，参与产品与应用的数据研发，分析数据成因，发掘数据商业价值;
4、研究前沿技术，解决实际场景中的业务问题，优化离线/实时大数据计算任务的性能。
任职要求：
1、计算机或相关专业本科及以上学历，3年以上大数据开发经验;
2、熟悉linux/unix开发环境，精通python/java/scala/shell两种以上;
3、熟悉常用开源分布式系统，对hadoop/hive/spark/storm/flink/hbase/kylin中的一项或多项有深入了解;，能够独立排查及解决分布式系统的问题;
4、良好的团队精神和合作意识，强烈的责任心，对工作有激情，良好的沟通能力，能吃苦耐劳;
5、有2年以上的电商领域的优先。
etl研发工程师岗位职责：etl高级工程师
| 适配人群 | 大数据工程师，数据平台建设者，数据中台开发者 | 使用场景 | 国际网站运营，用户行为分析，数据预警监控 |
|---|---|---|---|
| 设立背景 | 公司要建国际网站数据仓库，得有人搭和管后台。 | ||
| 核心职能 | 搭数据仓库、写etl流程、监控数据、挖用户行为、支持业务决策。 | ||
| 工作内容 | 搭维护数据仓库、写sql和python脚本、跑etl任务、盯数据异常、回临时需求。 | ||
| 协作关系 | 跟产品、运营、开发一起干活。向大数据组长汇报。用邮件 会议同步进度，数据结果发给业务方看。 | ||
etl高级工程师职位要求
1、计算机、数学或统计等专业，本科以上学历；
2、精通sql语言；熟悉数据仓库设计、建模；
3、精通python，能够编写脚本处理、分析数据；
4、熟悉批量离线式分布式并行计算技术（如hadoop、mapreduce、hive、spark等）
5、熟悉sqlserver、mysql数据库；了解redis等非关系型数据库；
6、熟悉至少一种常用etl工具（如kettle、ssis、gobblin）；了解常用报表工具（如reporting services以及各类开源报表）；
7、了解常用数据挖掘方法（回归、决策树、聚类等）。
etl高级工程师岗位职责
1、负责国际网站后台数据仓库搭建、维护；
2、运用各类大数据工具设计etl流程，消费生产环境埋点、日志等数据；
3、日常数据监控以及数据预警，异常数据解读挖掘，并与业务同事沟通解决方案；
4、分析用户的特征和行为数据，挖掘不同类型用户的行为特性，为实际的业务运营提供数据支持；
5、从数据分析结果中寻找insight和商业价值，并以简明扼要的形式传导到其他部分，指导实际的业务运营；
6、处理国际网站的临时数据需求，并对于常用重要需求转化成数据产品。
etl研发工程师岗位职责：etl数据工程师
| 适配人群 | 数据开发工程师，BI实施顾问，ETL工程师 | 使用场景 | 银行数据分析，金融项目交付，数据建模实施 |
|---|---|---|---|
| 设立背景 | 公司要做大数据和bi系统，得有人搭数据管道、管项目落地。 | ||
| 核心职能 | 搭数据流程，做报表模型，支持业务分析，管项目从头到尾。 | ||
| 工作内容 | 写hive sql、调sqoop任务、改维度模型、配报表逻辑、跑poc验证。 | ||
| 协作关系 | 跟项目经理汇报，和商务一起做售前，和技术同事联调建模问题，找业务方确认需求。 | ||
etl数据开发工程师 etl数据开发工程师
岗位职责：
1、负责大数据、bi系统相关模块的实施，项目管理工作，包括但不限于需求管理、项目规划、过程实施、上线验收、交付运营等;
2、依据业务场景、分析需求提供技术、业务解决方案并加以实现;
3、与技术部门对接，解决数据建模、报表和报告在系统开发遇到的问题;
4、协助项目经理进行项目交付或协助商务开展售前支持或poc工作。
任职资格：
1、本科及以上学历，计算机、统计学、应用数学等相关专业;
2、熟悉hadoop平台，2年以上hive、sqoop开发经验;
3、了解bi系统，有数据管理经验，有维度建模相关经验;
4、3年以上相关工作经验，有银行或金融数据分析经验者优先;
5、熟悉db2、oracle等数据库及sql数据查询，熟悉hadoop者优先;
6、熟悉linux开发环境和shell脚本;
7、具备银行项目设计、开发、优化等经验者加分;
8、优秀的业务理解能力、逻辑性和沟通能力，能跨部门合作沟通。
etl研发工程师岗位职责：高级etl工程师
| 适配人群 | ETL工程师，大数据开发工程师，医疗数据平台工程师 | 使用场景 | 医疗数据治理，实时指标计算，跨系统数据对接 |
|---|---|---|---|
| 设立背景 | 医疗数据越来越多，得有人用spark处理这些数据。 | ||
| 核心职能 | 搞spark数据处理，建数据系统，做流式数据开发。 | ||
| 工作内容 | 写spark代码，调流式系统，对接采集团队和应用团队。 | ||
| 协作关系 | 跟数据采集员、数据应用工程师一起干活，向大数据组长汇报，代码联调、接口对齐、问题共查。 | ||
高级etl 工程师 职责描述:
1. 负责基于spark技术的海量数据处理和建设工作;
2. 参与流式数据处理系统的开发和维护;
3. 协同数据采集团队和数据应用团队进行系统和代码间对接;
4. 跟踪新的大数据处理技术，并将新的大数据处理技术应用到医疗业务场景中;
任职要求：
1. 计算机软件相关专业，本科以上学历
2. 两年及以上spark相关开发经验
3. 熟练掌握java，scala，python，c 语言中的一种
4. 熟悉linux/unix操作系统
5. 熟悉 mysql/hbase/hive/kafka/elasticsearch/redis 中一种或多种技术
6. 扎实的数据结构及算法基础， 良好的英文文档阅读能力
7. 思路敏捷清晰，良好的语言表达和理解能力，良好的学习能力及创新意识
8. 具有优良的问题分析及解决能力
9. 具有良好的团队合作精神及协调能力
etl研发工程师岗位职责：数据仓库etl开发工程师
| 适配人群 | ETL开发人员，数据仓库工程师，BI开发工程师 | 使用场景 | BI项目实施，汽车数据分析，数据集成 |
|---|---|---|---|
| 设立背景 | 公司要做数据仓库和bi系统，得有人搭管道、跑etl任务。 | ||
| 核心职能 | 写脚本把数据从各处抽出来、清洗、转成标准格式、存进数仓。 | ||
| 工作内容 | 写sql和python脚本，调etl任务，修数据问题，配bi报表字段。 | ||
| 协作关系 | 跟bi分析师对需求，向技术组长汇报，和dba一起查库，跟业务方确认数据口径。 | ||
数据仓库etl资深开发工程师 1.5年以上做bi、数据仓库etl开发方向，行业不限;
2.过去做北京汽车项目;
3.英语能基本读写;
4.开发经验丰富，能迅速完成交办相关工作;
5.沟通能力良好，具备团队合作精神，能适应一定压力开展工作。 1.5年以上做bi、数据仓库etl开发方向，行业不限;
5.沟通能力良好，具备团队合作精神，能适应一定压力开展工作。
etl研发工程师岗位职责：etl工程师
| 适配人群 | ETL开发工程师，数据仓库工程师，大数据平台工程师 | 使用场景 | 数据仓库建设，ETL流程开发，源数据调研 |
|---|---|---|---|
| 设立背景 | 公司要建数据仓库，得有人做etl开发。业务上线急，老系统要升级，缺人手干这活。 | ||
| 核心职能 | 写详细设计文档。做etl开发和测试。跑通数据抽取、转换、加载全流程。修老任务的bug。 | ||
| 工作内容 | 写设计文档。搭etl流程。测单元功能。查源数据。配服务器环境。改存储过程。修系统报错。 | ||
| 协作关系 | 跟产品经理聊需求。听技术经理安排。和dba调数据库。配合测试人员跑用例。跟前端取数接口。 | ||
职责描述：
岗位职责：
1、根据概要设计，进行详细设计的文档编写；
2、负责etl过程的设计/开发实施、单元测试；
3、负责项目中etl相关需求调研、源数据调研、整体设计；
4、负责项目中环境安装及配置。
5、维护和升级现有etl任务和存储过程，快速定位并修复现有系统缺陷
职位要求：
1、 大专及以上学历，计算机相关专业，3年以上 etl 工作经验。
2、 熟悉etl开发流程，有hadoop和etl工作经验；有从传统数据库抽取数据到hive数据仓库经验，了解sqoop应用原理者优先。
3、 熟悉主流数据库sql server、oracle、db2、mysql等；熟悉开源的etl工具。
4、有海量数据处理工作经验，数据分析和挖掘经验者优先；
5、做过数据仓库、ods项目，对数据治理、数据标准及元数据有很好理念及实施经验的优先；
6、熟练使用脚本语言：如perl、python、shell等任意一种以上；
7、熟悉linux系统指令和性能优化；
8、善于学习新技术，对新技术有较强的接受能力；工作认真细致，愿意于人交流沟通。
9、有大型数据仓库系统研发、设计经验者优先；
10、熟悉 java 语言或 hadoop 技术者优先；
岗位要求：
学历要求：大专
语言要求：不限
年龄要求：不限
工作年限：3-4年经验
etl研发工程师岗位职责：etl实施工程师
| 适配人群 | BI实施工程师，ETL开发工程师，报表开发工程师 | 使用场景 | BI项目实施，售前支持，报表开发 |
|---|---|---|---|
| 设立背景 | 客户要用oracle bi系统，得有人装好教人用。公司接了这类项目才设这岗。 | ||
| 核心职能 | 装bi系统、做数据抽取、教客户用报表、帮卖新项目。 | ||
| 工作内容 | 跑etl脚本、配服务器、写存储过程、做培训、修报表问题。 | ||
| 协作关系 | 听项目经理安排，跟开发和业务同事一起干活，给客户现场支持，偶尔帮销售讲方案。 | ||
岗位职责：
1.根据客户需求完成oracle bi产品的实施工作;
2.与项目团队配合，按要求完成任务;
3.主要进行etl、培训、技术支持等工作;
4.配合业务人员，参与新项目的售前 ;
岗位要求：
1. 有两年以上数据库存储过程开发经验;
2. 熟练掌握一种etl工具，例如:informatica、odi、kettle;
3. 熟练linux的命令和操作， 服务器的管理，熟悉websphere，weblogic，tomact中间件;
4. 熟练使用主流bi报表工具，如obiee、cognos、tableau等，至少一年以上报表开发经验;
5. 独立完成过一套报表开发者优先;
6. 有python、hadoop经验优先。
etl研发工程师岗位职责：中级etl工程师
| 适配人群 | ETL工程师，数据开发工程师，数据仓库工程师 | 使用场景 | 数据仓库建设，数据集市开发，业务报表生成 |
|---|---|---|---|
| 设立背景 | 公司要建数据仓库，得有人把业务数据搬进去、理清楚、能用上。 | ||
| 核心职能 | 做etl流程设计和开发，让杂乱数据变成干净可用的数据表。 | ||
| 工作内容 | 写sql跑任务，调kettle或ssis工具，改脚本，测数据对不对，和业务聊要啥字段。 | ||
| 协作关系 | 跟数据分析师要需求，向技术组长汇报，配合dba调数据库，帮bi同事准备报表数据源。 | ||
职位描述：
1. 负责数据仓库/数据集市etl设计开发;
2. 负责与业务部门数据需求的沟通与确认;
任职资格：
1. 三以上工作经验;
2. 熟悉主流etl开发工具，如:ssis 、kettle、datastage等;
3. 熟练掌握主流数据库的使用，如:sql server、mysql、oracle，对sql查询优化有丰富的经验;
4. 熟悉主流报表工具，如:tableau、powerbi、cognos;
5. 良好的沟通技能，清晰的逻辑思维能力;
6. 工作认真仔细，积极主动，具备较强的自主学习、自我总结能力。
相关范文
-
使用场景：电商数据分析、实时计算任务、数据质量监控
-
使用场景：医疗数据治理、实时指标计算、跨系统数据对接