工作地点: 上海市
学 历: 本科及以上
工作类型: 全职
招聘人数: 3
发布时间:2018-12-27
职位描述
1、完成大数据处理平台的相关技术工作,包括架构设计、研发、以及性能分析工作;
2、参与设计、构建和优化基于hadoop/Hbase/Hive的存储平台架构;
3、配合技术负责人整体提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高扩展特性;
4、根据业务需求,提出技术解决方案;按照分解的开发任务,制定/编写开发计划、开发文档、开发流程图;
5、配合完成数据规则的定义、数据建模、数据清洗及转换、数据治理、数据集成等工作;
6、按照数据架构规划的标准和要求进行项目实施和执行,保障数据以及文档的质量达到预定的标准。
任职要求
1、计算机相关专业,本科及以上学历,熟悉Java开发,具有一定的Hadoop相关开发经验;
2、具备数据库系统基本理论知识,至少熟悉一种主流商业数据库产品如Oralce的管理和应用,精通SQL语言,精通存储过程;
3、对hadoop的MapReduce原理有一定研究;
4、熟悉Hadoop、Hive、impala和Hbase、storm等开源项目;
5、对基于hadoop的大数据处理体系有一定认识,对相关产品(hadoop/storm /hive/hbase)具备一定的应用开发经验,熟悉分布式系统、分布式计算系统的工作机制,了解相关核心技术的工作机理;
6、具有一定的数据分析、挖掘和数据仓库建模的开发经验;
7、具有良好的沟通能力,出色的分析问题和解决问题的能力,对解决具有挑战性问题充满激情,具备强烈的进取心和团队合作精神。