大数据架构师岗位的主要职责概述(通用31篇)

发布时间:

大数据架构师岗位的主要职责概述(通用31篇)

大数据架构师岗位的主要职责概述篇1

职责:

1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;

2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;

3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;

6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。

任职要求:

1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉BI平台、大数据系统相关技术架构及技术标准;

2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

3.熟悉大数据相关技术:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉制造企业信息化系统及相关数据库技术;

5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;

6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;

7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。

大数据架构师岗位的主要职责概述篇2

职责:

1、负责大数据平台及BI系统框架设计、规划、技术选型,架构设计并完成系统基础服务的开发;

2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储,业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;

3、开发大数据平台的核心代码,项目敏捷开发流程管理,完成系统调试、集成与实施,对每个项目周期技术难题的解决,保证大数据产品的上线运行;

4、负责大数据平台的架构优化,代码评审,并根据业务需求持续优化数据架构,保证产品的可靠性、稳定性;

5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现,分享技术经验;

6、有效制定各种突发性研发技术故障的应对预案,有清晰的隐患意识;

7、深入研究大数据相关技术和产品,跟进业界先进技术;

【任职要求】

1、统计学、应用数学或计算机相关专业大学本科以上学历;

2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点),无埋点方案等,有埋点SDK独立开发经验者优选;

3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具备实际项目设计及开发经验;

4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流程

5、熟悉Liunx/Unix操作系统,能熟练使用shell/perl等脚本语言,熟练掌握java/python/go/C++中一种或多种编程语言

6、具备一定的算法能力,了解机器学习/深度学习算法工具使用,有主流大数据计算组件开发和使用经验者优先

7、熟悉大数据可视化工具Tableau/echarts

8、具有较强的执行力,高度的责任感、很强的学习、沟通能力,能够在高压下高效工作;

大数据架构师岗位的主要职责概述篇3

职责:

1.负责产品级业务系统架构(如业务数据对象识别,数据实体、数据属性分析,数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计,从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性,并对系统质量负责。

2.负责云数据平台的架构设计和数据处理体系的优化,推动云数据平台建设和持续升级,并制定云数据平台调用约束和规范。

3.结合行业应用的需求负责数据流各环节上的方案选型,主导云数据平台建设,参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。

4.对云数据平台的关注业内技术动态,持续推动平台技术架构升级,以满足公司不同阶段的数据需求。

任职要求:

1.熟悉云计算基础平台,包括Linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基础环境,熟悉控制、计算、存储和网络;

2.掌握大型分布式系统的技术栈,如:CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。

3.精通Java,Python,Shell编程语言,精通SQL、NoSQL等数据库增删改查的操作优化;

4.PB级别实战数据平台和生产环境的实施、开发和管理经验;

5.熟悉Docker等容器的编排封装,熟悉微服务的开发和日常调度;

6.计算机、软件、电子信息及通信等相关专业本科以上学历,5年以上软件工程开发经验,2年以上大数据架构师工作经验。

大数据架构师岗位的主要职责概述篇4

职责:

根据大数据业务需求,设计大数据方案及架构,实现相关功能;

搭建和维护大数据集群,保证集群规模持续、稳定、高效平稳运行;

负责大数据业务的设计和指导具体开发工作;

负责公司产品研发过程中的数据及存储设计;

针对数据分析工作,能够完成和指导负责业务数据建模。

职位要求:

计算机、自动化或相关专业(如统计学、数学)本科以上学历,3年以上大数据处理相关工作经验;

精通大数据主流框架(如Hadoop、hive、Spark等);

熟悉MySQL、NoSQL(MongoDB、Redis)等主流数据库,以及rabbitMQ等队列技术;

熟悉hadoop/spark生态的原理、特性且有实战开发经验;

熟悉常用的数据挖掘算法优先.

大数据架构师岗位的主要职责概述篇5

职责:

1、大数据平台架构规划与设计;

2、负责大数据平台技术框架的选型与技术难点攻关;

3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作,根据系统的业务需求,能够指导开发团队完成实施工作;

4、负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为相关的业务提供大数据底层平台的支持和保证;

5、培养和建立大数据团队,对团队进行技术指导。

任职要求:

1、计算机相关专业的背景专业一类院校毕业本科、硕士学位,8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);

2、精通Java,J2EE相关技术,精通常见开源框架的架构,精通关系数据库系统(OracleMySQL等)和noSQL数据存储系统的原理和架构;

3、精通SQL和Mapreduce、Spark处理方法;

4、精通大数据系统架构,熟悉业界数据仓库建模方法及新的建模方法的发展,有DW,BI架构体系的专项建设经验;

5、对大数据体系有深入认识,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术,并能设计相关数据模型;

6、很强的学习、分析和解决问题能力,可以迅速掌握业务逻辑并转化为技术方案,能独立撰写项目解决方案、项目技术文档;

7、具有较强的内外沟通能力,良好的团队意识和协作精神;

8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;

9、具有能源电力行业工作经验者优先。

大数据架构师岗位的主要职责概述篇6

职责:

1、负责公司大数据产品的架构设计,包含数据收集、数据存储、数据应用,并完成相关架构设计文档的撰写;

2、参与规划从数据源到数据应用的整体流程,并参与相关产品的决策;

3、负责解决核心技术问题,对技术方案进行决策;

4、负责大数据研发团队建设、人才梯队培养和技术团队管理;

5、积极了解业界发展,研究与跟踪大数据新技术发展方向。

任职要求:

1、精通GoldenGateForBigData相关理论,具备大型数据利用的生产实战经验;

2、精通数据驱动的理论,设计并生产上线相关数据驱动的产品;

3、精通常用消息中间件的使用,例如kafka/RocketMQ/ApachePulsar,有解读相关源码者优先;

4、掌握hadoop、spark生态体系相关产品的使用,掌握MapReduce编程或Spark编程;

5、了解传统数据仓库理论及相关ETL工具,例如kettle/datastage;

6、熟悉Oracle、Mongodb、Mysql数据库的使用;

7、扎实的Java语言基础,熟悉Java开发工具和调试工具的使用;

8、良好的团队协作精神,有能力对团队在软件设计、实现和测试方面进行指导;

9、良好的逻辑分析能力和沟通能力,执行力强、对待工作认真严谨、责任心强、具备出色的学习能力和团队合作精神,有一定的推动能力;

10、计算机科学、信息技术或相关领域本科以上学历,具有5年以上数据平台项目开发经验,3年以上的架构设计经验,具有大数据平台应用大型项目架构设计经验优先;

大数据架构师岗位的主要职责概述篇7

职责:

1.规划设计大数据平台整体架构,规划各种组件,并且指导技术团队完成相关系统验证、安装、部署、配置;

2.负责制定大数据平台技术规范和接口规范,指导研发团队按照规范进行系统开发;

3.配合商务人员完成售前技术支持工作;

4.完成其他与数据应用有关的技术工作;

任职要求:

1.计算机相关专业本科学历,5年以上工作经验;

2.对大数据技术栈有非常深刻的了解;具备架构设计的实际经验;

3.对信息安全架构设计及实施有一定的经验;

4.熟悉Linux、Windows等操作系统的安装配置;

5.熟悉互联网应用的安装配置;熟悉常见大数据技术栈组件的安装配置;熟悉Visio等绘图工具的使用;

6.有卫生信息化建设经验者优先;有容器安装部署经验者优先。

大数据架构师岗位的主要职责概述篇8

职责:

1、负责企业大数据平台的基础建设、管理及制定拓展规划;

2、负责大数据平台相关自动化服务工具的设计、开发;

3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;

4、对平台特殊场景化的数据应用制定相关实践方案;

5、大数据团队的搭建。

任职资格:

1、统招本科以上学历,计算机等相关专业,5年以上工作经验;

2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;

3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;

4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;

5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;

6、熟悉爬虫常用框架以及反爬技术;

7、具有良好的沟通能力、分析问题与攻关问题的能力;

8、有责任心,工作积极,对新领域新技术有热情。

大数据架构师岗位的主要职责概述篇9

1.负责大数据基础和应用平台的整体规划和架构设计,参与需求分析,架构设计,详细设计以及技术选型决策

2.参与数据挖掘和建模相关核心算法的代码实现

3.负责大数据算法平台的技术把关,性能调优,控制架构质量,解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发

4.带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力,支持解决方案实施

5.负责数据库设计、应用架构设计、核心技术选型等工作

6.协调解决开发中的技术问题、设计和监控运营指标,保障系统稳定运行

7.培养,指导有能力的员工,指导工程师进行技术验证实现,核心技术攻关,解决开发过程中的技术难题

大数据架构师岗位的主要职责概述篇10

职责:

1.负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;

2.负责实时计算平台基础架构设计、部署、监控、优化升级;

3.制定项目/数据仓库设计及实现规范,指导设计研发和部署;

4.协助策略和算法团队工作,保障数据挖掘建模和工程化;

5.深入研究大数据相关技术和产品,跟进业界先进技术;

任职要求:

1.全日制本科及以上学历,5年以上软件和分布式系统研发经验,3年以上大数据系统架构经验;

2.精通Hadoop/HBase/Spark/Storm/Redis技术及其生态圈;

3.具备良好的系统分析能力、故障诊断能力;

4有大数据策略、算法、可视化经验优先。

大数据架构师岗位的主要职责概述篇11

1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;

2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;

3、进行大数据系统框架设计、模型算法开发;

4、负责大型数据挖掘项目方案制定、项目实施落地及优化等;

5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

大数据架构师岗位的主要职责概述篇12

职责:

1、负责大数据平台技术框架的技术选型和搭建;

2、负责核心技术问题公关,建设高可靠性,扩展性及高性能大数据/数据应用平台;

3、负责规划数据挖掘的整体流程,负责大数据开发团队业务需求开发;

4、与其他团队密切配合,寻求数据层面的业务价值,利用数据分析结论推动产品优化;

5、研究和分享大数据架构领域新技术。

任职要求:

1、计算机相关专业全日制统招本科及以上;

2、5年以上工作经验,至少3年以上大数据项目相关工作经验,能够设计大型大数据系统的架构和技术方案;

3、精通Hadoop/Spark/Hbase/Hive等大数据技术,精通ETL技术;

4、熟悉数据挖掘,了解典型大数据算法和策略;

5、熟悉主流Java技术框架,精通关系型数据库及SQL语言,熟悉NoSQL/JSON/XML;

6、有较强的学习能力和问题解决能力,逻辑严密、思路清晰;

7、有数据仓库经验者优先,有金融行业项目经验者优先。

大数据架构师岗位的主要职责概述篇13

1、基于公司大数据基础和数据资产积累,负责大数据应用整体技术架构的设计、优化,建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。

2、负责制定大数据应用系统的数据安全管控体系和数据使用规范。

3、作为大数据技术方案到产品实现的技术负责人,负责关键技术点攻坚工作,负责内部技术推广、培训及知识转移工作。

4、负责大数据系统研发项目任务规划、整体进度、风险把控,有效协同团队成员并组织跨团队技术协作,保证项目质量与进度。

5、负责提升产品技术团队的技术影响力,针对新人、普通开发人员进行有效辅导,帮助其快速成长。

大数据架构师岗位的主要职责概述篇14

职责:

1、基于公司大数据基础和数据资产积累,负责大数据应用整体技术架构的设计、优化,建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。

2、负责制定大数据应用系统的数据安全管控体系和数据使用规范。

3、作为大数据技术方案到产品实现的技术负责人,负责关键技术点攻坚工作,负责内部技术推广、培训及知识转移工作。

4、负责大数据系统研发项目任务规划、整体进度、风险把控,有效协同团队成员并组织跨团队技术协作,保证项目质量与进度。

5、负责提升产品技术团队的技术影响力,针对新人、普通开发人员进行有效辅导,帮助其快速成长。

任职资格:

1、计算机、数学或相关专业本科以上学历,5-20xx年工作经验,具有大型系统的技术架构\应用架构\数据架构相关的实践工作经验。

2、有分布式系统分析及架构设计经验,熟悉基于计算集群的软件系统架构和实施经验。

3、掌握Hadoop/Spark/Storm生态圈的主流技术及产品,深入了解Hadoop/Spark/Storm生态圈产品的工作原理及应用场景。

4、掌握Mysql/Oracle等常用关系型数据库,能够对SQL进行优化。

5、熟悉分布式系统基础设施中常用的技术,如缓存(Varnish、Memcache、Redis)、消息中间件(RabbitMQ、ActiveMQ、Kafka、NSQ)等;有实践经验者优先。

6、熟悉Linux,Java基础扎实,至少3-5年以上Java应用开发经验,熟悉常用的设计模式和开源框架。

大数据架构师岗位的主要职责概述篇15

职责:

负责大数据平台架构的规划和设计,主导系统的架构设计和核心模块开发,确保项目质量和关键性能指标达成;

负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发,保证大数据产品的上线运行;

负责深入理解业务需求,对业务建模,设计系统架构,满足业务需求;

负责协助策略和算法工作,保障数据挖掘建模和工程化;

负责根据业务需求整合优化数据架构,保证产品的可靠性、稳定性;

负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;

负责研发技术发展方向,新技术领域的探索,将新技术应用到公司大数据平台,提升公司效能

任职要求:

本科及以上学历,拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;

精通Hadoop,熟悉大数据生态技术,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大规模集群架构、开发及运维经验;

熟练掌握java/Scala语言,实现面向对象开发思想OOA,OOD,OOP;

熟悉linux操作系统,熟练掌握脚本言语Shell/Perl/Python等编码语言;

熟练掌握数据仓库设计,开发工作。能够根据业务设计并开发数据仓。

具备源码级问题解决和集群优化改造能力者优先;

能快速的学习新的开源框架和知识体系,并应用到现有架构体系中;

逻辑清晰,快速的学习能力,良好的沟通能力、团队协调能力。

具备良好的团队合作精神,较强的沟通交流能力,具备良好的技术领导能力;

具备良好的文档撰写能力和技术团队管理能力

大数据架构师岗位的主要职责概述篇16

职责:

1、负责相关开源系统/组件的性能、稳定性、可靠性等方面的深度优化;

2、负责解决项目上线后生产环境的各种实际问题,保障大数据平台在生产上的安全、平稳运行;

3、推动优化跨部门的业务流程,参与业务部门的技术方案设计、评审、指导;

4、负责技术团队人员培训、人员成长指导。

5、应项目要求本月办公地址在锦江区金石路316号新希望中鼎国际办公,月底项目结束后在总部公司办公

任职要求:

1、熟悉linux、JVM底层原理,能作为技术担当,解决核心技术问题;

2、3年以上大数据平台项目架构或开发经验,对大数据生态技术体系有全面了解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;

3、掌握git、maven、gradle、junit等工具和实践,注重文档管理、注重工程规范优先;

4、熟悉Java后台开发体系,具备微服务架构的项目实施经验,有Dubbo/Springcloud微服务架构设计经验优先;

5、性格开朗、善于沟通,有极强的技术敏感性和自我驱动学习能力,注重团队意识。

大数据架构师岗位的主要职责概述篇17

职责:

1.负责大数据基础和应用平台的整体规划和架构设计,参与需求分析,架构设计,详细设计以及技术选型决策

2.参与数据挖掘和建模相关核心算法的代码实现

3.负责大数据算法平台的技术把关,性能调优,控制架构质量,解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发

4.带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力,支持解决方案实施

5.负责数据库设计、应用架构设计、核心技术选型等工作

6.协调解决开发中的技术问题、设计和监控运营指标,保障系统稳定运行

7.培养,指导有能力的员工,指导工程师进行技术验证实现,核心技术攻关,解决开发过程中的技术难题

任职要求:

1.熟悉大数据和数据仓库的系统架构设计方法

2.熟练使用并理解HadoopSpark架构及生态。(Hadoop,Hive,Hbase,Elasticsearch,Kafka,SparkFlink等)

3.熟悉分布式系统架构,有分布式实时、离线和机器学习平台的架构和开发经验,具备海量数据清洗、分析处理及存储的实践经验

4.熟练使用JAVA,具有大规模分布式系统调优经验

5.熟悉AI相关算法,熟悉机器学习、深度学习。熟悉AI学习开源框架(Tensorflow、PyTorch等)者优先;

6.具备良好的团队合作精神,对工作充满激情。

7.熟悉FusionInsight平台开发经验者优先

大数据架构师岗位的主要职责概述篇18

1、数据分析软件平台架构搭建

2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

3、指导开发人员开发,并解决系统出现的问题,理解物业需求;

4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;

大数据架构师岗位的主要职责概述篇19

1.负责数澜大数据平台的架构设计和研发,建立数据生态服务,解决海量数据面临的挑战;

2.管理和优化Hadoop、Spark等集群,计算作业的调优,保证集群和平台的高效和稳定;

3.负责Hadoop、Spark、Flink的功能、性能和扩展,解决并实现业务需求;

4.负责大数据产品的自动化、离线与实时计算、即席计算、数据质量、数据安全、机器学习等平台的设计和开发;

5.调研和把握当前的最新技术,将其中的先进技术引入到自己的平台中,改善产品,提升竞争力;

大数据架构师岗位的主要职责概述篇20

1、建设大数据平台,主要技术为k8s,docker;

2、跟进开源社区的更新,阅读文档,验证feature;

3、阅读容器生态圈各组件的开源项目代码,开发新功能;

4、持续提升平台的性能和稳定性。

大数据架构师岗位的主要职责概述篇21

1.负责大数据平台的基础技术规划,编制相关规范文档。

2.负责大数据平台的数据采集,处理,存储以及挖掘分析的架构实现。

3.负责大数据平台的实际规划建设,包括环境和框架的规划搭建以及部分核心编码工作。

4.负责大数据相关技术发展方向的预研。

5.参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目。

6.制定大数据平台中数据质量,业务质量监控及管理办法。

大数据架构师岗位的主要职责概述篇22

1、负责面向政府信领域的企业(不限于)大数据平台、大数据应用等系统的架构设计、技术规划、技术选型

2、跟进业界大数据技术发展动态,匹配行业应用诉求,制定大数据策略,提前识别关键技术并完成技术验证;

3、支撑售前完成项目解决方案技术架构的设计及重要客户的交流;

4、负责指导研发完成大数据产品的开发

5、带领团队进行产品核心技术的创新和积累

大数据架构师岗位的主要职责概述篇23

职责:

1、负责大数据开发团队建设;

2、负责行业大数据产品架构设计与研发;

3、负责带领团队进行行业大数据产品关键技术攻关。

任职要求:

1、有三年以上大数据应用、开发经验;具备海量数据加工处理(ETL)相关经验,对数据挖掘及机器学习有较为深刻的理解;

2、熟悉Hadoop相关技术,对HDFS、MapReduce、Hive、HBase有一定的使用和开发经验;

3、熟悉Linux,熟练使用Shell或Python,进行脚本编写;

4、对数据结构和数据统计分析算法有较为深刻理解;

5、掌握至少一种主流关系数据库开发技术:Oracle、SQLServer、MySQL等;

6、掌握实时流计算技术,有Spark、Storm开发经验者优先;

7、需要具备2年以上研发团队管理经验。

大数据架构师岗位的主要职责概述篇24

职责:

1.负责数据仓库建设,基于数据驱动构建企业级数据模型,根据架构设计进行各层数据模型开发。

2.面向PB级别超大规模数据处理和查询需求,设计适合业务变化的合理的多维数据分析系统架构,满足多样性需求。

3.构建设计良好的数据流、调度系统、查询引擎、监控系统,保证系统稳定高效运行,以实现数据的最大价值。

4.指导团队成员开展数据仓库建设。

5.参与重点项目的评审,参与企业数据管理体系建设。

任职要求:

1.统招本科及以上学历。

2.从事数据仓库领域至少5年以上,熟悉数据仓库模型设计与ETL开发经验,掌握Kimball的维度建模设计方法,具备海量数据加工处理(ETL)相关经验。

3.具有一定数据模型和数据架构基础,熟悉hadoop\hive和常用数据库。

4.精通SQL,有一定的SQL性能调优经验,熟悉hivesql的开发。

5.具有管理团队开发经验,具备良好的组织能力、协调能力及项目管理能力。

6.具有较好的文字功底及语言表达能力,能够快速、准确地理解需求。

7.具有专研、快速学习和创新精神,具备独立分析问题和解决问题的能力。

8.具有责任心,时间观念强,工作独立性强,有良好的团队合作精神。

9.全日制普通本科毕业。

大数据架构师岗位的主要职责概述篇25

职责:

1、负责规划科技大数据平台及科技数据入库自动化的方案设计;

2、负责大数据平台的开发和维护,以及对外服务接口的开发;

3、负责大数据平台的优化和改进工作。

任职要求

1、计算机相关专业本科及以上学历,5年以上开发经验,其中3年以上为互联网、大数据相关的开发经验;

2、熟知Hadoop生态圈体系,精通Hadoop/Spark/Storm/Kafka中的一项或几项,深刻理解MapReduce的运行原理和机制,有MPI经验者尚佳;

3、熟悉Elasticsearch、Redis、Hbased等相关数据库的构建和操作,尤其是数据库集群的构建和操作,熟悉Neo4j者尚佳;

4、具有机器学习相关项目经验者优先。

大数据架构师岗位的主要职责概述篇26

职责:

1、负责大数据项目技术架构评估与设计;

2、负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;

3、负责对使用关键技术的预研和选型,完成PoC;

4、指导工程师完成开发工作,并能分享技术经验。

任职要求:

1、3年以上相关工作经验,其中具有1年以上架构设计经验

2、熟悉商业智能系统相关技术,如ETL、数据仓库、OLAP开发;

3、精通设计模式,熟悉面向服务架构(SOA)以及其它常用软件架构思想,有SOA方案设计、开发实施的实际经验,要具备实际的服务规划、服务粒度划分经验;并且要善于设计可重用组件和可定制化产品。

4、相关技术栈:Java/Scala/Flume/Hive/Kafka/HBase/Spark/Storm/Redis;

5、有扎实的计算机基础,熟悉Java等编程语言;

大数据架构师岗位的主要职责概述篇27

职责:

1.负责过多个大数据项目的架构;

2.精通Hadoop、Spark,HBase等主流的大数据平台、精通各组件优化设计原理;

3.精通大数据实时流式处理的设计和应用;

3.熟悉大数据平台调优,具备大数据生产平台调优经验;

4.金融行业,运营商行业大数据架构经验更优;

5.研究大数据技术的最新发展,并引入到公司技术架构;

6.指导大数据工程师的日常工作,并培养技术骨干。

任职资格:

1.计算机相关专业本科或以上学历;

2.具有5年以上大数据相关开发经验;

3.具有2年以上带团队经验

4.对Hadoop/Hive/Spark/HBase/ES等等大数据常用技术有深刻理解,能够带领团队进行技术攻坚,完成中间件的实施、改造、调优;

5.精通海量数据和实时数据的分析处理,能对线上的数据处理性能问题做调优;

6.精通数据仓库以及维度建模原理,有大型数据仓库建设经验;

7.精通关系型数据库和NoSQL数据库的使用,熟悉相关理论;

8.沟通顺畅,重点突出,高效。

大数据架构师岗位的主要职责概述篇28

职责:

1、负责公司的大数据处理框架的研发设计工作,梳理可实现方案和技术规范;

2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;

3、负责业务平台数据统计分析模块的设计与规划;

4、负责公司产品研发过程中的数据及存储设计;

5、带领和培养团队完成组织分解的目标;

任职要求:

1、统招本科及以上学历,计算机、软件工程相关专业,至少8年以上工作经验,5年以上大数据开发经验;

2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的基础架构

3、熟悉数据仓库,数据算法,分布式计算技术理论,具有大数据整体系统架构设计经验;

4、熟悉Linux系统,熟练使用shell/perl/python脚本处理问题;

5、对深度学习框架(Tensorflow)和机器学习(svm随机深林贝叶斯等)有一定了解的优先;

6、能够组织项目开发组协同工作,包括团队沟通、计划、开发环境管理等

大数据架构师岗位的主要职责概述篇29

1)负责大数据平台系统架构设计、核心开发工作(Hadoop&Spark技术方向),基于业务场景设计最优的系统解决方案。

2)构架支持大数量级的数据的大数据平台系统,及相关监控,拓展系统设计及实现。

3)利用Hadoop、Spark等大数据技术对海量数据进行处理,支持BI和数据科学(建模)的应用实现。

4)对现有系统的进行架构深入分析及系统优化,进一步提升系统的性能及数据处理能力。

大数据架构师岗位的主要职责概述篇30

职责:

1、负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发;

2、负责实时计算平台基础架构设计、部署、监控、优化升级;

3、制定项目数据仓库设计及实现规范,指导设计研发和部署;

4、协助策略和算法团队工作,保障数据挖掘建模和工程化;

5、深入研究大数据相关技术和产品,跟进业界先进技术。

任职要求:

1、3年以上大数据系统架构经验;

2、精通HadoopHBaseHiveSparkFlinkKafkaRedis技术及其生态圈;

3、具备JavaScalaPython等开发经验,熟悉数据挖掘和分析的策略与算法;

4、精通数据抽取,海量数据传输,数据清洗的常用方法和工具。

5、具备良好的系统分析能力、故障诊断能力;

6、有大数据策略、算法、可视化经验优先;

7、有在华为云存储产品和大数据产品的开发使用经验优先。

大数据架构师岗位的主要职责概述篇31

职责:

1、负责大数据基础平台的整体规划和架构设计,参与需求分析、技术决策以及详细设计;

2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题;

3、把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码;

4、持续挑战新的技术方向,攻克大数据量,高并发,稳定性等各种技术难点。

任职资格:

1、计算机或相关专业本科及以上学历;

2、5年以上hadoop的应用开发经验,5年以上数据仓库开发实践经验,至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;

3、良好的编程开发能力,精通PHP及其他开发语言;

4、熟悉mysql等数据库经验,具备优秀的SQL编写、调优能力;

5、熟练掌握Linux常规命令与工具,精通shell,perl,python等脚本语言至少一种;

6、软件基础理论知识扎实,具有良好的数据结构、算法功底;

7、对新技术敏感,学习能力强,乐于接受挑战,具有良好的团队合作精神;