大数据架构师的具体职责(通用30篇)

发布时间:

大数据架构师的具体职责(通用30篇)

大数据架构师的具体职责篇1

职责:

1.负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;

2.负责实时计算平台基础架构设计、部署、监控、优化升级;

3.制定项目/数据仓库设计及实现规范,指导设计研发和部署;

4.协助策略和算法团队工作,保障数据挖掘建模和工程化;

5.深入研究大数据相关技术和产品,跟进业界先进技术;

任职要求:

1.全日制本科及以上学历,5年以上软件和分布式系统研发经验,3年以上大数据系统架构经验;

2.精通Hadoop/HBase/Spark/Storm/Redis技术及其生态圈;

3.具备良好的系统分析能力、故障诊断能力;

4有大数据策略、算法、可视化经验优先。

大数据架构师的具体职责篇2

职责:

1、负责企业大数据平台的基础建设、管理及制定拓展规划;

2、负责大数据平台相关自动化服务工具的设计、开发;

3、参与Hadoop、Hbase、Spark等核心平台组件的开发、优化;

4、对平台特殊场景化的数据应用制定相关实践方案;

5、大数据团队的搭建。

任职资格:

1、统招本科以上学历,计算机等相关专业,5年以上工作经验;

2、具有Hadoop等大规模集群管理经验、海量(PB)数据处理经验;

3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;

4、了解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分布式系统;

5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;

6、熟悉爬虫常用框架以及反爬技术;

7、具有良好的沟通能力、分析问题与攻关问题的能力;

8、有责任心,工作积极,对新领域新技术有热情。

大数据架构师的具体职责篇3

职责:

1、负责大数据基础平台的整体规划和架构设计,参与需求分析、技术决策以及详细设计;

2、为现有大数据集群Hadoop、hive平台提供性能调优、架构优化重组,解决系统中的关键问题和技术难题;

3、把握基础业务复杂系统的设计,确保系统的架构质量,编写核心部分代码;

4、持续挑战新的技术方向,攻克大数据量,高并发,稳定性等各种技术难点。

任职资格:

1、计算机或相关专业本科及以上学历;

2、5年以上hadoop的应用开发经验,5年以上数据仓库开发实践经验,至少一个企业级数据仓库项目开发经验或者大数据处理项目经验;

3、良好的编程开发能力,精通PHP及其他开发语言;

4、熟悉mysql等数据库经验,具备优秀的SQL编写、调优能力;

5、熟练掌握Linux常规命令与工具,精通shell,perl,python等脚本语言至少一种;

6、软件基础理论知识扎实,具有良好的数据结构、算法功底;

7、对新技术敏感,学习能力强,乐于接受挑战,具有良好的团队合作精神;

大数据架构师的具体职责篇4

职责:

负责大数据平台架构的规划和设计,主导系统的架构设计和核心模块开发,确保项目质量和关键性能指标达成;

负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发,保证大数据产品的上线运行;

负责深入理解业务需求,对业务建模,设计系统架构,满足业务需求;

负责协助策略和算法工作,保障数据挖掘建模和工程化;

负责根据业务需求整合优化数据架构,保证产品的可靠性、稳定性;

负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;

负责研发技术发展方向,新技术领域的探索,将新技术应用到公司大数据平台,提升公司效能

任职要求:

本科及以上学历,拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;

精通Hadoop,熟悉大数据生态技术,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Yarn、Sqoop、CDH、Solr、Kylin、Impala、Hive、Hbase、Kerberos、Sentry等,有大规模集群架构、开发及运维经验;

熟练掌握java/Scala语言,实现面向对象开发思想OOA,OOD,OOP;

熟悉linux操作系统,熟练掌握脚本言语Shell/Perl/Python等编码语言;

熟练掌握数据仓库设计,开发工作。能够根据业务设计并开发数据仓。

具备源码级问题解决和集群优化改造能力者优先;

能快速的学习新的开源框架和知识体系,并应用到现有架构体系中;

逻辑清晰,快速的学习能力,良好的沟通能力、团队协调能力。

具备良好的团队合作精神,较强的沟通交流能力,具备良好的技术领导能力;

具备良好的文档撰写能力和技术团队管理能力

大数据架构师的具体职责篇5

职责:

1、数据分析软件平台架构搭建

2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

3、指导开发人员开发,并解决系统出现的问题,理解物业需求;

4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;

任职要求:

1、硕士以上,计算机或先关专业;

2、5年左右软件开发经验,含3年以上系统分析、设计经验,有大型软件项目大型软件项目;有中大型互联网企业数据库架构设计及管理经验,

3、具备良好的组件级建模能力,熟悉HTTP、TCP等协议

4、熟练使用UML进行软件架构设计,至少精通EA,RATIONAL,VISIO等一种设计工具.

5、精通至少一种编程语言,熟悉Linux相关技术,能独立在上面进行开发、测试和部署

6、深入理解数据库、数据仓库、大数据、分布式体系架构和关键技术

大数据架构师的具体职责篇6

职责:

1、负责大数据平台的技术选型,基于Spark、Hadoop大数据平台建设和开发;

2、完成包括数据模型设计、数据采集、数据存储等方面的大数据系统架构的设计和数据层架构设计;

3、构建数据中台,为多种行业应用提供主数据(画像标签/关系图谱)、数据模型、人工智能业务算法及数据服务。

4、对海量数据处理的业务需求进行评估和方案设计、拆分任务并指导工程师完成开发;

5、带领大数据技术团队提供并实现大数据平台上各项数据分析和数据可视化的架构设计,支撑解决方案实施。

任职要求:

1、本科及以上学历,具有5年及以上大数据架构设计和开发经验;2年及以上带领团队经验;沟通能力强。在大型互联网企业从事大数据架构设计者优先考虑;有分布式大型商业软件系统设计经验、主导过大型商业软件的架构设计并取得过市场商业成功者优先考虑;

2、熟悉整个大数据的完整处理流程,包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化;

3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一种主流数据库的使用,并能进行性能调优;

4、具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战。

大数据架构师的具体职责篇7

职责:

1、负责面向政府信领域的企业(不限于)大数据平台、大数据应用等系统的架构设计、技术规划、技术选型

2、跟进业界大数据技术发展动态,匹配行业应用诉求,制定大数据策略,提前识别关键技术并完成技术验证;

3、支撑售前完成项目解决方案技术架构的设计及重要客户的交流;

4、负责指导研发完成大数据产品的开发

5、带领团队进行产品核心技术的创新和积累

岗位要求:

1、熟悉BI和大数据领域的解决方案,具备该领域全面的技术积累,包括报表平台,OLAP引擎和DB,ETL,数据仓库建模和设计,海量分布式数据处理分析架构;

2、在大数据处理和分析领域具有3年或者以上的技术规划、架构设计经验,并有成功的项目实践;

3、4年以上Hadoop实战经验,熟悉Hadoop底层文件系统及分布式计算框架,具备传统数据仓库、MPP、Hadoop等混搭平台架构的设计能力和数据建模能力,对大规模数据并行计算、传输、处理等有丰富的经验;

4、有实际应用storm、spark、flume、kafka等项目经验优先;

5、卓越的技术领导力,善于沟通、发现和解决产品需求阶段、开发阶段和测试阶段的问题,并能提供合理解决方案,有大中型互联网企业工作背景优先。

大数据架构师的具体职责篇8

职责:

1、负责大数据平台架构的规划与设计;

2、负责大数据平台技术框架的选型与技术难点攻关;

3、参与企业级大数据产品和应用规划;

4、研究跟进大数据架构领域新技术并分享;

5、大数据处理和分析应用平台的设计指导。

任职资格:

1、具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

2、熟悉BI平台架构及相关项目标准,大数据解决方案包括Hadoop、Spark、Storm、机器学习等大数据平台解决方案;

3、熟悉MySql/Postgresql/Oracle/MongoDB/Redis等主流数据数据库;

4、精通Linux/Unix环境,精通Jjava、scala、python、R中的一种或多种语言;

5、具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战;

6、大专及以上学历,3年及以上工作经验。

大数据架构师的具体职责篇9

1.负责大数据项目整体架构规划,包括应用架构、技术架构、物理架构和数据架构等;

2.负责指导工程师进行技术验证与实现,核心技术问题的攻关,解决项目开发过程中的技术难题;

3.负责项目对外技术沟通,具有较强的沟通,表达和文档撰写能力;

4.根据公司项目和业务发展特点,负责研究相关大数据前沿技术;

5.推动技术能力的沉淀。

大数据架构师的具体职责篇10

1、数据分析软件平台架构搭建

2、负责深度学习核心框架或高性能后台服务系统的架构设计工作,包括系统总体规划、架构设计、系统分析、软件实现、性能优化;

3、指导开发人员开发,并解决系统出现的问题,理解物业需求;

4、制定开发计划和控制开发进度,负责指导研发团队开展设计工作;

大数据架构师的具体职责篇11

1、负责大数据项目技术架构评估与设计;

2、负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;

3、负责对使用关键技术的预研和选型,完成PoC;

4、指导工程师完成开发工作,并能分享技术经验。

大数据架构师的具体职责篇12

职责:

1.负责企业数据中心建设,设计数据逻辑模型和物理模型,并完成相关开发

2.梳理公司各业务线常用的指标和维度,统一指标定义口径

3.根据数据应用开发和数据分析需求,设计数据仓库信息层模型,提高数据开发的效率

4.负责数据模型的运营和优化,及时响应业务逻辑变更,保证模型的数据质量和稳定性

5.负责公司数据标签体系的建设,并推动标签体系在实际业务场景中落地

岗位要求:

1.5年以上DW/BI数据架构设计、模型设计和性能调优等相关经验

2.有较强的数据分析能力,精通数据仓库架构,熟悉Erwin或PowerDesigner建模工具

3.精通一种主流关系数据库(如mysql等),熟悉Hive开发

4.有电商业务经验,元数据管理,数据质量管理或标签体系搭建经验者优先

5.优秀的协调沟通与团队协作能力,极强的责任心,能承受一定的工作压力,认同企业文化和团队价值

大数据架构师的具体职责篇13

1、正确理解业务需求,对需求进行工作量评估;

2、参与项目相关的需求、设计、投产手册等文档的编写;

3、根据进度计划,完成所承担功能模块的`设计、开发、单元测试、联调测试;

4、配合测试组修复代码缺陷,确保功能实现与代码质量;

5、负责所承担功能模块投产、部署,及上线后的日常维护;

6、完成项目经理或者架构师安排的其他工作;

大数据架构师的具体职责篇14

1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

2、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;

3、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;

4、负责建立和维护大数据平台技术标准规范,指导开发人员编写代码;

大数据架构师的具体职责篇15

职责:

1、负责大数据开发团队建设;

2、负责行业大数据产品架构设计与研发;

3、负责带领团队进行行业大数据产品关键技术攻关。

任职要求:

1、有三年以上大数据应用、开发经验;具备海量数据加工处理(ETL)相关经验,对数据挖掘及机器学习有较为深刻的理解;

2、熟悉Hadoop相关技术,对HDFS、MapReduce、Hive、HBase有一定的使用和开发经验;

3、熟悉Linux,熟练使用Shell或Python,进行脚本编写;

4、对数据结构和数据统计分析算法有较为深刻理解;

5、掌握至少一种主流关系数据库开发技术:Oracle、SQLServer、MySQL等;

6、掌握实时流计算技术,有Spark、Storm开发经验者优先;

7、需要具备2年以上研发团队管理经验。

大数据架构师的具体职责篇16

职责:

1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作

2、与数据专业委员会一起研究数据建模方案和建模工具,负责产品线产品的数据架构、数据模型设计

3、参与研究数据库之间的数据转换方式,参与项目中的数据移植工作,收集在项目中的数据移植经验,优化产品的数据模型

4、负责培训本部门队伍的数据模型基础理论工作,建立数据模型团队

岗位要求:

1、统招本科学历,3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验,具备大型数据仓库逻辑模型和物理模型设计经验,精通SQL,有较好的SQL性能调优经验;

2、拥有Python,R等数学建模工具的使用经验,并具备一定的数据处理和建模经验,可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和判断依据方法并对其进行完整的解释和说明;

3、熟悉统计学基本原理,做过实战的数据建模项目;

4、有分布式数据仓库建设相关经验者优先,具备电信行业数据仓库建设相关经验者优先;

大数据架构师的具体职责篇17

1.负责公司大数据底层框架的整体架构设计,结合公司实际业务情况进行技术选型及大数据战略规划;

2.负责统一数据平台项目的整体评估、设计、架构及关键模块的开发,不断提升系统的稳定性和效率;

3.负责架构优化及系统关键模块的设计开发,协助团队解决开发过程中的技术难题;

4.建立良好的公司内外的业界技术影响力;有效辅导团队,提升数据研发能力;

大数据架构师的具体职责篇18

职责:

1、负责DMP技术架构设计与构建,根据业务规划及技术规划制定应用架构方案;

2、负责设计构建DMP数据采集、存储及分析框架,设计数据处理的技术流程和规范;

3、负责核心功能的架构与代码模板编写,开发与维护系统公用核心模块;

4、负责基于大数据技术的海量数据的自动化分析处理和统计工作。

岗位要求:

1、计算机或相关专业本科以上学历,三年以上的开发经验,二年以上大数据相关软件架构的实际经验;

2、精通大数据处理技术,熟悉Hadoop/Storm技术体系,有Hadoop、Hive、Hbase项目经验;

3、具有较强的架构能力,具有分布式计算、实时计算、数据仓库、数据挖掘系统的架构经历优先;

4、对数据敏感,洞察力强,了解国内外广告发展趋势;

5.、擅长系统分析与设计,精通常用的设计模式,擅长性能调优;

6、熟悉DMP/RTB技术原理,了解用户的行为分析及建模;有RTB/DSP/SSP/EXCHANGE/DMP等广告行业从业经历。

大数据架构师的具体职责篇19

职责:

1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;

2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;

3、进行大数据系统框架设计、模型算法开发;

4、负责大型数据挖掘项目方案制定、项目实施落地及优化等;

5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;

任职资格:

1、本科以上学历(持有学士学位)(985,211优先),计算机相关专业,五年工作经验;

2、二年以上数据挖掘项目经验,完整参与过数据挖掘大数据平台的架构开发过程,具备互联网行业背景优先;

3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验,熟练掌握Hive/SQL,Python,熟悉Python、R相关数值科学计算库(NumPy,SciPy等);

4、了解传统的BI/DW理论,能结合传统BI实践设计大数据平台;

5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理,具备应用场景经验,如用户画像、商品关联度分析、舆情分析;

6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;

7、具备较强的逻辑思维能力、数据敏感度,擅于利用数据发现问题及解决问题;

大数据架构师的具体职责篇20

1)负责公司软件产品整体架构的设计和关键功能实现

2)负责公司架构长期看护以及优化;

3)负责软件部门各模组间的协调配合;

4)提高巩固软件代码质量;

5)负责大数据流式框架的设计、优化及部署;

6)规划研发部门员工的技术发展路线并提供必要的帮助和指导

大数据架构师的具体职责篇21

职责:

1.负责数据仓库建设,基于数据驱动构建企业级数据模型,根据架构设计进行各层数据模型开发。

2.面向PB级别超大规模数据处理和查询需求,设计适合业务变化的合理的多维数据分析系统架构,满足多样性需求。

3.构建设计良好的数据流、调度系统、查询引擎、监控系统,保证系统稳定高效运行,以实现数据的最大价值。

4.指导团队成员开展数据仓库建设。

5.参与重点项目的评审,参与企业数据管理体系建设。

任职要求:

1.统招本科及以上学历。

2.从事数据仓库领域至少5年以上,熟悉数据仓库模型设计与ETL开发经验,掌握Kimball的维度建模设计方法,具备海量数据加工处理(ETL)相关经验。

3.具有一定数据模型和数据架构基础,熟悉hadoop\hive和常用数据库。

4.精通SQL,有一定的SQL性能调优经验,熟悉hivesql的开发。

5.具有管理团队开发经验,具备良好的组织能力、协调能力及项目管理能力。

6.具有较好的文字功底及语言表达能力,能够快速、准确地理解需求。

7.具有专研、快速学习和创新精神,具备独立分析问题和解决问题的能力。

8.具有责任心,时间观念强,工作独立性强,有良好的团队合作精神。

9.全日制普通本科毕业。

大数据架构师的具体职责篇22

职责:

1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;

2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;

3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;

6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。

任职要求:

1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉BI平台、大数据系统相关技术架构及技术标准;

2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

3.熟悉大数据相关技术:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉制造企业信息化系统及相关数据库技术;

5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;

6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;

7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。

大数据架构师的具体职责篇23

1.负责大数据基础和应用平台的整体规划和架构设计,参与需求分析,架构设计,详细设计以及技术选型决策

2.参与数据挖掘和建模相关核心算法的代码实现

3.负责大数据算法平台的技术把关,性能调优,控制架构质量,解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发

4.带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力,支持解决方案实施

5.负责数据库设计、应用架构设计、核心技术选型等工作

6.协调解决开发中的技术问题、设计和监控运营指标,保障系统稳定运行

7.培养,指导有能力的员工,指导工程师进行技术验证实现,核心技术攻关,解决开发过程中的技术难题

大数据架构师的具体职责篇24

职责:

1.负责设计企业级大数据平台的整体架构,从技术层面制定清晰的大数据产品与系统技术架构,并负责实现关键技术和产品。

2.负责设计具有创新价值的大数据底层平台、大数据上层应用系统等,带领团队完成有质变的技术解决方案。

3.负责组织同事研究行内最前沿的技术发展方向,突破现有的技术难题。

4.负责研究院对外项目合作协调与支持,编写项目建设方案及后期项目建设支持。

任职要求:

1.硕士及以上学历,计算机相关专业。

2.JAVA基础扎实,不少于8年的一线开发经验,精通Springboot/MyBatis/RestfulAPI的开发与管理.熟悉ReactJS/Angular/Vue之一前端开发技术,熟悉Maven或Ant.,熟悉Python语言开发加分。

3.不少于4年大数据的直接研发经验,精通Hadoop/Spark系统,有hands-on的架构设计、性能调优、开发经验。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive等系统的开发经验。

4.掌握分布式系统原理,对分布式存储、流式计算、消息队列中的一项或多项有深入的理解和认识。

5.熟悉分布式系统的监控、运维、故障恢复,高可用原理和设计理念。

6.算法基础扎实,熟悉常见的数据结构,掌握大规模高并发访问、大数据开发等处理经验;熟练的Linux系统,网络,内存和存储等方面知识。

7.必须要有千万级别的项目管理经验,包括但不限于前期需求沟通,建设方案编写,中期项目实施,进度汇报,后期项目维护。

大数据架构师的具体职责篇25

职责:

1、负责大数据平台技术框架的技术选型和搭建;

2、负责核心技术问题公关,建设高可靠性,扩展性及高性能大数据/数据应用平台;

3、负责规划数据挖掘的整体流程,负责大数据开发团队业务需求开发;

4、与其他团队密切配合,寻求数据层面的业务价值,利用数据分析结论推动产品优化;

5、研究和分享大数据架构领域新技术。

任职要求:

1、计算机相关专业全日制统招本科及以上;

2、5年以上工作经验,至少3年以上大数据项目相关工作经验,能够设计大型大数据系统的架构和技术方案;

3、精通Hadoop/Spark/Hbase/Hive等大数据技术,精通ETL技术;

4、熟悉数据挖掘,了解典型大数据算法和策略;

5、熟悉主流Java技术框架,精通关系型数据库及SQL语言,熟悉NoSQL/JSON/XML;

6、有较强的学习能力和问题解决能力,逻辑严密、思路清晰;

7、有数据仓库经验者优先,有金融行业项目经验者优先。

大数据架构师的具体职责篇26

职责:

负责公司大数据产品架构的设计与实现;

配合大数据产品经理完成产品的快速研发与交付;

负责大数据产品架构的持续优化设计;

负责大数据产品核心组件设计;

负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;

为应用开发团队提供技术支撑。

及时向上级反馈工作进度、遇到的问题或者对现有工作的建议等;

完成上级领导交办的其它各项工作。

任职资格:

985/211本科及以上学历,3年以上的大数据开发经验、

2年以上大数据架构设计经验;

丰富的JAVA研发经验,精通JAVA,熟悉PythonScala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);

精通各种大数据相关技术体系:Hadoop、Spark、Storm、ElasticSearch、Kafka;

有数据挖掘、机器学习相关应用或研究背景;

沟通能力较好,积极主动意识较强,责任心较强。

具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题;

良好的团队合作精神,较强的沟通能力和学习能力;

大数据架构师的具体职责篇27

职责:

1、负责自然语音交互、IOT家电物联控制、知识图谱等相关模块和系统的开发;

2、负责掌握第三方接口的调用和功能实现,持续优化服务性能和容量,并保证产品的兼容性和执行效率;

3、根据设计文档和需求说明完成代码编写、调试、单元测试与维护,确保项目进度和质量;

4、协助制定测试计划,及时发现并修复BUG,实现服务端的性能优化。

任职资格:

1、大学本科3年以上工作经验,计算机相关专业;

2、熟悉软件项目开发流程,具有良好编码风格及文档编写能力;

3、熟悉Linux服务器相关技术,能够独立完成服务器部署,具有相关经验;

4、熟悉Hadoop/Spark框架,JAVA基础扎实;

5、熟练使用Mysql数据库,了解MongoDB或neo4j等分布式数据库;

6、熟悉SpringCloud,SSM,Docker,redis开发者优先;

7、熟悉前端(包括但不限于Html5、css、Angularjs、ajax、jquery等)开发技术优先;

8、了解Socket网络编程、MQTT等,有相应实践经验者优先;

9、有智能语音语义、知识图谱服务端开发经验者优先。

大数据架构师的具体职责篇28

职责:

(1)负责公司大数据平台搭建,相关的设计和技术开发工作,负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等的设计、研发以及维护、优化工作;

(2)通过数据分析技术,挖掘有利于营销中各业务场景的变量或规则类标签,以提升模型效果,为文旅、教育业务提供数学模型理论及编程支撑;

(3)对接沟通业务系统研发团队和产品部门,提供数据驱动方面的专业咨询方案,并对业务的大数据应用场景提出建设性意见;

(4)配合部门领导进行项目需求分析、设计开发工作。

任职要求:

(1)计算机、统计学,数学等相关专业本科以上学历,5年以上大数据或文旅、教育数据产品设计开发经验,高效高质量产出需求和技术文档;

(2)精通Hadoop,熟悉大数据生态技术,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等,有大规模集群架构、开发及运维经验;熟悉HDFS/MapReduce等;

(3)熟悉Java,能够独立应用python、R、SAS或类似分析工具进行数据分析;

(4)熟悉大数据挖掘、可视化分析,各种BI算法和产品等,在计算广告、搜索引擎、推荐系统、用户画像等有一个或多个算法领域的研发经验,能够运用数据作为产品解决业务方运营及决策问题;

(5)有互联网行业工作经验者优先,有海量数据的机器学习算法实践经验优先;

(6)工作认真、负责,有良好的团队合作精神,良好的分析能力、沟通技巧。

大数据架构师的具体职责篇29

1.负责大数据平台的基础技术规划,编制相关规范文档。

2.负责大数据平台的数据采集,处理,存储以及挖掘分析的架构实现。

3.负责大数据平台的实际规划建设,包括环境和框架的规划搭建以及部分核心编码工作。

4.负责大数据相关技术发展方向的预研。

5.参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目。

6.制定大数据平台中数据质量,业务质量监控及管理办法。

大数据架构师的具体职责篇30

职责:

1.负责产品级业务系统架构(如业务数据对象识别,数据实体、数据属性分析,数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计,从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性,并对系统质量负责。

2.负责云数据平台的架构设计和数据处理体系的优化,推动云数据平台建设和持续升级,并制定云数据平台调用约束和规范。

3.结合行业应用的需求负责数据流各环节上的方案选型,主导云数据平台建设,参与核心代码编写、审查;数据的统计逻辑回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。

4.对云数据平台的关注业内技术动态,持续推动平台技术架构升级,以满足公司不同阶段的数据需求。

任职要求:

1.熟悉云计算基础平台,包括Linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基础环境,熟悉控制、计算、存储和网络;

2.掌握大型分布式系统的技术栈,如:CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟悉大数据应用端到端的相关高性能产品。

3.精通Java,Python,Shell编程语言,精通SQL、NoSQL等数据库增删改查的操作优化;

4.PB级别实战数据平台和生产环境的实施、开发和管理经验;

5.熟悉Docker等容器的编排封装,熟悉微服务的开发和日常调度;

6.计算机、软件、电子信息及通信等相关专业本科以上学历,5年以上软件工程开发经验,2年以上大数据架构师工作经验。