数据采集工程师岗位职责（通用34篇）
数据采集工程师岗位职责（通用34篇）
数据采集工程师岗位职责篇1
1.嵌入式bootloader，kernel开发；
2.工业通讯协议解析等；
3.windows/linux平台网关应用层程序开发；
4.网关产品的软件功能测试验证；
5.工业网关产品软件sdk及library开发。
数据采集工程师岗位职责篇2
1.负责linux平台下应用软件开发，根据产品与项目要求，开展模块设计.编码等工作；
2.负责linux软件的交叉编译与移植；
3.参与需求分析.软件设计.开发.调试以及测试维护全过程；
4.负责协同硬件工程师或第三方方案商完成系统功能模块的联调及功能对接.接口文文件输出；
5.负责嵌入式系统软件平台搭建工作；
数据采集工程师岗位职责篇3
1.负责工业设备组网及数据采集方案设计；
2.负责设计方案所需传感器、仪表选型，布线图、数据存储方式、数据表等详细设计；
3.负责与设备厂商、数控系统厂商进行业务协议、通信协议及接口协调；
4.负责现场数据采集相关软硬件安装调试；
5.负责和用户现场对口协调、技术指导及现场培训。
数据采集工程师岗位职责篇4
1.数据采集系统和分布式爬虫系统的架构设计和开发
2.对接外部数据服务商提供的数据及资讯服务，实现数据的'有效沉淀，建立数据服务评估机制
3.负责大规模文本、图像、视频数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作
4.研究各种目标网站的形态，互联网特征挖掘，发现它们的特点和规律
数据采集工程师岗位职责篇5
•识别，分析和解决计划支持问题。
•与BU利益相关者合作，确定并优先考虑数据和统计要求，包括要收集的特定数据元素。
•协助开发和实施数据库，数据收集系统/工具，数据分析以及其他优化统计效率和质量的策略(包括确定流程改进以更好地满足业务需求)。
•分析大量数据集，提出有见地的业务建议。
•通过查看报告和绩效指标来确定和纠正数据收集问题，从而确保数据的准确性和完整性。
•识别，分析，解释和建模数据湖中数据的趋势或模式。
•为各种受众设计和生成准确有效的统计数据可视化产品和报告。
•通过促进技术和非技术利益相关者之间的沟通，确保技术团队了解计划和业务工作的短期和长期目标
•准时交付优质，易懂，明确的产品。
•参与构建机器学习策略平台。
•对数据驱动业务，关键思想家，问题解决者和自我启动者的热情
•促进技术和非技术利益相关者之间交流的能力
•出色的书面和口头交流能力。
数据采集工程师岗位职责篇6
1、学习并理解励步云学业务及系统，根据业务部门需求对公司各项业务数据进行统计分析，出具相关报表；
2、进行数据仓库设计、模型开发、数据质量校验，报表开发；
3、进行数据差异分析，找出统计口径、数据错误、操作错误等造成的差异原因；
4、进行数据查询优化，解决跑数性能问题。
数据采集工程师岗位职责篇7
•在行业担任数据工程师或后端工程师超过4年
•您将了解数据仓库的概念(建模，调整，维护)
•您非常精通SQL，并渴望指导和教其他SQL
•您精通Python或任何其他脚本语言和软件开发
•您在分布式数据处理/传统RDBMS/MPP/NoSQL系统和数据建模方面有很强的低估/经验
•您在Spark/Kafka/HBase/Redis/Kettle方面拥有丰富的经验
•您受到探索数据的好奇心和动力的驱动
•您具有处理数据管道的DevOps问题的经验
•对数据驱动业务，关键思想家，问题解决者和自我启动者的热情
•获得认可大学的相关学科的学士学位
数据采集工程师岗位职责篇8
数据处理工程师（大数据项目）全成通信上海全成通信技术有限公司，全成通信，全成岗位职责：
1、负责大数据平台的日常维护和监控
2、负责大数据项目日报发布工作
3、负责日报数据的统计
4、负责大数据项目日常数据的计算、分析和维护
任职要求：
1、一年以上相关工作经验，有电信行业经验者优先
2、熟悉linux和excel，熟练使用perl或者其他的'脚本语言
3、具有oracledll/dml技术的使用经验
4、具有良好的团队合作精神，有较强的学习能力、适应能力、沟通能力
数据采集工程师岗位职责篇9
1、参与部门项目的售前工作，参与现场交流，深入挖掘用户需求，编写投标方案，参与投标;
2、完成所负责项目的需求规格说明书的编写，并向项目组开发人员和测试人员讲解需求，如需求发生变化及时调整需求。
3、完成所负责项目的概要设计，并解决项目进展过程中的需求与设计问题;
4、可承担部分项目经理的职责，组织相关资源对项目工作进行计划/控制/调整;
数据采集工程师岗位职责篇10
1、负责数据仓库的设计、开发、部署、维护和优化;
2、参与公司项目数据库架构设计,及相关文档的撰写;
3、协助开发完成数据库表的设计以及SQL调优,给开发人员提供SQL调优指导;
4、负责数据库技术规范建设。
数据采集工程师岗位职责篇11
岗位职责:
1.负责衔接大数据平台与前端的数据传输；
2.根据客户需求设计大数据业务平台架构、配置组件；
3.负责后台服务的调试与测试，梳理接口文档、开发文档与测试文档。
任职资格:
1.硕士以上，或较为优秀的本科生；后端开发经验2年以上；
2.有基于b/s架构进行实际业务平台开发的经验，有tob软件开发经验更佳；
3.通用软件开发基础、软件架构基础、scrum敏捷开发方法，有大数据基础更佳；
4.精通java或python语言，有rcp框架经验更佳；熟练掌握mybatis、springcloud/springboot、node.js等框架，精通sql技术；了解以太网通信协议，熟悉websocket技术。熟练使用git，svn等工具；
5.学习能力强，勇于挑战，代码质量意识强，笃信“工程即魔法”。
数据采集工程师岗位职责篇12
1、针对海量用户行为数据进行挖掘和建模，深入挖掘数据的业务价值。研究机器学习或统计学习领域的前沿技术，并能活学活用到项目中。
2、基于对汽车广告投放业务及用户的理解，参与精准营销、个性化推荐等模型建设和领域研究，提升转化率等业务指标。
3、根据业务需要采集相关数据，对原始数据进行ETL和归类整理，并实现流程自动化。
4、其他大数据处理及项目开发工作等。
数据采集工程师岗位职责篇13
岗位职责：
1、对通信和金融业务数据进行分析和挖掘，满足研发和运营等部门的业务需求和决策需求;
2、能根据业务特点选择最合适的数据挖掘算法，并做调优;
3、支持数据分析、挖掘算法平台的部署和日常运营;
4、撰写分析类报告。
任职资格：
1、大学本科或本科以上统计学、数学或其他相关专业，对数据结构熟悉;
2、熟练使用python进行数据分析、处理、可视化。熟悉numpy/pandas/matplotlib等常用模块。熟练使用sql,最好用过hive-sql或spark-sql;
3、对hadoop/spark有一定了解。能够简单使用hadoop系列命令;
4、对线性回归，决策森林，xgboost，评分卡等数据挖掘相关算法有一定了解;
5、做过web接口调试，熟悉json者优先;
6、熟练掌握PPT和EXCEL制作;
7、具备良好的学习、沟通与表达能力，具有较强的团队合作精神，对工作富有热情，能承受工作压力;
8、有运营商或金融类相关数据经验工作优先考虑;
9、能适应中长期现场出差。
数据采集工程师岗位职责篇14
1、熟悉掌握业务系统功能，灵活制定不同业务的推广策略，通过活动运营、内容运营等方式策划并落地项目推广方案，拓展系统用户量及影响力。
2、熟悉公文写作，配合完成工作汇报材料的撰写及分析报告。
3、与企业及海关关系的协调和维护，强化合作关系，维护好项目参与方的'关系。
4、面向进出口企业开展调研，主动挖掘系统需求，进行需求分析，形成调研报告或业务需求报告。
5、项目管理相关工作，包括组织业务需求论证、项目立项、进度管理等根据项目管理规范开展相关工作。
6、完成领导交办的其他工作事项。
数据采集工程师岗位职责篇15
1、负责数据接入、数据提取、数据清洗、底层重构、业务主题建模等工作;
2、参与数据集市开发，用户画像标签开发;
3、负责接口平台、自助分析平台等系统的建设和维护;
4、针对具体大数据应用场景，提供有效解决方案，并针对具体模型落地实施;
数据采集工程师岗位职责篇16
1.负责企业级数据仓库设计、规划、建设、实施、管理,数据仓库架构设计与数据开发，创建数据仓库、数据集市
2.熟悉数据仓库领域知识，从架构和技术层面参与建设数据仓库，包括元数据管理、数据质量、主数据管理、性能优化和调优。
3.负责数据仓库平台相关数据管理工作，如研发规范、质量规范、保障规范的制定与推动实施落地
4.配合和协助数据分析/数据挖掘形成底层/中间层的业务逻辑切片
数据采集工程师岗位职责篇17
1、负责生产环境Mysql数据库系统高可用、高性能架构方案，分库分表策略，数据库扩展方案;
2、排查数据库故障，分析和解决疑难问题，提出预防方案;
3、制定数据库监控策略、备份策略、容灾策略，探查系统潜在的问题和可能的性能瓶颈并进行优化;
4、对开发工程师的SQL语句进行审核及SQL优化;
5、负责redis、memcache等非关系数据库的管理和扩展，能够根据业务需求完成系统设计、架构设计工作;
6、参与前瞻性新技术研究，解决数据库相关疑难问题。
数据采集工程师岗位职责篇18
1、负责每日的数据仓库运维工作，保障数据的稳定性、一致性等;
2、参与数据仓库的优化设计，如元数据、数据权限、调度优化;
3、负责数据质量和数据标准化的设计与开发;
4、负责满足业务部门的日常业务提数与报表需求的开发。
数据采集工程师岗位职责篇19
岗位职责：
业务数据的收集整理和分析;
负责公安、交通领域的业务建模和算法设计;
分析项目数据需求，完成系统中数据分析模块的设计、实现和测试;
设计、构建和优化基于大数据的存储平台架构，编写相关技术文档;
设计并实现基于开源项目(Cobar，Spark等)的海量数据集成与处理平台;
为其他部门提供数据分析支撑。
任职资格：
计算机相关专业;
熟悉数据挖掘算法，对分类、聚类、时序、图等算法有很深了解;
熟练掌握Hadoop、Spark生态系统组件(MR、HBase、Hive、ZooKeeper、SparkSQL、SparkMlib等)，有相关大数据架构,开发成功案例;
熟练的使用、开发ETL工具经验，有数据库建模ER建模经验优先;
有海量数据BI或数据挖掘项目实施和管理经验，对数据挖掘理论方法有一定了解者优先;
熟悉的BashShell和Python等脚本编程能力;
强烈的责任心和工作热情，良好的团队合作精神。
数据采集工程师岗位职责篇20
岗位职责：
深入研究业内领先的技术思路，输出具有创新价值的预研项目可行性分析报告以及相关实验数据;
负责产品、销售、供应链、电商等公司数据的海量挖掘，并建立和优化用户标签、特征模型、产品精准匹配、异常预警等;
负责大数据下传统机器学习算法的并行化实现及应用，并提出改进方法和思路;
参与公司大数据架构，负责BI实施中的数据挖掘模块算法研究、模型建立和优化，帮助实现数据挖掘和分析平台的建设;
负责相关数据挖掘项目的需求收集、项目建立、项目设计开发和结果输出质量把控，通过数据挖掘结果驱动业务执行;
配合技术进行数据挖掘模型开发和模型封装，例如决策规则模型、预警模型、流失模型、效果标杆模型、客户生命周期管理模型等;
任职要求：
大学本科及以上学历，统计学、计算机、信息技术、数学相关专业;
两年以上数据建模经验;
数据主流数据库，mysql、oracle、DB2等传统结构化数据仓库，熟悉HBase、MongoDB等非结构化数据库;
熟悉常用的聚类、分类、回归、关联、时间序列等监督式和非监督式学习算法;
熟悉R、Python、MLlib等数据挖掘工具中至少一种。
熟悉spark、storm等大数据计算框架者优先。
数据采集工程师岗位职责篇21
1.负责直播业务相关数据仓库的数据模型设计;
3.参与数据仓库ETL流程设计、开发和优化，解决ETL过程相关技术问题;
3.参与项目规划，数据采集设计，数据仓库开发，模型开发，报表开发等;
4.总结数据仓库建模的方法，负责数据产品平台化和系统化;
数据采集工程师岗位职责篇22
职责描述：
1、负责文本数据处理，如格式转换、分词处理、实体抽取、专业词典整理等；
2、自然语言处理相关工具开发；
3、协助训练nlp模型。
任职要求：
1、计算机相关专业（本科2年以上）；
2、精通c/c++或java，熟悉python、bash？shell等脚本语言；
3、熟悉正则表达式，了解常用分类、聚类算法及相应工具；
4、熟悉使用基本分类、聚类算法及相应工具；
5、具备nlp相关工作（特别是数据处理与分析）经验，了解nlp基本知识；
6、其他：耐心、细致；较强的逻辑思维能力；性格踏实稳定，抗压能力强。
数据采集工程师岗位职责篇23
1、对海量业务数据进行分析，并利用算法挖掘用户行为特征，发现潜在规律，建立机器学习算法并优化;
2、利用数据挖掘技术分析、预测用户的消费行为;
3、建立各种业务逻辑模型和数学模型，帮助公司改善运营管理，节省成本。
任职要求：
1、大学本科及以上学历;
2、统计学、会计学、数学、物理等相关专业;
3、本科5年以上同岗位工作经验，研究生3年以上同岗位工作经验;
4、对统计学和数据挖掘算法原理有较为深刻的理解，了解数据仓库思想，熟悉SPSS、SAS、R、MAHOUT等数据挖掘软件之一;
5、熟悉决策树、聚类、逻辑回归，关联分析、SVM，贝叶斯等数据挖掘算法，有海量数据挖掘的项目经验;
6、有用户行为分析、用户建模、业务建模、数学建模经验优先;
7、良好的逻辑分析能力、分析问题和解决问题的`能力，对数据敏感，良好的沟通能力。
数据采集工程师岗位职责篇24
1、负责大数据平台搭建及数据仓库建模；
2、负责数据库管理及数据优化；
3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作；
4、维护大数据平台并能解决相关问题，保障平台正常运行；
5、学习和研究新技术以满足系统需求。
数据采集工程师岗位职责篇25
1、参与数据仓库建设，负责数据仓库模型设计；
2、开发高质量可扩展的底层数据仓库体系；
3、负责数据仓库系统与业务系统的接口设计和确认工作；
4、负责数据平台相关的管理工作，如数据研发规范、数据质量及稳定性保证等建设；
5、参与公司各个业务线BI、数据产品与应用的数据研发，发觉数据潜在价值。
数据采集工程师岗位职责篇26
1、维护数据库稳定运行，持续发现和解决潜在的问题；
2、负责数据库的性能优化，使用新技术和新架构满足日益增长的业务需求；
3、负责数据库的监控系统设计，为开发团队提供平台支持；
4、负责数据库的运维方面的相关工作，包括数据库的安装部署、压力测试、备份恢复、知识库管理等
5、负责数据库进行容量规划、架构设计，提高业务高可用性和容灾能力；
6、负责数据库相关工作的整体规划，提供决策建议。
数据采集工程师岗位职责篇27
1、负责产品数据库研发，参与系统整体架构设计；
2、根据产品目标负责相关业务的数据分析、建模、设计评审，跟进产品过程中数据库设计；
3、负责产品模块的数据层分析、设计、编码、测试；
4、能够独立完成产品数据层开发任务，负责各类数据接口开发；
5、负责各类型数据操作处理和兼容问题；数据库复杂SQL开发和调优。
数据采集工程师岗位职责篇28
1、负责数据仓库（HADOOP）ETL工作以及数据运营；
2、负责数据产品的业务需求梳理、数据开发以及维护；
3、负责数据仓库的'维度建模以及设计相关的脚本调度；
4、负责维度模型的数据处理的脚本开发，程序开发以及接口对接。
数据采集工程师岗位职责篇29
1、MySQL数据库规划、设计、监控维护、升级、备份、镜像、容灾;
2、数据库服务器的安装部署、性能优化、可靠性、容灾方案制定等;
3、对数据库性能分析与调优，排错，保证数据安全;
4、负责对开发工程师的SQL语句进行优化;
5、配合研发制定数据库技术方案，分库分表策略，现有表结构优化，数据迁移方案;
6、负责Mysql自动化相关事宜;
数据采集工程师岗位职责篇30
任职要求：
1、软件、计算机、通讯等理工科相关专业本科及以上学历；
2、具有3年配置管理或产品数据管理经验；
3、熟悉计算机与网络管理；
4、熟悉配置管理与产品数据管理知识，熟练掌握svn、plm等数据管理平台的`操作与管理；
5、熟悉系统与信息安全知识；
6、具有较强的逻辑思维能力及良好的沟通能力，良好的主动学习能力及执行力。
数据采集工程师岗位职责篇31
岗位职责：
1、负责构建公司数据分析与数据挖掘业务分析体系,整体架构设计、规划,充分发挥数据的价值,提高数据质量,促进公司业务更好的发展;
2、通过建立业务的数据分析模型来指导业务的发展,对数据库信息进行深度挖掘和有效利用,充分实现数据的商业价值,构建公司核心竞争力;
3、跟踪并分析用户行为,为公司广告业务的发展及产品的设计进行海量数据支持;
4、负责数据管理中心团队的建设、发展、激励、培训等管理工作,有效领导数据分析与挖掘团队支持和推动业务发展。
任职要求：
1、热爱数据,对数据及逻辑关系敏感,并对数据体系有深入的认识;
2、本科以上学历、计算机/统计学/经济学等相关专业，有一定工作经验，;
3、具备数据建模(机器学习,数据挖掘,信息检索背景)和分析理论知识和经验;
4、熟悉Linux平台的海量数据分布式存储、分布式计算;
5、熟悉常用的数据分析工具，有基于Hadoop的云计算平台，HBase及类似的NoSQL存储,MySQL,和BI系统等实践经验;
6、熟悉互联网并且对于互联网常见的业务形态与商业模式有深入的理解,对业务变化有敏锐的洞察力;
7、有较强的对业务理解与分析能力，了解业务规划与策划能力以及相应经验;
8、具备较强的问题定位、分解、解决能力及计划和组织能力;
9、善于创新、思维敏捷、精力充沛，沟通能力强，能够承受较大工作压力;
10、有电子商务或互联网数据仓库或商业智能架构设计、开发实施经验者优先。
数据采集工程师岗位职责篇32
岗位职责:
1.从事数学建模及数据挖掘应用方法研究;
2.与开发部门配合实现相应的数据分析模块的开发;
3.制定公司数据可管理体系,建产研究用数据平台。
任职要求:
1.应用数学、统计学、计算机等专业硕士以上学历;
2.具备常用机器学习、数据挖掘相关知识,会spark;
3.具备一种或多种开发语言(如scalapythonjava等)的.程序和算法开发能力,掌握常用数据结构和算法;
4.有视频、地图、文本、社交等大数据分析能力;
5.有工业数据分析工作经验者优先。
数据采集工程师岗位职责篇33
1.高质量地完成集团内外各类数据生产集成、数据分析应用建设工作，涉及投研、市场、ERP、全球金融资讯等四个业务领域方向;
2.需求及源系统数据分析，完成数据仓库/EDM等系统数据模型及应用模型设计、数据Mapping规则文档撰写、开发、自测及上线部署;
3.数据质量稽核、问题分析及处理,优化数据处理程序;
4.洞察数据、满足业务场景需求。
数据采集工程师岗位职责篇34
工作职责：
1、运用数据挖掘和机器学习方法和技术，深入挖掘和分析海量商业数据
2、包括但不限于风控模型、用户画像、商家画像建模、文本分析和商业预测等
3、运用数据挖掘/统计学习的理论和方法，深入挖掘和分析用户行为，建设用户画像
4、从系统应用的角度，利用数据挖掘/统计学习的理论和方法解决实际问题
任职要求
—计算机、数学，统计学或人工智能等相关专业硕士以上学历，5—10年以上或相关工作经历
—精通1—2种编程语言（Python或Java），熟练掌握常用数据结构和算法，具备比较强的'实战开发能力，能带领团队共同进步。
—具有统计或数据挖掘背景，并对机器学习算法和理论有较深入的研究
—熟悉数据挖掘相关算法（决策树、SVM、聚类、逻辑回归、贝叶斯）
—具有良好的学习能力、时间和流程意识、沟通能力
—熟悉Spark或hadoop生态分布式计算框架
—优秀的沟通能力，有创新精神，乐于接受挑战，能承受工作压力
—有互联网，央企，政务，金融等领域大规模数据挖掘经验者优先