分享好友 最新动态首页 最新动态分类 切换频道
大数据运维工程师岗位职责 大数据是运维工程师(20篇)
2024-11-07 23:14

无论是身处学校还是步入社会,大家都尝试过写作吧,借助写作也可以提高我们的语言组织能力。大家想知道怎么样才能写一篇比较优质的范文吗?下面是小编为大家收集的优秀范文,供大家参考借鉴,希望可以帮助到有需要的朋友。

大数据运维工程师岗位职责 大数据是运维工程师(20篇)

1、负责hadoop平台搭建,运维,管理,故障处理。

2、负责保障大数据平台的高效运转、提升系统稳定性和安全性。

3、对平台的hadoop,hbase,kafka,hive等进行优化。

4、建立hadoop集群管理和维护规范,包括版本管理和变更记录等。

岗位要求:

1、有丰富的hadoop生态系统的运维经验,了解hadoop、storm、spark、kafka这些组件的原理,具备部署、实施、维护hadoop 及相关组件的能力;

2、至少精通 perl/python/shell脚本语言中的一种;

3、掌握linux操作系统的配置,管理、优化以及各种常用命令,能够独立排查及解决操作系统层的各类问题;

4、分析问题能力优秀,善于从各种系统、应用日志中寻找出问题的原因。

5、有独立分析问题和解决问题的能力,能出差。

职责:

1、技术保障各底层支撑系统的可靠性与稳定性;

2、负责车辆网平台的运行监控的解决方案编制、实施与二次功能开发;

3、负责技术文档手册编写,更新,经验总结沉淀,培训分享;

4、负责对新技术和方案进行调研,评估和引进,用技术去提升运维生产效率

任职资格:

1、熟悉常见的应用服务部署和调优(nginx、mysql、redis、mongodb、elk,hadoop等),熟悉高可用集群、负载均衡集群的规划与搭建;

2、熟练使用linux、tcp/ip网络协议栈,了解常用的troubleshooting手段和常见性能指标

3、具有车联网平台运维的经验,精于容量规划、架构设计、性能优化;

4、熟悉主流paas云产品的使用,具有运维平台开发经验者、参与过开源产品的开发者优先;

5、优秀的沟通能力,出色的学习与钻研能力,良好的问题分析与解决能力;

6、对行业技术敏感度高且细致,善于思考,乐于发现,对解决具有挑战性问题充满激情。

职责:

1.负责hadoop、spark、hbase、oozie、hive等平台运营和优化工作,保障平台服务运行稳定、高效。

2.负责大数据方案架构及方案落地;

3.开发hadoop大数据管理平台与监控建设;

3.负责hadoop平台部署、维护;生产问题、告警、故障处理及服务器维护、日常值班;

4.负责集群网络架构、机器管理等。

任职资格:

1. 全日制本科以上学历,三年以上后台系统运营工作经验;

2. 熟悉hadoop原理,具有hadoop平台应用及管理经验,熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等开源项目及部署、维护、调优;

3. 熟悉linux操作系统及调优;熟悉sql编程,熟悉shell/python/java/perl语言的一种或多种,有开发经验优先, 熟悉nagios,cacti,ganglia,zabbix,zenoss优先;

4. 对大数据和自动化运维开发有浓厚兴趣,有大规模hadoop运维经验者优先;有hadoop/hbase/spark/hive 开发经验者优先。

职责:

1. 负责大数据平台的稳定性和性能优化;

2. 负责大数据项目的运维工作;

3. 针对业务需求制定统一的运维解决方案;

4. 完善自动监控报警系统,对业务层面关键指标进行监控与报警通知;

任职要求:

1、熟练掌握hadoop平台搭建、维护,有平台优化经验;

2、熟悉hdfs、hive、spark、hbbase、kafka、flume等组件的原理,有阅读源码能力者优先;

3、熟悉腾讯云产品,有腾讯云emr使用经验者优先考虑;

4、熟练掌握java、python语言,熟练使用sql,并有一定的优化能力

职责:

1、负责维护服务器的运行,包括巡检、故障排除、数据备份等业务,保证服务器高质量、高效率运行状态;

2、负责服务器漏洞整改及补丁升级;

3、负责hadoop运维相关工作;

4、负责大数据平台的日常部署、升级、扩容、迁移;

5、负责高并发,大存储和实时流的hadoop/spark大数据平台规划,运维,监控和优化工作。

任职资格:

1、2年左右服务器运维经验;

2、对linux基础运维命令熟悉,shell,python至少精通一种,如会scala语言可优先考虑;

3、熟悉linux的维护和管理,熟悉bat及shell脚本开发,能看懂python/scala优先;

4、做过大规模hadoop集群优先;

5、大数据项目:包括不限于hadoop、hive、kafka、hbase、spark、kudu、impala等大数据生态的平台搭建,监控,运维,调优、生产环境hadoop集群trouble shooting 、hadoop版本升级管理及优化支持。

职责:

1. 负责公司自研产品上线,包括整体上线方案讨论与制定、各事项准备、产品实施与部署以及上线方案涉及工具的优化等;

2. 负责运维公司线上产品,7x24小时运维预警、监控,处理客户在产品使用过程中遇到的问题;

3. 负责公司自研产品的日常维护,包括版本发布、应用问题排查、系统部署与配置、网络端口策略、资源服务器管理;

4. 根据工作要求,输出运维相关的技术文案。

岗位要求:

1.统招全日制专科以上,计算机相关专业,5年以上同岗位工作经验,同时具备应用平台运维、系统实施运维、linux运维、网络管理运维等多种经验者优先考虑;

2.精通linux命令grep、sed、awk、xargs、scp、tar等,具有批量查找和修改文件内容操作经验;能熟练使用shell/ant/python脚本,具备编写脚本代码者优先;

3.熟悉apache、jboss、tomcat、oracle等中间件,熟悉apache、jboss/tomcat集群配置和管理,具备中间件故障排查、性能诊断与分析等能力;

4.精通jenkins、git、svn软件,对软件操作与命令熟悉有丰富经验;

5.对java面向对象编程产品有一定了解,熟悉java风格的log日志文件格式,能从日志中快速定位问题发生的位置,并开展问题排查;

6.熟悉网络原理,懂得划分子网与路由信息,熟悉f5等网络相关知识;

7.公司会定期组织行业知识、业务需求、平台架构、运维规范及运维内容相关培训,并进行考核。

8.良好文字功底及沟通协调能力,强烈的责任心和团队合作意识,稳定的心理素质,能承受高强度工作压力。

职责:

1、 运维平台开发/搭建/维护,包括cmdb、发布平台、监控平台、工具平台等;

2、 研发自动化运维工具;

3、 研发基础服务组件,减少重复开发与运维;

4、 服务器的规划、监控,数据备份,日志分析,故障排除,性能调优等工作;

任职要求:

1、3年以上互联网运维开发经验

2、熟悉python语言,django/flask等常用的web框架原理,javascript,并至少熟悉angularjs、reactjs、、boostrap等框架中的一种。

3、熟悉nginx、ansible、git、jenkins、openfalcon、gitlab等工具使用。

4、熟悉docker和常用编排框架 swarm和k8s并有生产系统实践经验优先。

5、熟练掌握常用关系型数据库使用和优化,如mysql

职责:

1、负责集团客户应用系统底层环境的搭建和运维(包括线下系统及云平台环境);

2、对操作系统、数据库以及相关应用系统的维护和优化;

3、参与客户系统平台升级,负责相关系统环境的搭建和测试;

4、负责客户数据库的备份、管理及监控,跟踪处理系统异常数据,及时发现潜在问题,保障系统正常运行。

岗位要求:

1、本科及以上学历(计算机、通信或相关专业),五年及以上相关工作经验;

2、精通windows,linux系统管理和维护;

3、熟悉vmware vsphere和esxi host的配置和管理;

4、熟悉oracle db,具备ocp认证者优先;

5、能独立完成oracle/sql server的备份恢复,了解相关的性能调整和故障诊断;

6、能适应江浙沪范围内的短途出差。

职责:

1. 业务平台的日常管理和维护。

2. 服务器的配置、维护、监控、调优,相关故障、疑难问题排查处理。

3. 应用系统性能优化。

4. 保障服务器与业务平台安全,检查并消除安全漏洞。

5. 设计业务平台和服务器可靠性保障方案、升级方案。

任职要求:

1. 3年以上在线系统运维工作经验,精通linux系统及常见服务的安装配置,熟悉常见的负载均衡实现方案并有实际实施经验。

2. 精通apache、nginx、mysql等常用服务的安装、配置和维护。

3. 精通和灵活运用一种以上的脚本语言,包括但不限于:shell、python等。

4. 能够熟练排查运维过程中出现的服务故障、系统故障、网络故障。

5. 高度的责任感,较强的故障分析及排除能力,善于在工作中学习,能够承受工作压力,能适应短期出差和加班。

6. 优先考虑:精通lamp架构,熟悉php,有相关大中型在线系统开发及维护经验。

职责:

1、负责日常公司已交付项目的管理维护,保障系统的稳定运行;

2、负责相关故障、疑难问题排查处理,编制汇总故障、问题,定期提交汇总报告;

3、依照项目实际情况进行简单的编程实现特殊业务需要 ;

4、对工作认真负责,并能承受一定的工作压力 。

任职资格:

1、具有2年以上相关工作经验,能熟练使用c#进行代码编写和调试;

2、具备优秀的计算机软、硬件知识,能够快速判断软、硬件故障并且提出解决方案;

3、熟悉常用的操作系统、数据库的安装、操作、配置、故障处理及部署的相关知识及解决问题的能力;

4、有使用主流大型数据库的实际开发、维护经验;

5、吃苦耐劳,踏实好学、有较强的责任心、团队协作能力及沟通能力;

6、适应频繁出差;

职责:

1、 负责操作系统、数据库的使用及常用软件的安装、配置和维护,保证系统稳定运行;

2、负责服务器相关硬件日常巡检、维护、故障分析及处理;

3、 负责it相关软件的安装及对公司用户提供相应的技术支持、客户培训等;

4、收集客户需求,处理客户协调工作;

5、编写技术支持相关文档和方案;

6、协助it经理完成相关运维工作。

任职要求:

1、大专及以上学历;年龄20-30岁;

2、计算机技术等相关专业; 了解数据库优先;

3、良好的沟通、表达和人际交往的能力;

4、具有较强的学习能力和强烈的学习愿望;

5、具备专业的it软硬件知识:服务器、网络、计算机设备、操作系统、数据库等;

6、有it行业智能交通、系统集成工作经验者优先;

7、团队合作能力强,能承受较大的工作压力。

职责:

1、负责计量自动化系统等基础架构(服务器、存储、fc交换机等设备)规划、安装、维护工作;

2、负责计量自动化系统等硬件故障处理、定检等;

3、负责计量自动化系统系统等加固、软件升级等;

4、负责计量自动化系统等运维文档编写;

5、根据需求对新项目的设计、规划、实施、维护等工作。

岗位要求:

1、计算机相关专业;

2、熟悉主流厂商服务器、存储、fc交换机等设备的产品线和设备基本安装;

3、熟悉市场主流操作系统linux、aix、hpux配置;

4、熟悉tcp/ip协议,掌握网络基础知识;

5、具备良好的团队合作精神,高度的责任感,善于沟通,有创新精神,能够承受压力;

6、有较好的文档编写能力,有标书、方案编写经验值优先;

7、具有rhce、ocp、ccnp、mcse、vcp等相关认证优先。

一、系统运维

1、负责系统发布,部署,编写集成方案和部署方案

2、负责系统故障、疑难问题排查处理,记录故障详情、解决过程

3、负责配合开发搭建测试平台,协助开发设计、推行、实施和持续改进

4、负责日常系统维护及监控,开发搭建系统日常维护、监控、分析、报警平台系统

5、负责信息系统在客户现场的安装、培训和维护工作

负责收集客户在使用系统过程中的原始需求,优化需求,传递给产品经理

二、网络运维

1、负责日常服务器、网络,邮箱,电话系统,视频会议系统的管理和维护

2、负责日常应用软件,公司桌面办公软件的维护

3、持续改进日常操作以及优化公司网络,跟踪网络互连技术发展,合理运用新技术

4、负责对服务器的健康状况,业务进行监控,并处理应急情况

日常服务器巡检,备案,安全等

职责:

1、负责项目功能技术支持和功能测试;

2、有1年以上运维、测试工作经验;

3、追踪解决项目相关 bug ;

4、具备良好的表达能力,包括语言及文字表达能,良好的团队合作精神和解决问题的能力;

5、与开发人员、运维人员沟通,找出并能够快速准确定位问题。

职位要求:

1、熟悉基本主机、数据库系统、网络知识 ;

2、至少1年以上的软件运维支持经验,有使用常用测试工具的经验者优先 ;

3、具有linux平台运维经验 ;

4、熟悉sql语言、熟悉基本数据库操作、有oracle经验者优先;

5、能够完成测试案例、测试计划编写;

职责:

1. 负责公司核心集群的运维工作,保证其高可用和稳定性。

2. 负责集群容量规划、扩容及集群性能优化。

3. 深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的hadoop运维技术及发展方向。

4. 设计实现分布式集群的运维、监控和管理平台。

职位要求:

1.2年以上中等规模集群环境下的hadoop/impala/hive/spark集群相关运维经验。

2.对各种hdfs/yarn/hive/impala/spark/hbase等相关参数调优, 性能优化等有实际经验。

3.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验。

4.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作。

4.熟悉kerberos安全认证系统,实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作。

5.有cloudera的cm使用经验尤佳。

职责:

- 负责局点大数据平台的部署、管理、优化、监控报警,保障平台服务7*24稳定可靠高效运行;

- 深入理解公司大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长;

- 开发大数据自动化运维、监控报警、故障处理相关脚本和工具;

- 负责hadoop/spark/kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。

要求:

- 4年以上运维相关工作经验,有大数据平台运维相关工作经验优先;

- 具备一定的故障排查能力,有良好的技术敏感度和风险识别能力,精通一门以上脚本语言(shell/python等),熟悉http/https、tcp/ip、smtp等协议;

- 熟悉linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署、优化各种常用服务。熟练使用linux 命令和常用的ssh、ftp、git、maven等开发工具;

- 熟悉hadoop大数据生态圈,包括但不限于cdh/hdfs/yarn/hive/hbase/kafka/zookeeper/spark/flink/impala/elasticsearch/kibana/mysql/kubernetes等;

- 熟悉hadoop各组件的原理和实现,有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力,运维管理过大规模数据平台;

- 熟悉掌握常用的安全协议和组件服务,对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉ssl、acl、kerberos等在大数据环境场景的使用;

- 熟悉常用运维监控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相关插件的开发。比如邮件、短信、微信报警插件等;

- 熟悉常用nginx/haproxy/varnish/netscaler等代理工具的使用和优化;

- 具备良好的服务意识,善于主动思考,自我驱动力强。有良好的沟通、协调能力,富有团队精神,有较强的文档编写能力;

- 有大数据开发经验和阅读源码能力者优先

职责:

1、负责零售业务系统的运维工作;

2、及时解决用户的系统使用问题;

3、推进建设系统运维流程、制度的制定,包括运维制度、流程与相关系统的日常运营维护、异常监控,保证其高效、稳定运行;

4、每日例行检查及维护工作的监督及执行;

5、定期对用户进行系统培训;

6、直属上司交付的其他工作。

岗位要求

1、大专及以上学历,专业不限,接收优秀应届毕业生,有无经验均可;

2、性格外向开朗,反应敏捷,表达能力强,有良好的沟通技巧和服务意识;

3、工作积极主动,勤恳踏实,执行力强,能够全面配合公司管理工作;

4、有一定的抗压能力及对应各类客户的能力。

职责:

1、参与特定基础架构领域(网络/操作系统/数据库)的基础架构方案设计及实施;

2、负责网络/操作系统/数据库领域的系统运行趋势分析,定期提交相关的故障、运行、流量、数据等情况的分析报告;

3、负责业务系统的日常运维工作;

4、负责数据中心日常巡检、监控、故障处理;

5、确保各网络系统正常运行,分析汇总日常问题,优化流程、提升服务质量;

6、上级交办的其他工作。

岗位要求:

1、计算机相关专业,本科及以上学历,2年以上工作经验;

2、熟悉网络/操作系统/数据库的基本原理,有相关实际管理经验或接受过相关专业培训者优先;

3、熟悉主流网络构架设计,精通tcp/ip协议。熟练配置主流网络设备、了解服务器、存储、虚拟化、集群、负载均衡、监控和系统安全等产品相关技术;

职责:

1. 负责大数据平台的规划、部署、监控、系统优化及运维等工作,保障系统7*24小时运营;

2. 为线上服务高效稳定运行负责,支撑业务和数据量的快速扩张,发现并能解决重大故障及性能瓶颈;

3. 深入理解系统平台及大数据相关运维技术,持续优化集群服务架构;

4. 对大数据体系下新技术的调研、应用、对内培训。

职位要求:

1. 至少3年以上大数据运维经验, 深入理解linux系统,运维体系结构;

2. 深度优化hadoop平台mr作业/计算框架/存储技术,提升集群吞吐并降低成本;

3. 具有cdh(或者hdp)/hdfs/yarn/hive/es/kylin/hbase/kafka/spark/storm/flume/impala/hue/kettle/flink等大数据系统的运维经验,有开发经验;

4. 熟悉hadoop生态,有数据安全相关工作经验, 并能对平台cpu/mem/io/网络/调度中一个或多个方面的性能调优;

5. 熟练掌握shell/python中的任意一门脚本语言;

6. 强烈责任感、缜密的逻辑思维能力,良好的团队协作能力,具备良好的项目管理及执行能力;

1、熟练掌握sql server的使用;

2、精通windows、linux、vmwares操作系统安装维护与故障排除,基础理论扎实,操作熟练;

3、对bs架构程序有所了解;

4、负责服务器日常维护、软硬件安装和配置、存储设备日常维护整理;

5、对服务器进行日常维护,确保各项服务连续正常运行,无重大事故;

6、负责服务器存储网络等基础平台的技术维护和问题处理 ;

7、熟悉pc服务器硬件安装与配置;

最新文章
黑帽SEO优化的非法操作
搜索引擎优化()是与搜索引擎同步发展起来的,在这个发展过程中,和SEO在一定程度上形成了一种“道高一尺,魔高一丈”的竞争关系,一方面,搜索引擎在搜索新的网站的过程中,感受到SEO给它们带来的便利,使得网站经过优化后能够容易地被它
网站建设如何利用网站建设进行电商平台开发
实现利益最大化的路线规划随着电商业的飞速发展,一个电商平台也成为了越来越多人的梦想。但是,电商平台的开发可不是一件简单的事情。本篇文章将向您介绍,如何利用进行电商平台开发,以实现利益最大化的路线规划。第一步:确定目标和规划
谷歌关键词推广优化,揭秘提升广告效果的金钥匙
谷歌关键词推广优化是提升广告效果的关键策略。通过精准选择关键词,提高广告与用户需求的匹配度,实现精准投放。优化广告文案和着陆页,提升用户体验,降低跳出率,提高率。定期分析数据,调整策略,持续优化,助力广告效果最大化。随着互
除了Docker,还有这些能玩!盘点那些NAS可搭建的有趣WEB项目
除了Dcoker,其实还有很多玩法,毕竟NAS拥有web服务,同时也能安装php以及java等等。这就让我们能通过web实现更多好玩有趣的功能,同时这些项目也更加方便安装以及使用,所以今天熊猫便统计了一些好玩有趣的项目。(所有项目搜索项目名可在
搜索引擎优化(SEO)核心要素与策略深度揭秘
SEO,即搜索引擎优化,是一种提升网站在搜索引擎结果页面排名的技术。其核心要素包括关键词研究、高质量内容、网站结构优化、链接建设等。策略上,需持续优化、关注用户体验、遵循搜索引擎算法,以实现网站在搜索引擎中良好表现。1. **关键
落地 Kotlin 代码规范,DeteKt 了解一下~
各个团队多少都有一些自己的代码规范,但制定代码规范简单,困难的是如何落地。如果完全依赖人力难免有所遗漏。 这个时候就需要通过静态代码检查工具在每次提交代码时自动检查,本文主要介绍如何使用落地代码规范,
点云处理:PCL库中直通滤波器的使用详解
各种滤波方法类对点云滤波的整体流程:         使用对应滤波器方法类设置滤波器对象------将待滤波的点云添加到滤波器对象------根据相应滤波的的特性设置滤波器的各个参数------设置滤波条件------采用滤波方法滤波,
网络安全应急响应工具之-流量安全取证NetworkMiner
在前面的一些文章中,用了很多的章节介绍流量分析和捕获工具wireshark。Wireshark是一款通用的网络协议分析工具,非常强大,关于wireshark的更多介绍,请关注专栏,wireshark从入门到精通。本文将介绍一个专
艺术、生成式AI与创造性新纪元,让创造力赋予我们幸福感
引言在科技日新月异的今天,生成式人工智能(Generative AI)正以前所未有的速度改变着我们的世界。这一技术的崛起,不仅重塑了多个行业,也对艺术领域产生了深远的影响。结合生成式AI与艺术,我们的时代不仅更需要艺术,而且需要一种融合
网站文章多久会被收录下来,如何提高网站文章被百度收录率:内容质量与网站布局的关键策略
网站运营者和内容制作者都十分关注文章被收录的时间。这个因素不仅关系到网站权重的提升,还与网站吸引流量、实现价值紧密相连。但有时,不管怎么更新,百度就是不肯收录文章,让人耗费了大量精力却无果。内容优劣至关重要。若内容杂乱无章
相关文章
推荐文章
发表评论
0评