当前位置: 亚洲城ca88 > 计算机网络 > 正文

本人要为运营说一句,六大利器让运营程序猿尽

时间:2020-04-30 22:21来源:计算机网络
以前,运维人员都是作为企业运转幕后工作者,很难为外界所知,甚至企业内部管理者也未曾真正关注过。如今,随着互联网的迅猛发展,越来越多的企业管理者认识到IT 运维服务对企

以前,运维人员都是作为企业运转幕后工作者,很难为外界所知,甚至企业内部管理者也未曾真正关注过。如今,随着互联网的迅猛发展,越来越多的企业管理者认识到 IT 运维服务对企业运营和发展的重要性,更高的要求将运维人员推向了前台。

云计算是分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡、热备份冗余等传统计算机和网络技术发展融合的产物。千锋云计算课程融合产品运维与云计算运维量大热门方向,学员可胜任Linux高级运维工程师、云计算运维工程师、Python运维工程师三大岗位。

运维

运维,这里指互联网运维,通常属于技术部门,与研发、测试、系统管理同为互联网产品技术支撑的4大部门,这个划分在国内和国外以及大小公司间都会多少有一些不同。

一个互联网产品的生成一般经历的过程是:产品经理(product manager,非技术部)需求分析、研发部门开发、测试部门测试、运维部门部署发布以及长期的运行维护。

一般来讲国内的互联网运维负责软件测试交付后的发布和管理,其核心目标是将交付的业务软件和硬件基础设施高效合理的整合,转换为可持续提供高质量服务的产品,同时最大限度降低服务运行的成本,保障服务运行的安全。

详情点击:

详情点击:

 

 

运维知识工具体系

操作系统:Centos,Ubuntu,Redhat,suse,Freebsd
网站服务:nginx,apache,lighttpd,php,tomcat,resin
数据   库:MySQL,Mysql-proxy,MariaDB,PostgreSQL
DB中间件:MyCat,atlas,cobar,amoeba,MySQL-proxy
代理相关:lvs,keepalived,haproxy,nginx,heartbeat
网站缓存:squid,nginx,varnish
NOSQL库:memcached,memcachedb,MongoDB,Cassandra,redis,CouchDB
存储相关:Nfs,Moosefs(mfs),Hadoop,glusterfs,lustre,FastDFS
版本管理:svn,git
监控报警:nagios,cacti,zabbix,munin,hyperic,mrtg,graphite
域名解析:bind,powerdns,dnsmasq
同步软件:scp,rsync,inotify,sersync,drbd,csync2,union,lsyncd
批量管理:Ssh Key,Saltstack,expect,puppet,ansible,cfengine
虚拟   化:kvm,xen
云计   算:openstack,docker,cloudstack
内网软件:iptables,zebra,iftraf,ntop,tc,iftop
邮件软件:qmail,posfix,sendmail,zimbra
远程拨号:openvpn,pptp,openswan,ipip
统一认证:openldap
队列工具:ActiveMQ,RabbitMQ,Metaq,MemcacheQ,Zeromq
打包发布:mvn,ants,jenkins,svn
测试软件:ab,JMeter,Webbench,LoadRunner,http_load,tcpcopy
带宽测试:smokeping,iozone  磁盘测试 iozone
性能测试:dd  IOPS测试 fio
日志相关:rsyslog,Awstats,flume,storm,ELK(Elasticsearch Logstash Kibana)
搜索软件:Sphinx,Xapian,Solr
无人值守:kickstart,cobbler
软件安装:rpm,yum(设计rpm包定制及yum仓库构建)
大数据:HDFS,Hive,Hbase,Zookeeper,Pig,Spark,Mahout
开发语言:Shell,Python

 

运维知识体系:

运维知识体系-V2.0 By:赵舜东(赵班长) 【转载请注明来自于-运维社区:

运维架构层级/运维角度

内容描述/主要技术关键词

监控体系

自动化/DevOps

云计算

客户端层

浏览器

Cookie、浏览器缓存协商(Last-Modified、Expires、Etag)、组件分离、前端优化、运维检测工具

舆论监控

外部网络监控

APM

故障检测工具

DNS服务
CDN服务
移动服务
云盾

DNS

浏览器DNS缓存、DNS缓存、自建DNS服务器、商业DNS产品、智能DNS、公共DNS(BGP anycast)、bind DLZ/DPDK

客户端/APP

HTTP-DNS、打点日志、加密传输、移动推送、各类SDK(监控SDK、推流SDK等)

外部层

第三方CDN

GSLB、反向代理缓存、分布式存储、流量调度、配置管理、用户端(各类API如:带宽监控、预缓存、缓存刷新)

基于开放API开发

云计算

公有云服务、混合云、运维外包服务、APM(应用性能管理)、第三方安全解决方案(防DDOS、WAF)

网络层

互联层

多机房互联(VPN、专线)、异地灾备-->异地多活-->按SET部署

设备监控
(Zabbix SNMP)

网络质量监控
(Smokeping)

SDN

OpenvSwitch
(GRE、Vxlan)

高速通道

核心层

防火墙、路由器、Ipsec VPN、链路负载均衡和高可用 (CCNP级别)

VPC(专有网络)

汇聚层

三层交换 动态路由(OSPF)、静态路由、EC(端口汇聚)、MSTP VRRP等 (CCNP级别)

接入层

二层交换 (VTP、SPF、Trunk、端口安全)等 (CCNA级别)

接入层

负载均衡
高可用

四层负载均衡

开源:LVS(IP负载均衡) Keepalived、Haproxy 商业:F5、Netscaler

服务监控(API)

平台开发
(LBaas)

高防IP
云负载均衡SLB
CDN服务

七层负载均衡

反向代理:Haproxy、Nginx、Apache(根据HTTP协议支持的属性进行L7分发)、A/B Test Gateway、WAF

反向代理缓存

ATS、Squid、Varnish、Nginx(缓存分级、预缓存、缓存刷新)

应用服务层

Web服务层

HTTP协议、Web服务器(Apache、Nginx/OpenResty、Tomcat、Resin、Jboss)安全设置、性能优化

业务监控(API)

流量分析(Piwik)

服务监控(API)

安全监控(WAF)

配置管理:SaltStack
过载保护-服务降级
灰度发布-openresty
项目管理-Readmine
代码仓库-gitlab
持续集成-Jenkins
持续审查-SonarQube

镜像市场

应用服务层

运行环境(PHP Python Java C C )、性能优化、缓存(OPCache、LocalCache)、Session存储、代码部署

各种SAAS服务

业务层

业务实现

API网关、302调度、业务模块化(电商例:用户、商品、购物车、结算中心、价格等服务)、微服务

服务层

SOA框架(Dubbo)、微服务框架(Spring Cloud)、协议(RPC、RESTful)、框架安全、应用性能监控

分布式应用服务

分布式层

消息队列

ActiveMQ(成熟)、RabbitMQ(成熟、案例多)、RocketMQ(业务应用)、Kafka(日志传输)、ZeroMQ(快)

消息队列服务

存储层

文件存储

单机存储

块存储 - 机械硬盘、SSD、文件系统(ext4、xfs)、LVM、tmpfs

系统监控

软件自带监控

配置管理

云硬盘 对象存储

单机存储扩展

文件分发(多级分发)、文件同步(rsync、inotify)、DRBD、DAS(块存储)

共享存储

文件存储 - NAS[NFS(Unix/Linux)]、FTP、SAN、iSCSI

分布式存储

对象存储 - GlusterFS、MooseFS、Ceph、FastDFS(非对象存储)

DAL

数据访问层

应用层分片、淘宝TDDL、开源:360(Atlas)、阿里(Cobar)、MyCat、MySQL-Proxy、根据业务开发

数据库服务

数据存储

分布式缓存

Memcached、Redis(客户端分片、Redis Cluster、Twemproxy、Codis)

数据库监控

数据库运维平台

云数据库-RDS
Mongodb、Redis
Memcached
OceanBase

NoSQL

Redis、LevelDB(SSDB)、CouchDB、Mongodb、Couchbase 、Cassandra、TiDB(支持MySQL协议)

时间序列

RRDTool、Graphite Whisper、OpenTSDB、InfluxDB、KairosDB、ElasticSearch

RDBMS

MySQL(PXC集群、MHA)、Oracle(DG、OGG、RAC)、PostgreSQL、SqlServer、SQLite、DB2

大数据

Hadoop生态圈(HDFS、Hive、Hbase、Zookeeper、Pig、Spark、Impala、Kudu)、Mahout智能推荐

服务监控

Ambari、CM

大数据服务

基础服务层

业务决策

灰度发布、服务降级、异地灾备、数据分析平台、智能扩容决策树(需要各层支持)

监控工具:
Zabbix
Nagios
Cacti
Open-Falcon
Sensu

自动化工具
(Puppet
Chef
SaltStack
Ansible)

日志服务
操作审计
资源编排
运维监控服务
持续交付系统

运维相关

项目管理(Redmine、Jira、知识库、Bugzilla、CodeReview)、工单系统、运维操作平台、监控平台

应用相关

持续集成、日志收集平台(ELKStack)、自动化部署平台、Job管理(调度)平台、安全扫描平台

系统相关

LDAP、内部DNS、DHCP、Mail、SMS、Gitlab、Yum仓库、操作审计(xenapp)、堡垒机

容器层

容器编排

Mesos(Marathon、Chronos)、Kubernetes(SKYDNS)、Docker Swarm、CoreOS(fleet)、OpenStack(Magnum)

Docker Stats
cAdvisor
DataDog
Zabbix

Docker Swarm
Mesos
Kubernetes

容器服务

容器和系统

容器:LXC、LXD、Docker、rkt、系统:CoreOS、Atomic、RancherOS

网络和存储

网络:Calico、Flanel、Weave Net 存储:Ceph 镜像管理:Docker Registry、Harbor

操作系统层

CPU

CPU运行级别、使用率、上下文切换、运行队列、进程调度、系统调用、CPU管理(进程管理、taskset、intel VT-X)

mpstat、strace

虚拟化

公有云
弹性计算产品

内存

虚拟内存、SWAP换入换出、内存寻址、内存管理(Buffer Cache、HugePages、ksmd、EPT)

vmstat、free

I/O(磁盘)

缺页中断、IOPS(顺序IO、随机IO)、IO管理(IO调度算法、virtio)、VFS

iostat、iotop

I/O(网络)

TCP/IP(三次握手、四次挥手、状态转换、TCP队列)、IO模型、Bonding、Bridge、网络管理(iftop、tcpdump)

iftop

内核/Shell

内核定制、内存参数优化、脚本编程(AWK、Sed、Shell、Python、PHP、Perl、Ruby、Lua)

系统监控

基础设施层

IAAS(基础设施即服务)

公有云、私有云(OpenStack/cloudstack KVM/XEN、oVirt)、混合云

服务监控

配置管理

硬件管理

硬件选型、配件更换、资产录入、系统安装(Cobbler)、标签化、Raid构建、远程控制(KVM、iDrac、ILO、IMM)

巡检、IPMI

IPMI、CMDB

IDC托管

需求分析、IDC选型、网络测试、谈价格、签合同、设备采购(原厂vs渠道)、机柜和机位规划

运维产品化

基于DevOps产品思路

项目管理(类似Jira)、Bug管理、代码托管(类似Gitlab)、持续交付(类似Jenkins的构建、测试、部署)

监控平台、看板

软件定义数据中心

DevOps产品

自动化运维产品思路

CMDB、ITSM管理系统(事件管理、问题管理、故障管理、工单系统)、作业平台、堡垒机、APM、私有云平台

监控平台

CI/CD系统

运维管理产品

运维服务化

OAAS

OAAS:Operations as a Service,运维咨询、运维托管、技术培训、应急处理、产品即服务、DevOps专家服务

测试和开发相关

运维协助:性能测试(TCPCopy、日志转换)、单机监控(nmon)、环境规划(开发、测试、预生产、生产)、CI(持续集成)、自动化部署

运维管理体系

运维管理必会:ITSM、ITIL V3、IT Service CMM、Six Sigma、DevOps Master、项目管理(PMBok)、架构层面(知识体系、运维方案、容量规划、灾备规划、服务降级)

运维发展趋势(个人理解)

打杂(小公司啥都干)->分层(应用运维、系统运维、基础运维、运维开发等)->场景化(分业务)->自动化(最终大家的目标都是自动化)

运维自动化发展趋势(个人理解)

标准化(文档化、流程化)->工具化(流程固化为工具)->Web化(平台化)->服务化(API化)->智能化(自动化)->产品化(服务化,云服务、运维创业)

备注:

1.本表格只体现和运维相关的内容;2.表格没有严格意义上的层级关系;3.持续更新中,由于每个层次内容多,只例举比较出名(重要/开源)的关键词;
4.运维人员要给自己划好知识边界!(横向|纵向)5.转载请注明来自-运维社区

 

  图片转自赵班长!!

以后,运维会更多的和业务绑定在一起,根据业务来做开发和调整。那么运维工程师需要具备哪些利器才能练就十八般武艺呢?

具体学习路线如下:

一. 熟悉服务器的基本知识

图片 1

服务器领域,掌握一些 Linux 操作系统的命令是必不可少的,还要至少熟悉一个内置编辑器:VI 或 Nano,至少熟悉一个发行版,比如 Centos、Debian、Ubuntu,要熟悉很多 Linux 运维的命令,以便出了问题知道如何分析服务器的运行状态,对 LAMP 或 LNMP、FTP、DNS、SAMBA、EMAIL、NTP、DHCP 等 Linux 可以支持的基础协议要了解,熟悉这些协议的故障处理。

一、Linux云计算网络管理实战

还需要掌握服务器一些虚拟化软件技术,以及 KVM 的工作原理,包括在 CPU、内存、存储、网络等各个部分的虚拟化,最为重要的是要掌握 KVM 的各种管理工具:OpenStack、CloudStack、OpenNebula、Zstack 等。

Linux简介

二. 精通一门除 Shell 外的编程语言 Python

Linux操作系统初识

Shell 语言是从事运维工作必须要会的,一些简单的系统管理 shell 脚本也是很馋常见的。另一个使用到的语言就是当下比较火的 Python,程序效率高、语法简洁清晰,可以实现自动化运维。

物理服务器部署

早在 DevOps 刚刚开始盛行的时候,Python 就是一个被寄予厚望的语言,因为大部分 DevOps 工具和实践都需要用到 Python。虽然也有人尝试用 Ruby 或者 NodeJS 构建 DevOps 工具,然而都没有 Python 所构建的工具流行。

Aliyun ECS部署

随着 Python 在大数据、人工智能、区块链、微服务以及 Docker 中的发展,可以预见 Python 在日后的领域仍然会发挥重要的作用。

Bash Shell基本语法

三. 掌握一种以上的监控工具

Linux中帮助获得方法

服务器运行情况实时反馈,完全依赖有一个好的监控工具,一些常见的监控、告警工具有 Nagios 、 ganglia、zabbix、onealert 等。发现问题可以第一时间及时有效的处理,避免更大的损失。对于初学者,Nagios 简单直观更容易上手,但是 zabbix 界面更美观,同时由于功能多上手也更难。对于企业的监控应用来说,两者都能实现大规模监控,都足以满足用户需求,没有绝对的孰好孰坏。Zabbix 是商业软件开源,Nagios 是免费软件插件组合多。

Linux操作系统文件管理

这里主要介绍 zabbix 的搭建环境:

Vi编辑器

要想搭建一个 Zabbix 的工作环境,需要从服务器入手。与服务器通信,管理员需要使用一个 Zabbix 前端界面,与 Zabbix 服务器和数据库进行通信。三个关键 (界面、服务器和数据库) 可以安装在同一台服务器上,但是如果你拥有一个更大更复杂的环境,将它们安装在不同的主机上也是一个选项。Zabbix 服务器能够直接监控到同一网络中的设备,如果其他网络的设备也需要被监控,那还需要一台 Zabbix 代理服务器。

用户及组管理

四. 了解数据库运维的技能

文件基本权限

互联网企业的数据库以 MySQL 为主 ; 部分金融、证券、银行、政企的数据库会使用 Oracle; 传统企业的老系统会涉及 SQL Server。

文件特殊权限

StackOverflow 对数据库受欢迎程度进行了调查,下面是对不同级别开发者进行调查后的统计结果:

进程管理

最受欢迎的是 MySQL,接受调查的开发者中近一半的都使用 MySQL(44.3%),NoSQL 可能不在大多数程序员的需求范围内。

输入输出重定向

前两天,SQL Server 2017 正式发布,已由原来固守的支持 Windows 的策略,大步地转向了支持 Linux ,Docker 容器和 Windows 的策略。

管道

五. 选择一款适合的框架

Bash Shell基础

运维更多的就是和业务绑定在一起,根据业务来做开发和调整。根据公司 业务需求,选好框架,比如 Nagios, Puppet,SaltStack,Docker 等,这方面的基础搭建要求非常高,需要考虑如何做基础构建,才能达到高度模板化、自动化等。

存储管理

Docker 可以实现 Immutable Infrastructure, 可以更好的保证应用交付的一致性,尤其是对大规模微服务应用。但是对于一些传统软件的运维,Puppet 等工具也有自己的优势。可以针对情况选择,或者将两者结合起来。

文件查找

六. 注重运维过程的安全问题

文件打包及压缩

保证帐号 / 私钥的安全

软件包管理

最好使用加密工具存储。比如 truecrypt,1password基于本地存储。切勿用网盘,也不建议用 lastpass 等ssh 私钥添加密码

Linux主机管理管理

本着负责的态度和原则

计划任务

遇到报警,第一时间处理,而不要等着他人去处理。如果无法处理,应该第一时间让同事协助帮忙,而不要禁止报警,让问题掩盖。如果代码有问题,导致系统开销很大,比如负载,io 等。应该第一时间和开发部门确认,要求优化代码。

系统日志

现如今,要求运维人员会运维、懂开发、精通数据库、熟悉网络,堪称全才啊。未来 3 到 5 年,linux 运维 linux 架构 python 开发这三项技术是运维人员必备的技术。

构建受管型网络服务 DHCP

构建远程主机管理服务 SSHD

构建文件共享服务 NFS SAMBA FTP

构建网络时间服务 NTP

构建域名解析服务 DNS

构建基于Apache部署Wordpress博客系统

构建基于Apache部署Ecshop和Discuz!信息发布系统

阶段性项目实战Linux云主机

二、系统管理及服务配置实战

Shell编程初识

Shell特性

Shell脚本规范

Shell脚本调试

变量的类型

变量置换

Shell脚本运行方式

算式置换

Shell条件测试

Shell循环结构

Expect应用

Shell函数 funcation

Shell数组 array

正则表达式 RE

文件操作编程 SED

复杂数据处理编程 AWK

Shell脚本实现LAMP终级部署

Shell脚本实现云主机系统状态收集及分析

Shell脚本实现Web访问日志全文分析Linux Shell脚

三、本自动化编程实战

MySQL 数据库介绍

MySQL 5.7版本部署

MySQL 体系结构介绍

结构化查询语言SQL介绍

数据库基本操作

MySQL 表的操作 DDL

MySQL 数据操作 DML

MySQL 数据库查询

MySQL 数据库高级应用

MySQL 索引的使用

MySQL 存储引擎

MySQL 安全控制

MySQL 数据备份与恢复

MySQL 数据库多源复制部署

MySQL 读写分离

数据库中间件 MyCAT

Shell脚本实现Galera MySQL集群部署

阶段性项目实战开源数据库

四、MySql DBA运维实战

自动化运维Devops介绍

运维管理员的自我修养

Cobbler实现系统批量部署

构建分布式版本控制系统 Git

Tengine构建企业级高性能Web服务器

Shell脚本实现LNMP单、多机部署

Tengine虚拟主机构建

Tengine动态网站部署

Tengine反向代理模块介绍

Tengine构建高性能反向代理服务器

Tomcat 构建企业级高负载JAVA Web应用服务器

自动化运维工具之SaltStack

自动化运维工具之Ansible

构建分布式日志分析平台 ELK

基于Nagios构建企业级监控告警平台

基于Zabbix构建企业级监控告警平台

Iptables或Firewalld实现系统安全及服务安全

Aliyun ECS/RDS 运维实战企业级自动化

五、项目及公有云运维实战

集群技术 HA LB HPC

基于LVS构建负载均衡集群

基于Tengine构建高并发负载均衡集群

基于HAProxy构建多层高并发负载均衡集群

基于KeepAlived构建负载均衡器高可用

基于Pacemaker实现Apache及Mariadb高可用

基于GlusterFS构建实时在线分布式存储集群

基于DRBD构建分布式块存储群集

基于Ceph构建高性能PB级存储集群

高速缓存服务器集群构建 memcached redis

HTTPS实现线上Web服务器传输安全

Iptables或Firewalld安全加固及入侵防御

Web服务器Tengine性能优化

Web服务器Tomcat性能优化

MySQL 性能及架构优化

阶段性项目实战大型网站高并

六、发架构运维实战

python开发环境部署

python文件类型

python运算符及表达式

python数据类型

python流程控制

python文件操作

python 函数

python包与模块

python正则表达式

python异常处理

python面向对象

收集主机系统信息

构建信息发布系统 Django

批量主机管理应用系统开发

基于Nagios监控系统的主机服务状态监控插件及应用开发

基于Zabbix监控系统的主机服务状态监控插件及应用开发

批量主机性能监控系统开发

网络爬虫工具开发Python Linux

七、自动化运维开发实战

虚拟化技术方案介绍

KVM虚拟机部署

KVM 网络管理

KVM 存储配置

KVM 虚拟机管理

Shell脚本批量部署KVM虚拟机

企业级虚拟化技术介绍

Python开发KVM虚拟机管理系统

云计算技术概览 IaaS PaaS SaaS CaaS

主流IaaS技术实现方案介绍 OpenStack CloudStack

OpenStack部署及基本管理

OpenStack核心模块解析

OpenStack运维

主流PaaS技术实现方案介绍 Docker LXC

Docker部署及基本管理

Docker编排部署工具

Docker Swarm集群

kubernetes集群

Docker负载均衡和服务发现

Hadoop大数据管理引

编辑:计算机网络 本文来源:本人要为运营说一句,六大利器让运营程序猿尽

关键词: 亚洲城ca88