IT技术博客大学习 共学习 共进步
全部 移动开发 后端 数据库 AI 算法 安全 DevOps 前端 设计 开发者

DevOps

共 867 篇文章

IT 2012-12-18 22:57:48 / 累计浏览 3,844

ssh-copy-id帮你建立信任

对于运维人员来说,在两台Linux机器间建立SSH免密登录是常规操作,但传统手工步骤——拷贝公钥、编辑authorized_keys、检查文件权限——不仅繁琐,还容易在切换机器和手动编辑时出错。 这篇文章生动演示了如何用`ssh-copy-id`命令优雅地自动化这一过程。作者从最基础的需求出发,先遇到了“未找到标识”的错误,引出了必须先用`ssh-keygen`生成密钥对的关键前提。但更典型的坑在后面:当目标机器SSH端口不是默认22时,直接使用`-p`参数会无效,命令依然报“Connection refused”。 真正的解决方案带点“小技巧”色彩:需要将非标准端口和目标地址作为引号内的一个整体字符串传入,即执行`ssh-copy-id "-p 22000 nameB@machineB"`。这本质上是将参数传递给了底层的`ssh`命令。问题解决后,文章还揭示了`ssh-copy-id`本身只是一个约50行的Shell脚本,其源码可供学习。整个排查过程从问题到解决非常清晰,实用性强。

本机暂存
IT 2012-12-17 13:32:00 / 累计浏览 1,941

gitolite的README译文

这篇讲的是如何从零开始搭建和配置Gitolite,来搭建一个轻量级的Git托管服务器。作者从Gitolite的架构讲起,明确了服务器端和客户端的角色划分,以及少数管理员与普通用户的权限差异。 核心部分围绕三个环节展开:首先是安装,作者详细列出了所需的软件环境(如Git、Perl、SSH),并给出了非常具体的安装命令。特别贴心的是,提到了一个常见的Perl模块缺失报错及其解决办法,这是很多初学者会卡住的地方。其次是核心的权限管理,文章解释了通过一个名为`gitolite-admin`的特殊仓库来集中管理用户公钥(`keydir`文件夹)和仓库权限配置(`gitolite.conf`文件),管理员只需在客户端编辑配置并推送,服务器就会自动生效。最后简要说明了如何为用户开通访问权限。 整篇文章就像一份简洁的实战手册,将原本可能有些复杂的权限管理,通过Git本身的流程(克隆、编辑、推送)变得清晰直观。它不仅帮你装好工具,更重要的是让你理解了背后的设计逻辑——把服务器管理变成了对一个Git仓库的协作。

本机暂存
IT 2012-12-16 23:46:42 / 累计浏览 4,506

ubuntu定时执行任务crontab的使用

这篇讲的是作者从实际需求出发,学习并实践Ubuntu系统中定时任务工具crontab的过程。作者最初为了定时执行一个数据爬取脚本,从同事那里了解到crontab,并在保证知识体系完整性的前提下进行了梳理。 文章从crontab的基本概念和由来说起,解释了它作为守护进程周期性检查作业的机制。核心内容聚焦于实际使用:通过简单的三个步骤(运行`crontab -e`、选择编辑器、编写配置)即可开始。作者用两个清晰的例子说明了配置方法:一个是让Python脚本在每天早上7:30执行,并将输出与错误日志重定向到文件;另一个是设置脚本每隔3分钟执行一次。 其中重点解析了配置文件中五个星号分别代表的分、时、日、月、周单位,以及反斜杠(/)用于指定频率的用法。例如,`*/3 6-8 * * *`表示在早上6点到8点之间,每隔3分钟触发一次任务。整篇文章将概念与紧密贴合的实例结合,清晰展示了如何将一个定时需求落地为具体的crontab配置。

本机暂存
IT 2012-12-13 13:35:57 / 累计浏览 3,620

linux 定期自动备份mysql的shell

这篇讲的是,一位作者从保障用户数据安全的实际需求出发,分享了一个简洁实用的MySQL自动备份方案。 他编写了一个Shell脚本,核心是利用`mysqldump`工具导出服务器上所有的数据库,并通过管道用`gzip`进行高压缩存储。脚本通过配置`crontab`定时任务,设定在每天凌晨3点自动执行,实现了完全无人值守的备份流程。 方案的一个关键设计在于备份文件的自动轮转清理。脚本采用目录轮转的方式(`backup.0`至`backup.4`),每次执行前会先删除最旧的一天备份,然后生成新的备份文件,从而确保服务器磁盘空间始终只被最近5天的备份占用,避免了存储空间无限增长的问题。 文章直接提供了完整的脚本代码,包括数据库连接信息、文件路径定义和命令组合等,读者可以根据自身环境稍作修改后直接使用。作者也提醒,从安全角度考虑,执行备份的脚本应使用Root权限,这提醒了读者在自动化运维中需兼顾权限管理。整个方案轻量、可靠,非常适合中小型项目或个人服务器进行日常数据保护。

本机暂存
IT 2012-12-11 13:45:32 / 累计浏览 5,209

查看linux系统版本命令总结

这篇讲的是在Linux系统里,如何快速准确地查出你手头机器的内核版本和发行版信息。作者把常用的命令梳理成了两大类,看内核和看发行版,用实际的命令输出示例展示了不同方法之间的区别。 对于查看内核版本,文章对比了三种最常见的方式。直接读取`/proc/version`文件会得到非常详细的信息,包括编译器和精确的构建时间。而执行`uname -a`则会给出完整的系统信息,包括主机名、内核版本、架构和操作系统。如果只需要一个干净的版本号,`uname -r`是最简洁的选择。 在识别具体的Linux发行版(比如是CentOS还是Red Hat)时,方法就更多样了。`lsb_release -a`是一个通用性很强的命令,能列出标准的版本信息。`cat /etc/issue`通常能快速显示发行版,但格式可能不统一。对于Red Hat系的系统,`cat /etc/redhat-release`和`rpm -q redhat-release`则能提供更具体、甚至带有更新编号的版本信息。文章还补充了如何通过`file /bin/bash`这类方法,从系统工具的编译信息中间接推断内核版本。 整篇文章没有空谈理论,直接罗列了从最通用到特定发行版的各种“兵器”,并点明了各自输出的细节差异和适用范围。管理员或开发者在排查环境问题时,可以按图索骥,选择最适合当前场景的命令。

本机暂存
IT 2012-12-11 13:34:09 / 累计浏览 2,603

Windows: 使用Win7自带的远程协助功能

这篇讲的是Windows 7中一个实用但常被忽略的功能:让IT管理员主动发起远程协助,而非传统地等待用户发出邀请。 作者从实际IT支持场景出发,指出了传统方式的不便——必须等待用户创建邀请文件和验证码。文章的核心是介绍Windows 7新增的“主动远程协助”方案,它允许管理员在知道用户IP或计算机名的情况下,直接发起连接,更符合日常运维流程。 文章具体梳理了三种协助方式的区别,并详细拆解了启用该功能所需的三个关键配置步骤:开启远程协助权限、在本地用户组中添加协助者、以及通过组策略启用并指定允许的协助管理员。最后,通过命令行`msra.exe /offerra`即可发起连接,并提到了内置的聊天功能。 整个流程设置一次后,管理员便能高效地为遇到问题的用户提供“即时”屏幕共享与控制,为预算有限的团队提供了一个无需额外软件的轻量级远程支持方案。

本机暂存
IT 2012-12-09 20:07:42 / 累计浏览 2,242

前后端应用平滑发布方案设计

在大型网站的前后端分离架构中,如何让不兼容的代码更新平滑生效是个常见痛点。本文从这一实际问题出发,分享了一套经过实践验证的自动化发布方案。 核心思路是:发布时先上线前端代码,并使其与旧版本线上共存,再控制后端服务切换引用。具体实现依赖两个关键技术:一是通过动态合并服务为CSS/JS文件生成多版本物理文件,实现前端资源的增量发布;二是后端模板的引用路径更新时机,由发布系统根据应用是否处于“锁定状态”来自动判断——非锁定时立即更新,锁定时则在服务重启时统一刷新。 这套设计巧妙地利用了现有的发布流程,无需开发者额外操作,就解决了因集群部署耗时造成的发布窗口期异常。它在保证代码简洁和发布独立性的同时,实现了对用户完全透明、零感知的平滑过渡,为高可用站点的持续交付提供了一个不错的参考模型。

本机暂存
IT 2012-12-07 13:50:30 / 累计浏览 3,843

Linux/Unix的精巧约定两例及其简析:目录权限和文本行数

这篇技术文章深入浅出地拆解了Linux/Unix系统中两个看似复杂但设计精巧的约定,首先是关于目录权限的“执行”位。 作者指出,许多初学者对目录的执行权限感到困惑。实际上,它的核心含义是“穿越”:要操作目录下的任何文件(读、写、执行),或者对目录本身进行写操作(如增删文件),前提必须是拥有该目录的执行权限。这与普通文件的“执行”意义截然不同。 文章进一步揭示了其中的递归逻辑:要访问一个深层路径,需要从根目录开始,路径上每一个目录都拥有执行权限。作者用访问 `/home/foo/readme.txt` 的例子做了清晰推导,强调了根目录(/)的执行权限是访问起点的关键,这体现了Unix哲学中层层递进、权责明确的设计美感。 此外,文章还分析了另一个关于统计文本行数的约定。作者旨在说明,这些约定初看可能反直觉,但其内部逻辑统一且简洁,理解后能让人体会到系统设计的严谨性。对于想真正弄懂Linux文件权限底层逻辑的读者,这篇文章提供了非常清晰的视角。

本机暂存
IT 2012-12-06 13:59:12 / 累计浏览 6,862

Git commit 注释格式

这篇技术文章从一个常见但容易被忽视的细节入手:Git commit的注释格式。作者指出,虽然Git没有硬性规定,但良好的注释习惯对团队协作和项目历史维护至关重要。 文章以Linux内核、PHP等知名开源项目的实践为例,总结了一套推荐的注释规范。核心是“50/72”规则:首行总结不超过50字符且不使用句号,空行后接不超过72字符宽度的详细说明。这种结构既让`git log`输出更清晰,也方便用于邮件通知的标题与正文分离。 除了格式,文章还着重指出了应当避免的“坏味道”提交,比如将版本控制工具当作临时备份、把不相关的修改混在一次提交里,或是用“修正错误”这样含糊的描述。同时,它也提供了一些实用技巧,例如使用`module:`前缀组织大项目提交,以及用`git diff --check`预检空白字符错误。 这篇文章没有空谈理论,而是直接给出了可操作的标准和反面案例,帮助开发者快速建立专业的提交习惯。

本机暂存
IT 2012-12-05 13:32:13 / 累计浏览 4,501

做云这三年

这篇讲的是新浪云计算负责人对自己负责云业务三年历程的回顾与思考。文章从作者早年自己折腾服务器的痛苦经历切入,引出了新浪云选择从PaaS平台(SAE)起步的缘由。 作者坦言,PaaS虽然为开发者带来了极高的性价比(例如微盘日均成本不足800元),但也是一把“双刃剑”。严格的平台规则带来了高性能,却也让大量既有应用迁移困难,并且由于“太省钱”导致市场难以支撑。面对这一困境,团队随后转向了兼容性更强的IaaS(SWS),并迅速通过拥抱开源(如OpenStack)打开了局面。 然而,故事的精彩之处在于,团队并未止步于单纯地售卖虚拟机。他们将PaaS的性价比优势与IaaS的兼容性优势结合,推出了混合云方案,有效降低了企业客户的总体成本。文章最具启发性的部分,可能是对“另类SaaS”——云商店的探索。团队巧妙地将标准PHP应用与隔离的云空间打包,通过三方模式(软件商、平台、用户)平衡了数据安全、业务可控性与应用丰富度等问题,为SaaS在国内的落地提供了一种务实思路。 文章最后,作者带着欣慰的口吻提到,看到SAE上诞生的各种创意应用、被高校用于教学,甚至成为内部效率工具时,深信他们的工作“改变了世界,也许就那么一点点”。这三年,是从技术理想走向解决真实商业问题的一段扎实旅程。

本机暂存
IT 2012-12-05 13:02:05 / 累计浏览 3,682

用pigz代替gzip

这篇讲的是一个名为pigz的并行压缩工具,作者通过实际测试,展示了它相比传统gzip在现代多核处理器上的巨大性能优势。 pigz的核心是利用多线程并发执行gzip算法。文章用两组大文件(约2.3GB和5.2GB)的压缩解压测试数据做了直观对比。结果显示,pigz在默认线程数下,压缩速度可达gzip的5.3倍。例如,压缩那个5.2GB的文件,pigz默认配置耗时1分12秒,而gzip则需要超过6分钟。解压缩同样快了一倍以上。虽然pigz会消耗更多CPU资源,但压缩比与gzip相当。 文章还深入分析了线程数与性能的关系。实测表明,从4线程增加到8线程能带来约41%的速度提升,但从8线程增加到16线程提升降至28%左右,而32线程对比16线程仅提升3%,存在明显的边际效益递减。 因此,结论很明确:在需要快速压缩大文件、且能接受短时间高CPU负载的场景下,pigz是一个能极大提升工作效率的替代方案。

本机暂存
IT 2012-11-27 13:57:44 / 累计浏览 1,983

如何在XP下查看系统开机时间及系统运行时长

这篇讲的是如何在Windows XP下快速查看系统启动时间,解决上班族对是否“早退”的小纠结。作者从三个实用角度出发,介绍了无需登录考勤系统就能自查的方法。 最简单的是在命令行运行`systeminfo`,系统摘要里直接显示启动时间。如果该命令不可用,`net statistics WORKSTATION`的第一行同样能提供准确的统计时间。对于需要更详细记录的用户,微软的`Uptime`工具可以生成完整的系统开关机日志。 文章也客观对比了各方法的差异。`systeminfo`和`net statistics`是系统自带、方便快捷;`Uptime`功能更强,但依赖于Event Log服务,其准确性受服务状态和系统权限影响。此外,文章还贴心地补充了`systeminfo`命令缺失时的修复步骤,比如检查系统路径或从别处拷贝,确保方法真正可用。对于仍在使用XP的用户,这些命令行技巧是高效掌握系统状态的便捷途径。

本机暂存
IT 2012-11-27 13:50:57 / 累计浏览 1,544

Windows tasklist命令使用说明

这篇讲的是Windows中一个强大但常被忽视的命令行工具——tasklist。 它解决了在图形化任务管理器中无法直接查看进程关联服务的痛点。文章系统梳理了tasklist的多种用法,从基础的本机进程列表,到通过特定参数(如/s、/u、/p)查看远程系统进程,实用性很强。 特别值得注意的是,它用/svc参数可以直接显示每个进程(尤其是像svchost.exe这样承载多项服务的进程)所对应的具体服务,这对于排查系统问题非常有帮助。此外,文章还演示了如何调用指定DLL模块的进程、使用筛选器精确查找特定状态进程(例如正在运行的非SYSTEM进程),以及输出为表格、列表或CSV格式以便进一步分析。 最后,文章自然地带出了它的“孪生兄弟”taskkill,形成了一个“查找-终止”的完整操作闭环,让读者不仅知道如何看,还知道下一步如何处理进程。

本机暂存
IT 2012-11-27 13:35:17 / 累计浏览 8,680

从谷歌宕机事件认识互联网工作原理

这篇讲的是谷歌服务曾经历的一次全球性短暂宕机,作者作为一名CloudFlare网络工程师,从亲身参与修复的角度,带读者深入了一次真实的网络故障现场。 故事从发现谷歌所有服务(甚至包括其公共DNS 8.8.8.8)无法访问开始。作者通过追踪发现,本应由谷歌自己管理的IP地址,其BGP路由路径却诡异地指向了印度尼西亚的运营商Moratel。这揭示了问题的根源:一家ISP可能因操作失误(“胖手指”),错误地向其上游提供商(电讯盈科)宣告了本属于谷歌的IP地址,而后者信任了这一宣告,导致错误路由像涟漪般扩散至全球互联网。 文章核心观点在于阐释互联网如何建立在BGP协议的相互信任机制之上,而这种信任一旦被错误信息打破,即便是谷歌这样的巨头也可能服务中断。作者最终通过业界人脉直接联系Moratel公司才得以修复问题。这给我们的启发是:可靠的网络运维不仅关乎技术,也关乎全球协作网络与及时响应能力——即使你控制不了外部路由,也必须有团队时刻监控和管理你与世界的连接。

本机暂存
IT 2012-11-26 14:24:59 / 累计浏览 8,224

你可能不知道的Shell

这篇讲的是Shell里那些常被忽略但极其实用的“冷知识”和高效命令。作者从Shell的历史冷知识切入——它比所有流行的Linux内核都要年长,是先有Shell再有Kernel;并且在全球编程语言排名中,shell家族稳居前列,在GitHub上的项目数占比高达8%,与Java相当,印证了它在实战工程中的“宝刀不老”。 文章的核心部分分享了一系列能显著提升效率的命令行技巧。比如用“!$”快速引用上一条命令的最后一个参数,用“sudo !!”一键重跑上条命令并提权,或是用“cd -”在前后两个目录间快速切换。此外,还有像“^old^new”替换历史命令字符串、查看ASCII码表、远程执行脚本等数十个具体用法,每一个都配有清晰的使用场景。 这些技巧并非教科书上的基础内容,而是能立即应用于日常开发、运维工作的“甜点”。无论是想提升命令行效率的新手,还是希望查漏补缺的老手,都能从中找到立刻上手尝试的实用技巧。

本机暂存
IT 2012-11-11 23:49:00 / 累计浏览 4,962

通过shell 脚本查看服务器的时时流量

这篇文章提供了一个轻量级的shell脚本,用于实时查看服务器的网络流量情况。脚本的核心思路是通过一个无限循环,每秒捕获指定网卡(默认是eth0)的接收(RX)和发送(TX)字节数,计算与上一秒的差值得到实时速率。同时,它还会累计总流量并计算平均速率,让用户对整体网络负载一目了然。 脚本设计得很实用,它会清屏并刷新显示,形成一个动态的监控面板。输出的信息结构清晰,包含了网卡、IP、当前时间、以及三组关键数据:当前速率(KB/s)、平均速率和总流量。对于需要快速诊断网络状况或进行临时监控的运维人员来说,这个即开即用的脚本提供了一个非常便捷的解决方案。文章不仅给出了完整的脚本代码,还附带了具体的使用方法和一段示例输出,展示了监控效果。

本机暂存
IT 2012-11-11 23:40:46 / 累计浏览 3,763

SWAP的罪与罚

这篇讲的是如何深入理解并驾驭Linux系统中的SWAP机制,它从一个因内存耗尽引发SWAP,最终导致Apache服务宕机的真实案例切入,点明了SWAP既是“性能大事”,也可能成为“系统杀手”。文章并非泛泛而谈,而是系统性地介绍了监控SWAP的工具链与深层诱因。 作者详细对比了不同场景下的监控手段:`free`和`sar`命令适合查看整体使用快照与历史趋势;`vmstat`则能实时刷新,其`si`(换入)和`so`(换出)字段是观察SWAP活动的关键指标。更棘手的是查看具体进程的SWAP占用,文章指出了`top`命令中SWAP字段的计算方式(VIRT-RES)并不可靠,转而提供了一个通过解析`/proc/[pid]/smaps`文件的Shell脚本,这能给出更准确的数据。 更深层次的剖析在于那些“看似内存充裕却仍发生SWAP”的诡异现象。文章解释了`swappiness`参数(默认60)如何影响内核在回收缓存与执行SWAP间的权衡,以及NUMA架构下因局部节点内存不足而触发的“SWAP Insanity”。对于NUMA问题,文章给出了通过`numactl --interleave=all`等命令进行规避的明确方法。 文章最后以YouTube曾采取“删除SWAP”的极端方案为例,提醒读者此法风险极高,一旦内存耗尽会直接触发OOM。它更推荐我们主动监测、理解根源(如调整swappiness、优化NUMA配置),而非鲁莽地移除这个安全缓冲。整体上,这篇文章为运维与开发人员提供了一份关于SWAP的实用避坑指南。

本机暂存
IT 2012-11-11 23:40:13 / 累计浏览 3,923

网站排障分析常用的命令

这篇讲的是运维和后端工程师在排查网站问题时,那些“救命级”命令行工具的集合。文章从实战出发,直接提供了大量可以直接复制粘贴的排查指令。 内容覆盖了从底层到应用的完整链路。在系统层面,它详细介绍了如何用 `netstat` 和 `awk` 组合,快速诊断TCP连接状态,比如找出大量的 `TIME_WAIT` 或 `SYN_RECV` 连接,以及定位80端口的高频访问IP,这对于分析潜在攻击或性能瓶颈非常直接。 文章接着深入到网站日志分析。针对Apache和Squid的日志,它给出了各种统计视角:从找出访问量最大的页面、传输最大的文件,到统计HTTP状态码、分析网站流量,甚至通过 `tcpdump` 抓取数据包来识别爬虫。每一项都配有具体的命令行,解释了“看什么”和“怎么看”。 最后,文章还补充了数据库查询调试和进程跟踪的命令。整篇文章没有空泛的理论,而是像一本工具手册,把解决问题所需的具体“武器”都罗列了出来,对于需要快速定位线上问题的工程师来说,实用性很强。

本机暂存
IT 2012-11-11 23:37:35 / 累计浏览 4,982

关于Linux系统安装中Swap分区的解释

这篇从Linux系统安装中一个常被忽略但至关重要的部分——Swap分区出发,详细拆解了其作为“虚拟内存”后备资源的核心机制。文章不仅用生动的例子(如Windows下硬盘“哗哗”响)解释了当物理内存不足时,系统如何将匿名内存数据交换到Swap空间,更深入剖析了一个常见误解:早期Linux版本中Swap分区“不能超过128M”的限制,其根源在于旧系统用每页位映射来管理坏块,而现代硬盘质量提升后,这一限制早已取消,当前上限已达2G。 文章的核心价值在于其对性能影响的透彻分析。它明确指出,Swap分配过多会浪费磁盘空间,过少则会导致服务因内存耗尽而报错甚至死锁。文中给出了具体的配置建议,例如Swap大小通常应为物理内存的2-2.5倍,并强调了拥有多个Swap分区对于均衡磁盘I/O负载、提升交换速度的重要性。此外,文章还提供了实用的性能监控指南,介绍了如何使用`vmstat`命令中的`si`、`so`等关键指标来诊断Swap活动是否频繁,并给出了查看和添加Swap空间的具体命令行操作步骤。 整体而言,这是一篇将原理、历史细节与实操指南相结合的技术解读,能帮助系统管理员更科学地规划和监控Linux服务器的内存资源。

本机暂存
IT 2012-11-11 23:36:49 / 累计浏览 3,482

linux调整swap大小

这篇讲的是在Linux系统里,当默认swap空间不足或需要优化时,如何动手进行调整。作者从两种最主流的场景出发,给出了清晰的实操路径:一是如果磁盘有剩余空间,可以直接新建一个独立的swap分区;二是使用更灵活的文件交换方式,比如用dd命令创建一个指定大小的文件,再通过mkswap和swapon命令将其激活。 文章详细演示了第二种方法的全过程:从计算文件大小(示例中32k扇区大小乘以8192个扇区得到256MB),到格式化,再到启用。特别贴心地指出了如何通过编辑/etc/fstab文件,让添加的swap分区或文件能在系统启动时自动加载,避免了每次都要手动操作的麻烦。 除了“怎么做”,文章也解释了“为什么”。它提到,swap空间通常建议不小于64MB,且大小为物理内存的2到2.5倍,但具体要根据服务器负载(如数据库、Web服务器)来调整。同时,使用多个swap区能分散磁盘I/O负载,提升交换效率,避免单个交换区过忙导致的系统卡顿——这往往是性能瓶颈所在,而非CPU问题。整篇内容步骤具体,原理清晰,对于需要管理Linux内存的运维人员或开发者来说,是一份很实用的指南。

本机暂存