在我们老家,一些私人的重要纪念日还是按照农历日期的,比如生日什么的。如果是一些公共的假期,比如中秋、端午还好说,有很多现成的公共农历日历。如果是自己关心的几个农历日期就要自己添加提醒了,尤其是要批量添加20、30年的农历日历提醒,而且每年好几个。

为了省事,有两个事情需要解决:

  • 获取特定农历日期对应的公历日期
  • 在命令行下添加一个提醒到 Google Calendar 或者 Apple Calendar

用 lunar 来获取农历和公历的对应日期

编译

在 Debian 的仓库里面有一个名为 lunar 的软件可以查询农历和公历的对应日期。这个软件非常的老了,最新的版本是2001年10月发布的 2.2 版本。能够查询的日期范围是1900年到2049年之间的。在 macOS 上需要自己下载编译,目前无法从 Debian 的 git 仓库中获取源码,还好有打包好的 lunar 源码可以下载。

下载并解压后,执行 make 命令即可。虽然可以看到很多的警告信息,但在源码目录下已经编译成功。


基本用法

使用上非常简单,直接执行会看到简单的帮助信息。

注意到有一个选项 -h 是输出中文信息的,但由于这个软件太过于『古老』,以至于没有支持 UTF-8。所以如果你的终端的字符集不是 GBK 或者 GB18030,在使用 -h 选项的时候需要用 iconv 命令来把输出转换为当前终端的字符集。

lunar -h 2019 10 13 | iconv -f gb18030

有一个比较有趣的选项是 -b 可以以『位图』的方式输出

查询公历对应的农历日期

比如:要查询2019年10月13日对应的农历日期

lunar 2019 10 13

可以看到那天是农历的九月十五日。

-i 选项来查询农历对应的公历日期

比如:要查询2019年农历九月十五日对应的公历日期

lunar -i 2019 9 15

使用 Fantastical2 来添加日历

我购买了 Fantastical 2 for Mac,这是一个非常易用的 macOS 桌面日历工具。有一些比较强大的功能,比如:

  • 支持自然语言来添加提醒
  • 跨日历合并相同的提醒
  • 支持 AppleScript
  • ……

给一个特定的日期添加一个提醒

只要在 Fantastical 的输入框里面输入一行文字,带上日期即可。要指定一个地点,就在用『at』加上地址。如果有多个不同的日历来源,希望添加到特定的日历中,那就在行首加上『/日历名称』。

只有日期没有具体的时间时,默认是全天的事项。由于 Fantastical2 对中文的自然语言其实是没有什么支持了,所以精准的时间还是别用自然语言了。

比如我的默认日历是『工作』,希望添加到『家庭』的日历,就在最前面添加『/家庭』。

把添加事项自动化!

在 Fantastical2 的帮助文档的与其他应用整合里面有提到多种自动化的添加方式,比如用 URL 的方式:

open "x-fantastical2://parse?s=/家庭 2018-6-7 6:45 在太原机场打印行程单"

这会直接打开 Fantastical 的快速添加窗口,按下回车键即可添加一个事项。

这需要我们手工确认一下!自动化一定是 100% 的,没有 99% 的自动化。还有有个 add 选项,用上选项 add=1 就可以直接添加事项而无需确认了。

open "x-fantastical2://parse?s=/家庭 2018-6-7 6:45 在太原机场打印行程单&add=1"

执行这个命令后就直接在『家庭』日历中添加了一个事项。看上去不错了,但有个问题是,每次执行了命令 Fantastical 的窗口都会打开。毕竟 open 命令就是打开应用程序的。

自动化的实现中还是要避免本没有必要显示的窗口。

用 AppleScript 来实现完全的自动化

在 Fantastical 的帮助文档中可以看到一个 AppleScript 的例子

tell application "Fantastical 2" 
    parse sentence "Wake up at 8am" 
end tell

要实现完全的自动化,就加上 with add immediately

tell application "Fantastical 2" 
    parse sentence "Wake up at 8am" with add immediately 
end tell

现在我们已经知道了所有需要的信息了,创建一个 AppleScript 脚本 fantastical.scpt,内容如下:

on run argv
  set query to (item 1 of argv)
  tell application "Fantastical" to parse sentence query with add immediately
  return "添加日历:" & query
end run

然后就可以用 osascript 来执行这个脚本,并加上我们要添加的事项。

osascript fantastical.scpt "/家庭 2018-11-4 9am 去买个蛋糕"

执行这个命令时,Fantastical 的窗口也没有打开,完美。

写个 Shell 通过 lunar、Fantastical 来按照农历日期批量添加事项提醒

虽然我们已经搞定了几乎所有的事情,也只需要用 osascript 这个命令一行就可以自动的添加提醒事项,但是我们需要总是记得这个 fantastical.scpt 脚本在哪里。我希望直接就执行一个命令,不要再带上路径什么的。虽然有 PATH 这个环境变量,但只是对命令生效。如何可以直接执行 fantastical.scpt 而无需带上路径呢?

Shebang!

我们可以在网络上搜索到很多的 AppleScript 的代码,发现里面的注释都是用类似 SQL 的方式,是两个短线 --。但其实 AppleScript 从 Mac OS X Leopard 发布的 2.0 版本开始就支持用 # 来做注释了,所以 Shebang (Unix)

在第一行添加上 #!/usr/bin/env osascript,并且给文件添加上可执行权限。

#!/usr/bin/env osascript

on run argv
  set query to (item 1 of argv)
  tell application "Fantastical" to parse sentence query with add immediately
  return "添加日历:" & query
end run

添加可执行权限

chmod +x fantastical.scpt

我习惯上把所有自己写的脚本都放到 $HOME/bin 这个目录中,并且这个目录也添加到了 PATH 环境变量里面。

把文件 fantastical.scpt 移动到 ~/bin 目录中,现在就可以直接执行啦!

mv fantastical.scpt ~/bin

fantastical.scpt "/家庭 2018-11-4 9:30 再去买一个蛋糕吧"

目前感觉已经不错了,可以无需确认的添加一个事项,而且 Fantastical 的窗口也不会打开,在执行命令的时候也不用指定路径了。

但还是有一点 小小的缺陷,就是 fantastical.scpt 其实只支持一个参数。就是说,在添加事项的时候,一定别忘记用引号,否则会出问题的。比如

fantastical.scpt 买个蛋糕 2018-11-4

其实真正传递给 Fantastical 的内容只有『买个蛋糕』,而没有后面的的日期。所以默认就是在当天添加了一个『买个蛋糕』的事项,这不是我们要的。

虽然记得加上引号不是什么问题,但我们还可以做的更好。

一个简单的解决办法就是用 AppleScript 把传递进来的 argv 数组用空格连接起来,而不是只是获取数组的第一个元素。但对于自动化的实现来说,还有一种常用的传递参数的方式,是通过管道来传递。这种方式用 AppleScript 麻烦了一些,用 Shell 就很容易了。

用 Shell 让自动化再完美一些

用 Shell 可以解决两个问题:

  • 把所有的参数用空格连接起来,作为一个参数传递给 fantastical.scpt
  • 可以把通过管道传递过来的数据,转换为调用 fantastical.scpt 的参数

把所有的参数打包作为一个参数

用 Shell 接受参数是很容易的,在脚本中使用 $1$2$3、…… 就可以获得第1、2、3、……个参数。说到这里,或许有人不知道如何获取第10个或者以上参数。难道不就是 $10 吗?还真的不是!

看下面的 Bash 脚本

#!/bin/bash

echo 第十个参数是 $10

就是直接输出第 10 个参数,如果执行命令

./test-parameter.sh 1 2 3 4 5 6 7 8 9 a b c d e f

是不是应该就是输出:第十个参数是 a?让我们执行一下看看效果。

结果竟然是『第十个参数是 10』!莫非是把 a 当做十六进制转换为十进制?其实在 Bash 中,第1-9个参数可以直接用 $ 加数字,但第10个及其以上,需要用花括号{}包含起来,所以正确的代码应该是:

#!/bin/bash

echo 第十个参数是 ${10}

再次执行

./test-parameter.sh 1 2 3 4 5 6 7 8 9 a b c d e f

就会看到正确的结果:第10个参数是 a

回到我们要解决的问题上,如何用 Bash 把接受到的所有参数用『空格』连接起来传递给 fantastical.scpt 呢?

很多人会知道在 Bash 下可以用 $@ 来代表所有的参数!

#!/usr/bin/env bash

fantastical.scpt "$@" # it's wrong

这样其实是不对的!有两个解决办法,一是先把$@赋值给一个变量,然后把变量传递给 fantastical.scpt

#!/usr/bin/env bash

QUERY="$@"
fantastical.scpt "$QUERY"

另一个办法是用 $*

#!/usr/bin/env bash

fantastical.scpt "$*"

以上两种方式可以任选一个。在 Bash 里面 $@$* 是不一样的,这里就不细谈了。

把通过管道接受的数据传递过去

通过管道传递的数据是无法用 $@ 或者 $* 来获取的,但是可以用 cat 来获取,代码如下:

#!/usr/bin/env bash
set -eu

QUERY="$(cat)"
"${BASH_SOURCE}.scpt" "$QUERY"

现在有了新问题,如何判断当前是要通过管道接受数据呢?通常情况下,通过管道接受数据的时候是没有参数的,所以一个办法就是通过内置变量 $# 来判断是否有参数。但这个判断并不准确,有时候我们需要在代码中判断如果没有任何选项参数的时候就显示一个简单的帮助信息。还有一个常见的判断方法就是利用 tty 这个命令。tty 会显示当前终端的名字,如果是通过管道接受数据,则会出错,显示 not a tty 的错误信息。

利用 tty 来区分是否从管道获取数据,代码如下

#!/usr/bin/env bash
set -eu

if tty; then
  QUERY="$@"
else
  QUERY="$(cat)"
fi

fantastical.scpt "$QUERY"

最后再改进一点儿,从管道获取数据的时候允许合并命令行上额外的参数,并且不显示 tty 的任何输出。

注意:IO 重定向 >/dev/null 2>&12>&1 >/dev/null 这两个是不同的。

#!/usr/bin/env bash
set -eu

QUERY="$@"

if ! tty >/dev/null 2>&1; then
  QUERY="$QUERY $(cat)"
fi

fantastical.scpt "$QUERY"

最后如果发现没有任何信息要添加,也就是变量 QUERY 为空值,那就显示帮助信息,搞定!

完整的脚本

这两个脚本都放置在 PATH 里面某一个目录中建议是 $HOME/bin,并且用 chmod +x fantastical* 设置可执行的权限。

fantastical

#!/usr/bin/env bash
set -eu

QUERY="$@"

if ! tty >/dev/null 2>&1; then
  QUERY="$QUERY $(cat)"
fi

if [[ -z "$QUERY" ]]; then
  echo "Usage: "
  echo "  $0 /家庭 2019-10-13 8am 记得去买个蛋糕"
  exit 1
else
  "${BASH_SOURCE}.scpt" "$QUERY"
fi

fantastical.scpt

#!/usr/bin/env osascript

on run argv
  set query to (item 1 of argv)
  tell application "Fantastical" to parse sentence query with add immediately
  return "添加日历:" & query
end run

开始执行

比如我要给每年的农历九月十五这一天加一个提醒

for YEAR in {2018..2049}; do
  fantastical "$(lunar -i $YEAR 9 15 | grep -m1 -Eo "[0-9]{4}\.[0-9]{1,2}\.[0-9]{1,2}")" 这一天是农历的九月十五; 
done

就这么几行代码,搞定!写 Shell 脚本是不是很简单呢?

写完这两个脚本,并添加所有的农历日期提醒,也就半个来小时,写文章就多半天过去了。

TL;DR

请直接跳到最后看总结。

Dev 与 Ops 的技术栈对比

DevOps 是最近几年非常流行的词汇,有越来越多的公司开始实践 DevOps,但如何可以真正的把 DevOps 做好呢?

我曾经和几个业内朋友聊过,为什么现在的 DevOps 培训关注在协作或者工具上?这些就是把 DevOps 做好落地所需要的吗?那几个朋友也同意,只是关注在协作和工具上是不够的。

首先,运维(Ops)是一个全面并复杂的工作,并不是把开发团队开发完成的应用部署到生产环境,如果出了问题就找开发团队来解决。运维包括了系统、网络、数据库、安全、开发等不同领域的工作。要把运维这个工作做好也不止是会一些工具这么简单的事情。其次,也不只有 DevOps 才关注团队之间的协作。如果协作和工具对于做好 DevOps 是足够的,就好比协作和开发语言或者框架对于做好开发是足够的。但我们都知道,对于开发来说,除了协作、编程语言、开发框架外还有不少很重要的技能,而这些技能也是区分资深开发工程师和初级工程师的标准之一。作为一名资深的开发工程师,除了基本的编程语言和框架外,还需要了解和掌握一些高级知识。比如资深的 Java 开发工程师需要了解并掌握反射、类加载、垃圾回收多线程开发、调试工具等等高级知识。这些高级知识可以帮助他们更好地处理一些疑难复杂问题,并构建更加健壮灵活的应用程序。而且也有越来越多的开发工程师开始意识到 TDD、重构这类工程实践可以帮助他们提升开发技能,以开发出代码质量更好,也易维护的应用。

对于 DevOps 来说,技术栈不仅仅包括开发和运维,还包括测试、安全、网络、业务等等领域,但开发和运维是相对重要的两个。对于提升开发质量的高级知识和技能,很多人都已经很熟悉了,但有哪些是做好运维的高级知识和技能呢?如果运维做不好,那也很难做好 DevOps 的落地实践。下面我们以 Java Web 开发工程师和 Unix/Linux 运维工程师为例,来做一个技术栈的对比。通过这个技术栈的对比,可以让我们更加清楚的看到做好运维的基础在哪里。

Java Web 开发技术栈

主要开发语言

对于 Java 开发工程师来说,哪个编程语言是主要开发语言呢?很显然是 Java。如果一个工程师的主要开发语言是 PHP,那他就是 PHP 开发工程师了。作为一名合格的 Java 开发工程师,显然要对 Java 语言非常熟悉。不需要对 Java 语言的每一个细节都了如指掌,但最起码对绝大多数的语法非常了解。很难想象一名对于 if 语句都不甚明了的 Java 开发工程师可以开发出高质量的 Java 应用。

还需要掌握其他编程语言或标记语言

Java 工程师在开发应用时只会用 Java 语言是不够的,还需要了解并掌握一些其他编程语言或标记语言。比如 SQL、JavaScript、CSS、HTML、XML 等等。如果使用了一些CSS框架,可能还要掌握 Less (层叠样式表) 或者 Sass

核心开发库

在学习 Java 编程的时候,主要是在学习什么?事实上Java 语法并不多、也不复杂,在几天内就可以把所有的语法学习完毕。那在学习 Java 编程的时候是在学习什么呢?其实是在学习 Java Development Kit(JDK),这是 Java 开发的核心开发库。在 JDK 中有非常多的包和类,几乎没人可以记得有哪些包,每个包里面有哪些类。但作为一名合格的 Java 开发者,一定会熟悉一些常用包,比如: java.lang、 java.util、 java.io 等等。同样的,也很少有人可以记得这些常用的包里面有哪些类,但一定非常熟悉一些常用的类及其方法,比如:java.lang.Stringjava.io.Filejava.util.HashMap 等等。

如果要开发嵌入式或者企业级 Java 应用,可能还要熟练掌握 Java ME 或者 Jakarta EE(以前的 Java EE、J2EE)

除了 JDK 的核心类库以外,资深的 Java 工程师还要了解很多 Java 虚拟机的相关知识。比如Java 内存模型垃圾回收、Java 的类加载、高效并发的 Java 多线程开发技术等等。

第三方类库

理论上,当一名 Java 开发工程师掌握了 Java 语法以及 JDK,并且也熟悉一些第三方的语言,他已经可以开发出几乎任何的 Java 应用程序了,虽然可能会花费比较多的精力和代价。我们可能会使用一些第三方的类库来避免『重新发明轮子』,比如 Apache CommonsGoogle GuavaSLF4J 等等。借助很多的第三方类库,Java 开发工程师可以非常方便的处理 Excel 文档、解码音频文件、校验 OpenPGP 签名、处理日志等等。这些第三方类库可能也依赖其他的类库,所以可能就需要 Apache Maven 或者 Gradle 来帮助进行依赖管理和构建。

框架

虽然有很多的第三方类库可以帮助 Java 开发工程师减少一些重复的代码开发工作,但是对于不同的项目可能会有一些类似的行为逻辑。比如对于绝大多数的 Web 项目,总是需要处理模板、数据与表单的绑定、异常的拦截和处理、权限和安全认证等等重复的工作,于是需要开发框架来简化这些重复的工作。开发框架与具体的应用和业务无关,但是实现了最为基本的软件架构和体系,并提供了通用的功能,以便让开发者关注在业务逻辑的实现上。所以,开发框架对于业务逻辑来说什么也没有做,开发工程师还是需要自己去实现所有的业务逻辑。常见的 Java 开发框架有 Spring FrameworkApache Struts 2Play Framework 等。

框架固然重要,但编程语言的基础和核心开发库的掌握更重要。尽管有的公司内部有自己开发框架,并且内部的开发框架也实现了一些通用的业务逻辑。但对于每一个特定的内部项目来说,还是需要开发工程师去实现这些特定的业务逻辑代码。

以上已经列出了最为基本的 Java Web 开发技术栈,绝大部分的 Java Web 应用都是基于以上的技术栈来开发的。

基本的运行环境

对于 Java Web 应用,最基本的运行环境有 Apache TomcatJetty 等。通常 Java 开发工程师会在开发环境、测试环境使用这些基本的运行环境来调试、测试应用程序。如果没有太多的用户,甚至也可以用到生产环境中。

一旦需要为更多的用户提供服务,单个的最基本的运行环境可能就不足以支撑了。

集群和高可用的运行环境

虽然也可以用 Tomcat 或者 Jetty 来搭建一个规模不大的集群环境,但是使用一些 Java 企业级应用服务器会让事情变的更简单,比如 IBM WebSphereOracle WebLogic ServerJBoss Enterprise Application Platform 等等。不仅有了更高的性能、更高可用性、增强的安全控制,也更方便的去管理和部署 Java 应用集群。

Java 的开发工作环境

作为一名 Java 开发工程师,平时的工作环境通常是在一个 Java 集成开发环境 中,可以是 IntelliJ IDEAEclipse 或者 NetBeans,甚至是使用 Vim 或者 Emacs 搭配一些 Java 开发相关的插件和命令行。不管是哪一个,至少一定会非常熟悉其中的一个。

资深的 Java 开发工程师可以在自己熟悉的开发环境中非常高效的工作,熟悉常用的配置、快捷键。通常通过观察一名 Java 开发工程师对于日常工作环境的熟练程度,基本上可以判断是否是一名经验丰富的开发工程师。

Unix/Linux 运维技术栈

主要的开发语言

Java 开发工程师的主要工作语言是 Java。那什么是 Unix/Linux 运维工程师的主要语言呢?有一些人会说是 Python,但其实应该是 Bash 或者其它某一个 Unix shell。对于这个结论,有些人可能会对此有些争议。现在我先简单的说明一下,首先 Bash 是一个 Shell,而 Python 不是。我们必须通过操作系统来使用计算机,但我们无法直接使用操作系统内核。Shell 是一个用户界面,用于访问操作系统内核所提供的服务,比如文件管理、进程管理等。其次 Bash 作为一个编程语言,绝大部分的人对 Bash 的语法了解比较有限。常见的一个误区是,认为 Bash 的语法比较奇怪。比如绝大部分编程语言的 ifwhile 等关键字后面是圆括号,而 Bash 用的是方括号 [ ],并且这个方括号和表达式之间必须有个空格,而且如果没有空格就会出现语法错误。如果认为这是 Bash 奇怪语法的一部分,那就完全错误了。

请看下面的 5 个 Bash if 语句的例子,这些语句之间的区别就是 if 后面的『括号』,哪些语法是正确的?

  1. if [ ... ]; then ...; fi
  2. if [[ ... ]]; then ...; fi
  3. if ( ... ); then ...; fi
  4. if (( ... )); then ...; fi
  5. if { ... }; then ...; fi

大部分人会认为第1、2个是正确的,毕竟经常在各种 Shell Script 里面见到,虽然不一定明白一个方括号和两个方括号的区别。少部分人猜测第3、4个或许也是正确的,多数也仅仅只是猜测而已。但几乎所有的人认为第5个是错误的,因为从来没有见过 if 关键字后面可以用『花括号』作为语法的编程语言。

其实,所有的5个语法都是正确的。如果答案不是这个,说明对 Bash 的语法并不熟悉,甚至不了解。很遗憾的是,甚至市面上的一些有关 Unix/Linux 运维的技术书籍里面也有这样的错误,有从国外翻译的也有国人编写的。

如果一名开发者在对于一个编程语言了解极为有限,甚至连语法都不熟悉的情况下,是如何得出这个语言『很简单』、『仅适合简单的任务,不适合做复杂的工作』、『语法怪异』、『没有某某编程语言强大』等结论的?

我猜这来源于一个根深蒂固的认知,认为脚本和代码不一样,脚本更简单,无需编译就可以执行。比如 Java 代码需要用 javac 命令编译后,才能用 java 命令来执行,不可以像 Bash 这样直接运行。

下面这个截图没有做过任何的修改,从截图上可以看到 Java 代码可以像 Bash 脚本一样直接执行!这怎么可能?但是在我的电脑上可以随时演示这个奇怪的『真正的 Java Script』例子,因为我用了 Zsh 的一些特性来实现了直接执行 Java 代码的功能。我只是通过这个例子来展示代码和脚本其实是同样的东西! 脚本只是隐含了编译的过程,没有显式的编译并不意味着不需要编译,难道 CPU 可以直接执行脚本吗?别忘记在十多年前,我们不也把 Python,JavaScript 称作脚本语言吗?但现在都叫它们代码

下面是我拍摄的几本书里面关于 Bash if 语法错误的例子:

这里就不继续讨论了,我会在另一篇文章里来单独聊一下 Bash。

还需要掌握其他编程语言或标记语言

仅仅会用 Shell 是不够的,合格的运维工程师也需要了解并掌握其他语言,比如:Python、Perl、SQL、XML 等等。也包括一些 sedawk 这些命令也有自己的一套开发语言。

核心开发库

Java Development Kit(JDK)是 Java 开发的核心库,每一位合格的 Java 开发工程师都应该了解并掌握。那对于 Unix/Linux 运维工程师来说,运维工作的核心开发库是什么?

在学习 Java 的时候,我们花了绝大部分的时间在学习 JDK 上。那在学习 Shell 的时候,我们也不是一直在学习 Bash 的语法。虽然 Bash 的语法与其他编程语言有些不同,但也不多不复杂,只要花上几天也可以把所有语法了解完毕。那花了绝大部分的时间是在学习什么呢?是 Unix/Linux 的核心命令。

任何一个 Java 源码里面都会用到很多 JDK 里面的类库,同样,任何一个 Bash 脚本里面也会使用很多的 Unix/Linux 核心命令,比如 ls、cd、ps、grep、kill、cut、sort、uniq、wc、mkdir、rm、……。这些命令会随着 Unix/Linux 一起发布,随着系统一起更新。通常位于 /bin/usr/bin/sbin/usr/sbin 等路径中。

与 Java 开发类似,几乎没有谁可以记得 JDK 的所有包和类。同样的,对于运维工程师来说也很少有谁可以记得所有的 Unix/Linux 的核心命令以及每个命令的所有选项。但是作为合格的运维工程师,需要非常熟悉并掌握一些常用的核心命令,以及这些命令常用的选项参数。

资深的 Java 工程师需要了解 JDK 和 Java 虚拟机的一些高级知识。对于资深的运维工程师来说,也一样需要了解 Unix/Linux 的一些高级知识,比如信号、进程、内存管理、磁盘管理、RAID、防火墙、路由表等等。所以如果一名运维工程师不明白 HUP 信号,而到处使用 nohup 命令启动程序,或者不分青红皂白的总是使用 kill -9 来杀掉进程,很难相信他会是一名资深或者合格的运维工程师。

第三方类库

理论上,当一名运维工程师掌握了 Shell、其他编程语言以及Unix/Linux 的核心命令,他已经可以做几乎所有的运维工作了,但是将会花费他很多的精力和代价。比如要在不同的服务器之间同步文件,是可以通过 Shell 以及系统的核心命令来完成这个工作,但使用类似 rsync 这样的第三方工具会节省很多的时间和精力。

Unix/Linux 运维的第三方库就是不属于操作系统核心命令的那些命令,比如 rsync、 curl、zip、unzip、unrar、tmux、Xvnc、……等等,这些命令通常位于 /usr/bin/usr/local/bin 等路径中。这些第三方的工具可就非常的多了。

框架

Java 开发者有不少的 Java 开发框架可以使用,比如 Spring、Struts 什么的。那运维的框架有哪些呢?或者运维工作中有『框架』这样的工具吗?好像从来没有听说过。

让我们先看一下 Java 开发工程师使用的开发框架,这些框架提供了一些通用的功能,可以帮助我们去做一些重复的工作,但是与具体的业务无关。在运维工程师在工作中有哪些通用重复的工作呢?比如:在安装一个软件包之前,可能需要检查这个软件包是否已经安装;在启动一个服务之前,要检查这个服务是否已经启动;在修改用户密码之前,先检查用户的密码是不是就是当前就要修改的这个密码;在完成一系列的运维工作后,可能需要生成一份报表,在哪些服务器上做了哪些变更,哪些服务器出现了错误等等;……。

所以配置管理工具就好比运维工程师的开发框架,比如 PuppetChefAnsible 等等。框架与具体的业务无关,运维工程师需要在服务器上安装什么软件包、需要做什么配置变更、该向哪个进程发送什么信号,不会因为使用了配置管理工具就可以不用去做。也或者,配置管理工具虽然可以帮助运维工程师重启某个特定的服务,但对于自定义的应用来说,重启时该做什么操作、需要监控哪个进程、应该切换到哪个用户的权限下,这些工作还是需要运维工程师自己去实现。

以上列出了最基本的 Unix/Linux 运维工程师的技术栈,绝大部分的 Unix/Linux 运行环境都是基于这个技术栈来维护管理的。

基本的运行环境

对于运维工程师来说,最基本的管理环境就是一台独立的服务器、虚拟机、VPS、或者一个 Docker 容器等等。通常开发环境或者测试环境都运行在一个比较基本的运行环境中,如果没有太多的用户,也可以用于生产环境。

一旦要为更多的用户提供服务,一台或者几台服务器可能就不够了,需要更多的服务器、VPS、Docker 容器。

集群和高可用的运行环境

如果运行节点很多,环境也比较复杂,可能就需要比如 Amazon AWSOpenStackGoogle云端平台 等平台帮我们管理大规模的 VPS 环境。对于 Docker 容器,可能就需要 KubernetesDocker Swarm 等平台。

借助这些 IaaS 平台,不仅有了更灵活的管理、更高的可用性和安全性。运维工程师可以非常方便的把应用部署到一个集群中,或者一个简单的命令就可以增加或减少服务节点数量,监控和维护整个应用集群。

运维的工作环境

Java IDE 是 Java 开发工程师的工作环境,运维工程师的工作环境呢?有人会说是 Vim,因为很多的运维工程师在服务器上都是用 Vim 来修改配置文件的。Java 工程师可以在一个 Java IDE 中去完成几乎所有的开发工作,运维工程师可以不用退出 Vim 而完成几乎所有的工作吗?(如果是使用 Emacs 还是有可能的,但 Vim 真的有点儿够呛。开个玩笑,不是要在这里引发编辑器之战,但的确也是事实!)

事实上,运维工程师的工作环境就是操作系统的 Shell,对于 Unix/Linux 来说就是命令行 或者 GNOME 这类的图形用户界面

一名合格的运维工程师一定会非常熟悉他的工作环境的,如果一位 Windows 运维工程师不知道 Ctrl-xCtrl-vCtrl-z 等常用快捷键,很难相信他会是一位合格或者资深的 Windows 系统的运维工程师。有多少人知道可以在命令行进行剪切、粘贴、撤销等操作?

总结

Dev & Ops 技术栈对比

通过这个对比,可以帮助我们看清楚一些问题。比如有人会问,已经在项目中使用了 Kubernates,还有必要使用 Ansible 吗?这就好比已经在项目中使用了 JBoss,还有必要使用 Spring Framework 吗?还有人会问,Unix/Linux 的各种命令实在太多了,学习使用 Chef 是不是可以容易点儿?这就好比学习 JDK 的各种类库太多了,学习 Play Framework 是不是可以让开发更容易些?

基础技能

从这个对比可以看出,表格的上半部分是基础技能,不管是对于 Java 开发工程师还是 Unix/Linux 运维工程师。

如果一个团队的开发质量比较差,系统 bug 多,对这个团队进行三天的 WebSphere 或者 Tomcat 培训可以起多大的作用?运维工作的质量不高,系统不稳定,三天的 Docker 或者 Kubernates 培训能改善多少?想想看,在三天的 Docker、Kubernates 培训中,花在 Dockerfile 的 RUN 指令后面的脚本上的时间有多少?花在与命令行与各种奇怪问题斗争的时间有多少?

有很多资深的开发工程师在写代码的时候总是会记得重构代码、要解耦、注意好的命名,但一写 Shell 脚本就全都忘记了。别忘记,脚本就是代码,代码有各种臭味,脚本也有。

一名优秀的运维工程师一定是优秀的开发工程师,但优秀的开发工程师不一定是优秀的运维工程师。