在我们老家,一些私人的重要纪念日还是按照农历日期的,比如生日什么的。如果是一些公共的假期,比如中秋、端午还好说,有很多现成的公共农历日历。如果是自己关心的几个农历日期就要自己添加提醒了,尤其是要批量添加20、30年的农历日历提醒,而且每年好几个。

为了省事,有两个事情需要解决:

  • 获取特定农历日期对应的公历日期
  • 在命令行下添加一个提醒到 Google Calendar 或者 Apple Calendar

用 lunar 来获取农历和公历的对应日期

编译

在 Debian 的仓库里面有一个名为 lunar 的软件可以查询农历和公历的对应日期。这个软件非常的老了,最新的版本是2001年10月发布的 2.2 版本。能够查询的日期范围是1900年到2049年之间的。在 macOS 上需要自己下载编译,目前无法从 Debian 的 git 仓库中获取源码,还好有打包好的 lunar 源码可以下载。

下载并解压后,执行 make 命令即可。虽然可以看到很多的警告信息,但在源码目录下已经编译成功。


基本用法

使用上非常简单,直接执行会看到简单的帮助信息。

注意到有一个选项 -h 是输出中文信息的,但由于这个软件太过于『古老』,以至于没有支持 UTF-8。所以如果你的终端的字符集不是 GBK 或者 GB18030,在使用 -h 选项的时候需要用 iconv 命令来把输出转换为当前终端的字符集。

lunar -h 2019 10 13 | iconv -f gb18030

有一个比较有趣的选项是 -b 可以以『位图』的方式输出

查询公历对应的农历日期

比如:要查询2019年10月13日对应的农历日期

lunar 2019 10 13

可以看到那天是农历的九月十五日。

-i 选项来查询农历对应的公历日期

比如:要查询2019年农历九月十五日对应的公历日期

lunar -i 2019 9 15

使用 Fantastical2 来添加日历

我购买了 Fantastical 2 for Mac,这是一个非常易用的 macOS 桌面日历工具。有一些比较强大的功能,比如:

  • 支持自然语言来添加提醒
  • 跨日历合并相同的提醒
  • 支持 AppleScript
  • ……

给一个特定的日期添加一个提醒

只要在 Fantastical 的输入框里面输入一行文字,带上日期即可。要指定一个地点,就在用『at』加上地址。如果有多个不同的日历来源,希望添加到特定的日历中,那就在行首加上『/日历名称』。

只有日期没有具体的时间时,默认是全天的事项。由于 Fantastical2 对中文的自然语言其实是没有什么支持了,所以精准的时间还是别用自然语言了。

比如我的默认日历是『工作』,希望添加到『家庭』的日历,就在最前面添加『/家庭』。

把添加事项自动化!

在 Fantastical2 的帮助文档的与其他应用整合里面有提到多种自动化的添加方式,比如用 URL 的方式:

open "x-fantastical2://parse?s=/家庭 2018-6-7 6:45 在太原机场打印行程单"

这会直接打开 Fantastical 的快速添加窗口,按下回车键即可添加一个事项。

这需要我们手工确认一下!自动化一定是 100% 的,没有 99% 的自动化。还有有个 add 选项,用上选项 add=1 就可以直接添加事项而无需确认了。

open "x-fantastical2://parse?s=/家庭 2018-6-7 6:45 在太原机场打印行程单&add=1"

执行这个命令后就直接在『家庭』日历中添加了一个事项。看上去不错了,但有个问题是,每次执行了命令 Fantastical 的窗口都会打开。毕竟 open 命令就是打开应用程序的。

自动化的实现中还是要避免本没有必要显示的窗口。

用 AppleScript 来实现完全的自动化

在 Fantastical 的帮助文档中可以看到一个 AppleScript 的例子

tell application "Fantastical 2" 
    parse sentence "Wake up at 8am" 
end tell

要实现完全的自动化,就加上 with add immediately

tell application "Fantastical 2" 
    parse sentence "Wake up at 8am" with add immediately 
end tell

现在我们已经知道了所有需要的信息了,创建一个 AppleScript 脚本 fantastical.scpt,内容如下:

on run argv
  set query to (item 1 of argv)
  tell application "Fantastical" to parse sentence query with add immediately
  return "添加日历:" & query
end run

然后就可以用 osascript 来执行这个脚本,并加上我们要添加的事项。

osascript fantastical.scpt "/家庭 2018-11-4 9am 去买个蛋糕"

执行这个命令时,Fantastical 的窗口也没有打开,完美。

写个 Shell 通过 lunar、Fantastical 来按照农历日期批量添加事项提醒

虽然我们已经搞定了几乎所有的事情,也只需要用 osascript 这个命令一行就可以自动的添加提醒事项,但是我们需要总是记得这个 fantastical.scpt 脚本在哪里。我希望直接就执行一个命令,不要再带上路径什么的。虽然有 PATH 这个环境变量,但只是对命令生效。如何可以直接执行 fantastical.scpt 而无需带上路径呢?

Shebang!

我们可以在网络上搜索到很多的 AppleScript 的代码,发现里面的注释都是用类似 SQL 的方式,是两个短线 --。但其实 AppleScript 从 Mac OS X Leopard 发布的 2.0 版本开始就支持用 # 来做注释了,所以 Shebang (Unix)

在第一行添加上 #!/usr/bin/env osascript,并且给文件添加上可执行权限。

#!/usr/bin/env osascript

on run argv
  set query to (item 1 of argv)
  tell application "Fantastical" to parse sentence query with add immediately
  return "添加日历:" & query
end run

添加可执行权限

chmod +x fantastical.scpt

我习惯上把所有自己写的脚本都放到 $HOME/bin 这个目录中,并且这个目录也添加到了 PATH 环境变量里面。

把文件 fantastical.scpt 移动到 ~/bin 目录中,现在就可以直接执行啦!

mv fantastical.scpt ~/bin

fantastical.scpt "/家庭 2018-11-4 9:30 再去买一个蛋糕吧"

目前感觉已经不错了,可以无需确认的添加一个事项,而且 Fantastical 的窗口也不会打开,在执行命令的时候也不用指定路径了。

但还是有一点 小小的缺陷,就是 fantastical.scpt 其实只支持一个参数。就是说,在添加事项的时候,一定别忘记用引号,否则会出问题的。比如

fantastical.scpt 买个蛋糕 2018-11-4

其实真正传递给 Fantastical 的内容只有『买个蛋糕』,而没有后面的的日期。所以默认就是在当天添加了一个『买个蛋糕』的事项,这不是我们要的。

虽然记得加上引号不是什么问题,但我们还可以做的更好。

一个简单的解决办法就是用 AppleScript 把传递进来的 argv 数组用空格连接起来,而不是只是获取数组的第一个元素。但对于自动化的实现来说,还有一种常用的传递参数的方式,是通过管道来传递。这种方式用 AppleScript 麻烦了一些,用 Shell 就很容易了。

用 Shell 让自动化再完美一些

用 Shell 可以解决两个问题:

  • 把所有的参数用空格连接起来,作为一个参数传递给 fantastical.scpt
  • 可以把通过管道传递过来的数据,转换为调用 fantastical.scpt 的参数

把所有的参数打包作为一个参数

用 Shell 接受参数是很容易的,在脚本中使用 $1$2$3、…… 就可以获得第1、2、3、……个参数。说到这里,或许有人不知道如何获取第10个或者以上参数。难道不就是 $10 吗?还真的不是!

看下面的 Bash 脚本

#!/bin/bash

echo 第十个参数是 $10

就是直接输出第 10 个参数,如果执行命令

./test-parameter.sh 1 2 3 4 5 6 7 8 9 a b c d e f

是不是应该就是输出:第十个参数是 a?让我们执行一下看看效果。

结果竟然是『第十个参数是 10』!莫非是把 a 当做十六进制转换为十进制?其实在 Bash 中,第1-9个参数可以直接用 $ 加数字,但第10个及其以上,需要用花括号{}包含起来,所以正确的代码应该是:

#!/bin/bash

echo 第十个参数是 ${10}

再次执行

./test-parameter.sh 1 2 3 4 5 6 7 8 9 a b c d e f

就会看到正确的结果:第10个参数是 a

回到我们要解决的问题上,如何用 Bash 把接受到的所有参数用『空格』连接起来传递给 fantastical.scpt 呢?

很多人会知道在 Bash 下可以用 $@ 来代表所有的参数!

#!/usr/bin/env bash

fantastical.scpt "$@" # it's wrong

这样其实是不对的!有两个解决办法,一是先把$@赋值给一个变量,然后把变量传递给 fantastical.scpt

#!/usr/bin/env bash

QUERY="$@"
fantastical.scpt "$QUERY"

另一个办法是用 $*

#!/usr/bin/env bash

fantastical.scpt "$*"

以上两种方式可以任选一个。在 Bash 里面 $@$* 是不一样的,这里就不细谈了。

把通过管道接受的数据传递过去

通过管道传递的数据是无法用 $@ 或者 $* 来获取的,但是可以用 cat 来获取,代码如下:

#!/usr/bin/env bash
set -eu

QUERY="$(cat)"
"${BASH_SOURCE}.scpt" "$QUERY"

现在有了新问题,如何判断当前是要通过管道接受数据呢?通常情况下,通过管道接受数据的时候是没有参数的,所以一个办法就是通过内置变量 $# 来判断是否有参数。但这个判断并不准确,有时候我们需要在代码中判断如果没有任何选项参数的时候就显示一个简单的帮助信息。还有一个常见的判断方法就是利用 tty 这个命令。tty 会显示当前终端的名字,如果是通过管道接受数据,则会出错,显示 not a tty 的错误信息。

利用 tty 来区分是否从管道获取数据,代码如下

#!/usr/bin/env bash
set -eu

if tty; then
  QUERY="$@"
else
  QUERY="$(cat)"
fi

fantastical.scpt "$QUERY"

最后再改进一点儿,从管道获取数据的时候允许合并命令行上额外的参数,并且不显示 tty 的任何输出。

注意:IO 重定向 >/dev/null 2>&12>&1 >/dev/null 这两个是不同的。

#!/usr/bin/env bash
set -eu

QUERY="$@"

if ! tty >/dev/null 2>&1; then
  QUERY="$QUERY $(cat)"
fi

fantastical.scpt "$QUERY"

最后如果发现没有任何信息要添加,也就是变量 QUERY 为空值,那就显示帮助信息,搞定!

完整的脚本

这两个脚本都放置在 PATH 里面某一个目录中建议是 $HOME/bin,并且用 chmod +x fantastical* 设置可执行的权限。

fantastical

#!/usr/bin/env bash
set -eu

QUERY="$@"

if ! tty >/dev/null 2>&1; then
  QUERY="$QUERY $(cat)"
fi

if [[ -z "$QUERY" ]]; then
  echo "Usage: "
  echo "  $0 /家庭 2019-10-13 8am 记得去买个蛋糕"
  exit 1
else
  "${BASH_SOURCE}.scpt" "$QUERY"
fi

fantastical.scpt

#!/usr/bin/env osascript

on run argv
  set query to (item 1 of argv)
  tell application "Fantastical" to parse sentence query with add immediately
  return "添加日历:" & query
end run

开始执行

比如我要给每年的农历九月十五这一天加一个提醒

for YEAR in {2018..2049}; do
  fantastical "$(lunar -i $YEAR 9 15 | grep -m1 -Eo "[0-9]{4}\.[0-9]{1,2}\.[0-9]{1,2}")" 这一天是农历的九月十五; 
done

就这么几行代码,搞定!写 Shell 脚本是不是很简单呢?

写完这两个脚本,并添加所有的农历日期提醒,也就半个来小时,写文章就多半天过去了。

TL;DR

请直接跳到最后看总结。

Dev 与 Ops 的技术栈对比

DevOps 是最近几年非常流行的词汇,有越来越多的公司开始实践 DevOps,但如何可以真正的把 DevOps 做好呢?

我曾经和几个业内朋友聊过,为什么现在的 DevOps 培训关注在协作或者工具上?这些就是把 DevOps 做好落地所需要的吗?那几个朋友也同意,只是关注在协作和工具上是不够的。

首先,运维(Ops)是一个全面并复杂的工作,并不是把开发团队开发完成的应用部署到生产环境,如果出了问题就找开发团队来解决。运维包括了系统、网络、数据库、安全、开发等不同领域的工作。要把运维这个工作做好也不止是会一些工具这么简单的事情。其次,也不只有 DevOps 才关注团队之间的协作。如果协作和工具对于做好 DevOps 是足够的,就好比协作和开发语言或者框架对于做好开发是足够的。但我们都知道,对于开发来说,除了协作、编程语言、开发框架外还有不少很重要的技能,而这些技能也是区分资深开发工程师和初级工程师的标准之一。作为一名资深的开发工程师,除了基本的编程语言和框架外,还需要了解和掌握一些高级知识。比如资深的 Java 开发工程师需要了解并掌握反射、类加载、垃圾回收多线程开发、调试工具等等高级知识。这些高级知识可以帮助他们更好地处理一些疑难复杂问题,并构建更加健壮灵活的应用程序。而且也有越来越多的开发工程师开始意识到 TDD、重构这类工程实践可以帮助他们提升开发技能,以开发出代码质量更好,也易维护的应用。

对于 DevOps 来说,技术栈不仅仅包括开发和运维,还包括测试、安全、网络、业务等等领域,但开发和运维是相对重要的两个。对于提升开发质量的高级知识和技能,很多人都已经很熟悉了,但有哪些是做好运维的高级知识和技能呢?如果运维做不好,那也很难做好 DevOps 的落地实践。下面我们以 Java Web 开发工程师和 Unix/Linux 运维工程师为例,来做一个技术栈的对比。通过这个技术栈的对比,可以让我们更加清楚的看到做好运维的基础在哪里。

Java Web 开发技术栈

主要开发语言

对于 Java 开发工程师来说,哪个编程语言是主要开发语言呢?很显然是 Java。如果一个工程师的主要开发语言是 PHP,那他就是 PHP 开发工程师了。作为一名合格的 Java 开发工程师,显然要对 Java 语言非常熟悉。不需要对 Java 语言的每一个细节都了如指掌,但最起码对绝大多数的语法非常了解。很难想象一名对于 if 语句都不甚明了的 Java 开发工程师可以开发出高质量的 Java 应用。

还需要掌握其他编程语言或标记语言

Java 工程师在开发应用时只会用 Java 语言是不够的,还需要了解并掌握一些其他编程语言或标记语言。比如 SQL、JavaScript、CSS、HTML、XML 等等。如果使用了一些CSS框架,可能还要掌握 Less (层叠样式表) 或者 Sass

核心开发库

在学习 Java 编程的时候,主要是在学习什么?事实上Java 语法并不多、也不复杂,在几天内就可以把所有的语法学习完毕。那在学习 Java 编程的时候是在学习什么呢?其实是在学习 Java Development Kit(JDK),这是 Java 开发的核心开发库。在 JDK 中有非常多的包和类,几乎没人可以记得有哪些包,每个包里面有哪些类。但作为一名合格的 Java 开发者,一定会熟悉一些常用包,比如: java.lang、 java.util、 java.io 等等。同样的,也很少有人可以记得这些常用的包里面有哪些类,但一定非常熟悉一些常用的类及其方法,比如:java.lang.Stringjava.io.Filejava.util.HashMap 等等。

如果要开发嵌入式或者企业级 Java 应用,可能还要熟练掌握 Java ME 或者 Jakarta EE(以前的 Java EE、J2EE)

除了 JDK 的核心类库以外,资深的 Java 工程师还要了解很多 Java 虚拟机的相关知识。比如Java 内存模型垃圾回收、Java 的类加载、高效并发的 Java 多线程开发技术等等。

第三方类库

理论上,当一名 Java 开发工程师掌握了 Java 语法以及 JDK,并且也熟悉一些第三方的语言,他已经可以开发出几乎任何的 Java 应用程序了,虽然可能会花费比较多的精力和代价。我们可能会使用一些第三方的类库来避免『重新发明轮子』,比如 Apache CommonsGoogle GuavaSLF4J 等等。借助很多的第三方类库,Java 开发工程师可以非常方便的处理 Excel 文档、解码音频文件、校验 OpenPGP 签名、处理日志等等。这些第三方类库可能也依赖其他的类库,所以可能就需要 Apache Maven 或者 Gradle 来帮助进行依赖管理和构建。

框架

虽然有很多的第三方类库可以帮助 Java 开发工程师减少一些重复的代码开发工作,但是对于不同的项目可能会有一些类似的行为逻辑。比如对于绝大多数的 Web 项目,总是需要处理模板、数据与表单的绑定、异常的拦截和处理、权限和安全认证等等重复的工作,于是需要开发框架来简化这些重复的工作。开发框架与具体的应用和业务无关,但是实现了最为基本的软件架构和体系,并提供了通用的功能,以便让开发者关注在业务逻辑的实现上。所以,开发框架对于业务逻辑来说什么也没有做,开发工程师还是需要自己去实现所有的业务逻辑。常见的 Java 开发框架有 Spring FrameworkApache Struts 2Play Framework 等。

框架固然重要,但编程语言的基础和核心开发库的掌握更重要。尽管有的公司内部有自己开发框架,并且内部的开发框架也实现了一些通用的业务逻辑。但对于每一个特定的内部项目来说,还是需要开发工程师去实现这些特定的业务逻辑代码。

以上已经列出了最为基本的 Java Web 开发技术栈,绝大部分的 Java Web 应用都是基于以上的技术栈来开发的。

基本的运行环境

对于 Java Web 应用,最基本的运行环境有 Apache TomcatJetty 等。通常 Java 开发工程师会在开发环境、测试环境使用这些基本的运行环境来调试、测试应用程序。如果没有太多的用户,甚至也可以用到生产环境中。

一旦需要为更多的用户提供服务,单个的最基本的运行环境可能就不足以支撑了。

集群和高可用的运行环境

虽然也可以用 Tomcat 或者 Jetty 来搭建一个规模不大的集群环境,但是使用一些 Java 企业级应用服务器会让事情变的更简单,比如 IBM WebSphereOracle WebLogic ServerJBoss Enterprise Application Platform 等等。不仅有了更高的性能、更高可用性、增强的安全控制,也更方便的去管理和部署 Java 应用集群。

Java 的开发工作环境

作为一名 Java 开发工程师,平时的工作环境通常是在一个 Java 集成开发环境 中,可以是 IntelliJ IDEAEclipse 或者 NetBeans,甚至是使用 Vim 或者 Emacs 搭配一些 Java 开发相关的插件和命令行。不管是哪一个,至少一定会非常熟悉其中的一个。

资深的 Java 开发工程师可以在自己熟悉的开发环境中非常高效的工作,熟悉常用的配置、快捷键。通常通过观察一名 Java 开发工程师对于日常工作环境的熟练程度,基本上可以判断是否是一名经验丰富的开发工程师。

Unix/Linux 运维技术栈

主要的开发语言

Java 开发工程师的主要工作语言是 Java。那什么是 Unix/Linux 运维工程师的主要语言呢?有一些人会说是 Python,但其实应该是 Bash 或者其它某一个 Unix shell。对于这个结论,有些人可能会对此有些争议。现在我先简单的说明一下,首先 Bash 是一个 Shell,而 Python 不是。我们必须通过操作系统来使用计算机,但我们无法直接使用操作系统内核。Shell 是一个用户界面,用于访问操作系统内核所提供的服务,比如文件管理、进程管理等。其次 Bash 作为一个编程语言,绝大部分的人对 Bash 的语法了解比较有限。常见的一个误区是,认为 Bash 的语法比较奇怪。比如绝大部分编程语言的 ifwhile 等关键字后面是圆括号,而 Bash 用的是方括号 [ ],并且这个方括号和表达式之间必须有个空格,而且如果没有空格就会出现语法错误。如果认为这是 Bash 奇怪语法的一部分,那就完全错误了。

请看下面的 5 个 Bash if 语句的例子,这些语句之间的区别就是 if 后面的『括号』,哪些语法是正确的?

  1. if [ ... ]; then ...; fi
  2. if [[ ... ]]; then ...; fi
  3. if ( ... ); then ...; fi
  4. if (( ... )); then ...; fi
  5. if { ... }; then ...; fi

大部分人会认为第1、2个是正确的,毕竟经常在各种 Shell Script 里面见到,虽然不一定明白一个方括号和两个方括号的区别。少部分人猜测第3、4个或许也是正确的,多数也仅仅只是猜测而已。但几乎所有的人认为第5个是错误的,因为从来没有见过 if 关键字后面可以用『花括号』作为语法的编程语言。

其实,所有的5个语法都是正确的。如果答案不是这个,说明对 Bash 的语法并不熟悉,甚至不了解。很遗憾的是,甚至市面上的一些有关 Unix/Linux 运维的技术书籍里面也有这样的错误,有从国外翻译的也有国人编写的。

如果一名开发者在对于一个编程语言了解极为有限,甚至连语法都不熟悉的情况下,是如何得出这个语言『很简单』、『仅适合简单的任务,不适合做复杂的工作』、『语法怪异』、『没有某某编程语言强大』等结论的?

我猜这来源于一个根深蒂固的认知,认为脚本和代码不一样,脚本更简单,无需编译就可以执行。比如 Java 代码需要用 javac 命令编译后,才能用 java 命令来执行,不可以像 Bash 这样直接运行。

下面这个截图没有做过任何的修改,从截图上可以看到 Java 代码可以像 Bash 脚本一样直接执行!这怎么可能?但是在我的电脑上可以随时演示这个奇怪的『真正的 Java Script』例子,因为我用了 Zsh 的一些特性来实现了直接执行 Java 代码的功能。我只是通过这个例子来展示代码和脚本其实是同样的东西! 脚本只是隐含了编译的过程,没有显式的编译并不意味着不需要编译,难道 CPU 可以直接执行脚本吗?别忘记在十多年前,我们不也把 Python,JavaScript 称作脚本语言吗?但现在都叫它们代码

下面是我拍摄的几本书里面关于 Bash if 语法错误的例子:

这里就不继续讨论了,我会在另一篇文章里来单独聊一下 Bash。

还需要掌握其他编程语言或标记语言

仅仅会用 Shell 是不够的,合格的运维工程师也需要了解并掌握其他语言,比如:Python、Perl、SQL、XML 等等。也包括一些 sedawk 这些命令也有自己的一套开发语言。

核心开发库

Java Development Kit(JDK)是 Java 开发的核心库,每一位合格的 Java 开发工程师都应该了解并掌握。那对于 Unix/Linux 运维工程师来说,运维工作的核心开发库是什么?

在学习 Java 的时候,我们花了绝大部分的时间在学习 JDK 上。那在学习 Shell 的时候,我们也不是一直在学习 Bash 的语法。虽然 Bash 的语法与其他编程语言有些不同,但也不多不复杂,只要花上几天也可以把所有语法了解完毕。那花了绝大部分的时间是在学习什么呢?是 Unix/Linux 的核心命令。

任何一个 Java 源码里面都会用到很多 JDK 里面的类库,同样,任何一个 Bash 脚本里面也会使用很多的 Unix/Linux 核心命令,比如 ls、cd、ps、grep、kill、cut、sort、uniq、wc、mkdir、rm、……。这些命令会随着 Unix/Linux 一起发布,随着系统一起更新。通常位于 /bin/usr/bin/sbin/usr/sbin 等路径中。

与 Java 开发类似,几乎没有谁可以记得 JDK 的所有包和类。同样的,对于运维工程师来说也很少有谁可以记得所有的 Unix/Linux 的核心命令以及每个命令的所有选项。但是作为合格的运维工程师,需要非常熟悉并掌握一些常用的核心命令,以及这些命令常用的选项参数。

资深的 Java 工程师需要了解 JDK 和 Java 虚拟机的一些高级知识。对于资深的运维工程师来说,也一样需要了解 Unix/Linux 的一些高级知识,比如信号、进程、内存管理、磁盘管理、RAID、防火墙、路由表等等。所以如果一名运维工程师不明白 HUP 信号,而到处使用 nohup 命令启动程序,或者不分青红皂白的总是使用 kill -9 来杀掉进程,很难相信他会是一名资深或者合格的运维工程师。

第三方类库

理论上,当一名运维工程师掌握了 Shell、其他编程语言以及Unix/Linux 的核心命令,他已经可以做几乎所有的运维工作了,但是将会花费他很多的精力和代价。比如要在不同的服务器之间同步文件,是可以通过 Shell 以及系统的核心命令来完成这个工作,但使用类似 rsync 这样的第三方工具会节省很多的时间和精力。

Unix/Linux 运维的第三方库就是不属于操作系统核心命令的那些命令,比如 rsync、 curl、zip、unzip、unrar、tmux、Xvnc、……等等,这些命令通常位于 /usr/bin/usr/local/bin 等路径中。这些第三方的工具可就非常的多了。

框架

Java 开发者有不少的 Java 开发框架可以使用,比如 Spring、Struts 什么的。那运维的框架有哪些呢?或者运维工作中有『框架』这样的工具吗?好像从来没有听说过。

让我们先看一下 Java 开发工程师使用的开发框架,这些框架提供了一些通用的功能,可以帮助我们去做一些重复的工作,但是与具体的业务无关。在运维工程师在工作中有哪些通用重复的工作呢?比如:在安装一个软件包之前,可能需要检查这个软件包是否已经安装;在启动一个服务之前,要检查这个服务是否已经启动;在修改用户密码之前,先检查用户的密码是不是就是当前就要修改的这个密码;在完成一系列的运维工作后,可能需要生成一份报表,在哪些服务器上做了哪些变更,哪些服务器出现了错误等等;……。

所以配置管理工具就好比运维工程师的开发框架,比如 PuppetChefAnsible 等等。框架与具体的业务无关,运维工程师需要在服务器上安装什么软件包、需要做什么配置变更、该向哪个进程发送什么信号,不会因为使用了配置管理工具就可以不用去做。也或者,配置管理工具虽然可以帮助运维工程师重启某个特定的服务,但对于自定义的应用来说,重启时该做什么操作、需要监控哪个进程、应该切换到哪个用户的权限下,这些工作还是需要运维工程师自己去实现。

以上列出了最基本的 Unix/Linux 运维工程师的技术栈,绝大部分的 Unix/Linux 运行环境都是基于这个技术栈来维护管理的。

基本的运行环境

对于运维工程师来说,最基本的管理环境就是一台独立的服务器、虚拟机、VPS、或者一个 Docker 容器等等。通常开发环境或者测试环境都运行在一个比较基本的运行环境中,如果没有太多的用户,也可以用于生产环境。

一旦要为更多的用户提供服务,一台或者几台服务器可能就不够了,需要更多的服务器、VPS、Docker 容器。

集群和高可用的运行环境

如果运行节点很多,环境也比较复杂,可能就需要比如 Amazon AWSOpenStackGoogle云端平台 等平台帮我们管理大规模的 VPS 环境。对于 Docker 容器,可能就需要 KubernetesDocker Swarm 等平台。

借助这些 IaaS 平台,不仅有了更灵活的管理、更高的可用性和安全性。运维工程师可以非常方便的把应用部署到一个集群中,或者一个简单的命令就可以增加或减少服务节点数量,监控和维护整个应用集群。

运维的工作环境

Java IDE 是 Java 开发工程师的工作环境,运维工程师的工作环境呢?有人会说是 Vim,因为很多的运维工程师在服务器上都是用 Vim 来修改配置文件的。Java 工程师可以在一个 Java IDE 中去完成几乎所有的开发工作,运维工程师可以不用退出 Vim 而完成几乎所有的工作吗?(如果是使用 Emacs 还是有可能的,但 Vim 真的有点儿够呛。开个玩笑,不是要在这里引发编辑器之战,但的确也是事实!)

事实上,运维工程师的工作环境就是操作系统的 Shell,对于 Unix/Linux 来说就是命令行 或者 GNOME 这类的图形用户界面

一名合格的运维工程师一定会非常熟悉他的工作环境的,如果一位 Windows 运维工程师不知道 Ctrl-xCtrl-vCtrl-z 等常用快捷键,很难相信他会是一位合格或者资深的 Windows 系统的运维工程师。有多少人知道可以在命令行进行剪切、粘贴、撤销等操作?

总结

Dev & Ops 技术栈对比

通过这个对比,可以帮助我们看清楚一些问题。比如有人会问,已经在项目中使用了 Kubernates,还有必要使用 Ansible 吗?这就好比已经在项目中使用了 JBoss,还有必要使用 Spring Framework 吗?还有人会问,Unix/Linux 的各种命令实在太多了,学习使用 Chef 是不是可以容易点儿?这就好比学习 JDK 的各种类库太多了,学习 Play Framework 是不是可以让开发更容易些?

基础技能

从这个对比可以看出,表格的上半部分是基础技能,不管是对于 Java 开发工程师还是 Unix/Linux 运维工程师。

如果一个团队的开发质量比较差,系统 bug 多,对这个团队进行三天的 WebSphere 或者 Tomcat 培训可以起多大的作用?运维工作的质量不高,系统不稳定,三天的 Docker 或者 Kubernates 培训能改善多少?想想看,在三天的 Docker、Kubernates 培训中,花在 Dockerfile 的 RUN 指令后面的脚本上的时间有多少?花在与命令行与各种奇怪问题斗争的时间有多少?

有很多资深的开发工程师在写代码的时候总是会记得重构代码、要解耦、注意好的命名,但一写 Shell 脚本就全都忘记了。别忘记,脚本就是代码,代码有各种臭味,脚本也有。

一名优秀的运维工程师一定是优秀的开发工程师,但优秀的开发工程师不一定是优秀的运维工程师。

我写了一个 Alfred Workflow,用于新建和加入 Zoom 会议。
现在支持免费和付费帐号,如果没有登录也可以直接进入会议。

使用方法:
1、直接在 Alfred 里面粘贴 Zoom 的会议链接,按下回车就可以自动加入会议。如果 Zoom 还没有运行,也会自动运行起来。
2、 直接在 Alfred 里面粘贴 Zoom 的会议链接后,按下 Command 键会 新建一个会议,而不是加入现有的会议。并且会自动把新建的会议的 url 放入剪贴板,我们只要直接粘贴就可以。
3、有 `zm` 关键字,直接按下回车就是新建一个会议;
4、在 `zm` 关键字后面可以继续添加 meeting id,按下回车会自动加入;
5、在 `zm` 关键字后面无论是否有 meeting id,按下 Command 键都会新建一个会议。

源码:https://github.com/chaifeng/alfred-zoomus

下载:https://github.com/chaifeng/alfred-zoomus/releases

This Alfred Workflow is used to start or join a Zoom meeting.

Support free or paid account, you can join a meeting without logged in

Usage:

  1. Paste a Zoom meeting URL in Alfred directly, press Enter, this will join an existing meeting.
  2. Paste a Zoom meeting URL in Alfred, press Command + Enter, it will start a new meeting. And put the URL of this new meeting into your clipboard automatically.
  3. A new keyword “zm” is used to start a new meeting.
  4. Append an existing Zoom meeting ID after the keyword “zm”, it will join this meeting.
    for examples: zm 123-456-789, zm 123456789
  5. Whether or not there is a meeting ID after keyword zm,press Command + Enter will always start a new meeting.

Source code: https://github.com/chaifeng/alfred-zoomus

Download: https://github.com/chaifeng/alfred-zoomus/releases

在上世纪90年代的时候,PC 开始逐步走到我们的生活中。那时除了 PC 还有一个名词叫做 MPC,这是 Multimedia PC 的缩写,也就是『多媒体个人电脑』。

在当时,PC 给人的感觉是字符界面下的文字以及科学计算。虽然在 1995年的时候,Windows 95 已经发布。不过不要说播放视频了,就算听 MP3 都会卡顿。所以如果给一台 PC 添加了一个 CDROM、一个声霸卡以及用于解压电影的『硬解压卡』就可以让一台『普通』的 PC 做更多的多媒体的工作。于是就升级为『多媒体 PC』,也就是 MPC。在当时 MPC 还有级别之分,根据 CPU 的主频、内存、显卡支持的颜色数量等等指标来划分。

很快的,MPC 这个名字就淡出了我们的记忆。大概在1997、98年之后,已经很难看到这个名词了,因为那时的硬件性能遵循着摩尔定律在高速的发展中。已经无需添置硬解压卡就能看电影,CDROM 和声卡都已经成标配。现在对于一台 PC 可以做文字处理、科学计算、看电影、玩游戏、上网聊天就已经最为基本的功能了。PC 就是 PC!

从功能单一枯燥的 PC 和多媒体的 MPC,慢慢的,就只有了 PC。对于用户来说,在 PC 上可以编辑文字、播放音乐、修改图片、看电影、玩游戏是再普通不过的功能了。至于『MPC』是什么?1990年后出生的程序员们已经几乎没有谁知道了。

而在『MPC』的时代,会有『前端程序员』或者『后端程序员』吗?。在那时只有程序员,或者软件工程师。程序员要和客户沟通需求、写代码、做测试。当然也要自己搞定客户端和服务端。除了开发相关的工作外,还要做程序的安装、系统的配置和调优。知道如何启用 386 增强模式,如何使用高位内存。不要说配置防火墙和路由器了,连网线都会做。当时的网线可能都是同轴电缆,而且必须接上终结头,否则网络都不通。或许有人还记得『星型网络』或者『环形网络』。所以,以前的程序员真的是要会修电脑,而且很多程序员都以此为乐趣。甚至还有朋友会找程序员修电视,因为电脑也有个显示屏,和电视都很像。连电脑这么高科技的都会修,电视还能不会修?

在20世纪90年代后期,互联网开始迅速的发展起来。很快的,IT 就发展到我们的身边每一个角落了。软件的规模也越来越大,越来越复杂,程序员的职业开始细分。比如在2000年左右的时候,DBA 是一个非常热门的职业。如果你有了 DBA 的证书,你可以很容易的找到收入很高的工作。因为程序规模开始变大变复杂,独立的测试团队也开始出现。而且越来越多的公司开始需要网络工程师来负责和管理开始变得复杂的网络。运维团队也慢慢出现,负责软件的部署和维护。到了 2004 年,AJAX 技术是当年最重要的新技术之一。使用 AJAX,程序员可以开发出更加易用的 Web 前端,基于 AJAX 也出现了很多新的 Web 开发技术。如果一个程序员喜欢去做好的用户交互界面,就成为了前端工程师。还有一些程序员只喜欢和电脑打交道就成为了后端工程师。我们的开发团队就开始有前端程序员和后端程序员了。现在甚至有不同种类的前端工程师,React、AngulaJS、Android、iOS。

软件的规模越来越大、越来越复杂,但是程序员关注的范围却是越来越小。做前端的不懂后端,做后端的不了解前端。开发中的沟通成本和复杂就变得越来越高,随着互相的不了解,前端程序和后端程序在集成的时候就特别容易出现问题,很多软件的缺陷就因此而产生。如果一个程序员既了解前端也会做后端,是可以避免这种集成的问题的。为了减少因为沟通和理解造成的软件缺陷,『全栈工程师』就出现了,作为一名全栈工程师,不要求我们精通包括前端、后端、测试、运维等技术的方方面面,但一定要所有了解,一专多能,起码不会因此而出现沟通上的理解偏差。很多公司里面,全功能团队也在逐步的取代特性开发团队。

这个事情很有趣,以前会修电脑会做客户端服务端会网络会调优的程序员,慢慢的变成了,只会开发前端和后端或者会开发的不会运维的程序员。而那种什么也会做的就是『全栈工程师』。相信有越来越多的程序员希望成为『全栈工程师』,『全栈工程师』这个词也会消失。『全栈工程师』就像是20年前的『MPC』。

快捷办法就是直接找现成的:

  1. Opera Developer 最新版内置了 VPN,而且还是免费的。还支持选择不同地区的服务器,目前看来只有三个地区。下载 http://www.opera.com/developer,在2016年4月23日的最新版是 38.0.2205.0。
  2. 有个专用于外贸的 Chrome 修改版,貌似只有 Windows 版本,在 http://mychrome.cn
  3. 有个叫『灯笼』的软件,与洋葱不太一样,在 https://getlantern.org/
    1. 这是个开源的,如果无法下载就去官方仓库看看 https://github.com/getlantern/lantern-binaries
    2. 在官方仓库还有一些好用的地址 https://github.com/getlantern/mirror
      1. 提醒一下,每隔5分钟,这个页面上的链接都会被更新。
      2. 如果这个页面无法访问,我们可以注册一个用于收藏文章的服务,可以通过邮箱把目标页面的地址发过去,然后你就看到页面上的内容了。比如 How to save to Pocket via email
    3. 这个也有安卓的版本
    4. 还附带了一个上国外微博的 https://firetweet.io/
  4. 注意以下几点
    1. 建议通过官方链接下载,我们无法保证从第三方下载的会不会被修改过
    2. 并且确认是 https 协议
    3. 而且浏览器没有提示证书问题

购买现成的 VPN、代理等服务不是说不行,只是有点鱼龙混杂。我相信,有很多是不太安全的,还是建议自己购买 VPS 搭建一个。

而且购买 VPS 也不是很贵,一年3百多人民币可以搞定,有的 VPN 服务商的价格也超过一个便宜的 VPS 了。当然了,这些服务商会很专业,有多地的服务器可供你选择。

19. March 2014 · Write a comment · Categories: 技术文章 · Tags:

3月9日星期天举行了太原 QClub 社区在2014年的第一次活动,这次是在太原理工大学迎西校区的学术交流中心,所以活动现场的学生就占了绝大多数。大概到场人数有50人,除了工大的同学之外,还有一些职业程序员。我们还准备了5本签名版的《MacTalk:人生元编程》作为小礼品。

这次的活动主题是聊一聊2014年我们程序员该关注哪些技术,考虑到同学们估计比较多,所以还有一个面向同学们的话题是雷晓宝分享的《大学计算机课程与实践》。首先是我分享了一个云计算的普及话题,IaaS、PaaS、SaaS 分别为我们解决了什么问题?很多同学都认为云计算就是一堆虚拟机,也确实没错,绝大多数的云计算都有虚拟化的应用。而且虚拟化也确实是云计算中一个重要的技术,但仅仅虚拟化是不够的,用虚拟机代替物理机也不是云计算的全部。这些名词或技术的出现,一定是为我们解决了某一方面的问题。然后我用了一些比喻和例子给同学们分享了一下这三个名词分别做了什么。随后就是雷晓宝同学的《大学计算机课程与实践》的话题了,在这个话题中晓宝分享了计算机专业的一些理论课程分别对应在平时实际使用的哪些技术上,也提到了 IT 行业中不同的工作需要侧重哪些不同的技术。这个话题其实是比较大的,而且内容也很多,足足分享了一个多小时。最后就是解读 ThoughtWorks 的 2014 年第一季度技术雷达,TW 的技术雷达可以说是 IT 行业的风向标。因为涉及的内容非常多,所以我们精选了一些比较有趣的内容。比如移动设备的持续交付、客户机和服务器使用相同的代码(我们在去年的一次活动上就是一起写代码研究这个技术)、云开发环境、JavaScript 的依赖管理、Docker、Clojure、CoffeeScript、等等。活动的过程中,有5位同学与我们的讲师互动,幸运的获得《MacTalk:人生元编程》,在 5点半的时候结束当天的活动。最后我们还和几位热心的同学一起聚餐,又聊到晚上8点多。

话不多说,上图:

在前几天刚刚闭幕的 QCon 北京大会最后一天下午,有几场小型的演讲。其中,国内知名的安全专家、微信“道哥的黑板报”的作者道哥就分享了一个有关黑客的话题,现场观众们不时的发出一阵阵的惊呼。关于安全呢,我也不算是小白。在大学以及刚毕业两三年的时候,对安全领域还是很关心的,也见到并认识了不少国内安全领域的朋友们。随着在二线城市苦逼的 Java 码农日子一天天的混下去,我已经渐渐远离这一领域,但是很多安全的习惯还基本保留着。

道哥在 QCon 上就说到,他的电脑一直就是裸奔的,也就是没有安装任何的安全防护软件。我在 06 年之前主要使用 Windows XP,就是裸奔的。一是因为机器配置低;二是也没啥必要;三是 Linux 内核与笔记本上的某个芯片组不太兼容,会时不时的死机。07年之后,我就全面切换到 Linux 下工作和娱乐,这就更是裸奔了。在 2010 年的 QCon 北京大会的某一天晚餐后,我遇见了国内技术领域的大牛周爱民,我们相谈甚欢,和大众点评、百姓网的几位朋友一直聊到凌晨2点。那个晚上我就提到了平时我是怎样注重网络安全和隐私的,记得当时他们用“变态”一词来形容我。

又回到今年 QCon 闭幕的第二天,我在地铁上犯了安全大忌,连接了一个未知的 WiFi,并发了一条微博。很快大连的谊昌老兄就立刻回复我说“看了昨天道哥的演讲后,俺决定再也不连自己不清楚的wifi了~”,这个我得承认,当时没有开启 VPN。虽然这个 WiFi 的名称是 “AndroidAP”,但是不能保证这是一个普通的 Android 手机。

说了这么多,想必很多人已经知道不能随便连接免费的 WiFi,但是他们却很放心的连接酒店里提供的网络。事实上,免费的 WiFi 背后不一定都是坏人,但是国内酒店网络的背后则一定是不安全的,泄露自己的隐私的几率一定是 100%,你的一举一动都在老大哥的眼皮底下。

回到酒店后,我决定把酒店网络背后的东西拿出来给大家看看。这里就不讨论如何入侵酒店的网络和后台,只给大家看看背后的这一个管理平台。

正题开始……

酒店里上网可能会需要密码,就在这里设定的。当时我入住的就是 2111 这个房间,第一个密码显然是前一个入住客人的,酒店前台没有删除。第二个密码是在我办理入住的时候设定的,但是我一直没有使用过。

20130430161855

 

还能看到 IP 地址与个人的关系。

20130430164951

 

在这里还能获取到入住客人的身份证信息,省略省略

20130430162203

 

一旦你连入酒店网络,你的哪些隐私会被泄露呢?哇哦,有个用户上网日志查询,就是这里,但是还需要一个密码。这个密码应该是给平平和安安用的,要不酒店的前台就能随便看了。而且这个密码或许是个比较复杂的,md5 的哈希值是 47e57be0904ce7174115a08cb1a1e304,我用几个在线的 md5 数据库都没有查到对应的明文,如果有查到的朋友还望不吝告知。大家看到这里不要失望,跳过去也是很容易的,略过不表,且看下文。

20130430201827

 

输入了查询密码后就能查询用户上网日志了,看看吧,会不会让你的后背发凉?搞不明白的是,为啥还要监控这几个游戏呢?

20130430163934

 

 

给大家看看 MSN 的日志,查询了最近三天的记录,只有一条。结合前面的用户管理功能,我很容易知道这个 MSN 的主人是谁。

20130430164333

 

哈哈,肯定有人迫不及待的想知道 QQ 的搜索结果,给大家看两条,关键字2那里就是 QQ 号码。同理,结合房间号,嗯嗯,哈哈。

20130430164645

 

还有网站浏览记录,这里只记录了域名,显然酒店员工黑夜就是去youku看看视频。

20130430203804

 

看看电子邮件的记录,2221 这个客房的客人真是发了好多啊,应该是给公司同事群发的。

20130430203144

 

FTP 的日志,关键字1就是 IP,关键字2就是用户名

20130430203503

 

还有个系统用户日志查询,记录的还挺详细。

20130430202922

 

20130430202650

 

管理界面里还有系统设置,我们再去看看。有个 VIP 主机的设置,应该就是设置不纳入计费范围的,反正我是把自己电脑的 MAC 地址填入这里,就直接上网了,当然了,这个 MAC 地址是伪造的啦。再没有弹出需要密码的页面,至于监控与否就不清楚了。

20130430165554

 

 

这里可以设置哪些 IP 段需要认证,我把起始IP修改到了 192.168.50.3,把自己电脑的 IP 设置为 192.168.50.2,好像是不能上网的。

20130430165956

 

 

有一个关键的设置,一定是大家很感兴趣的,就是这些信息被传送到什么地方呢?答案就在这里,有兴趣的朋友可以去研究研究哈。

20130430170257

 

呸,网络神探

20130430170815

 

还有一个设置应该是配合网络神探使用的,估计要是我修改了这里的设置,我用自己的电脑就能监控整个酒店的网络了,嗯,或许吧。

20130430204216

 

大家可能感兴趣的内容大概就这些吧,记住了,在酒店上网一定要开启 VPN。建议使用 OpenVPN,如果 OpenVPN 的服务器端口是 80 就更好了。

强烈建议大家禁止系统中的 CNNIC 的根证书,在酒店的这个网络环境中,很容易实现中间人攻击。

另外,酒店应该不会记录很详细的网络内容,因为这个会占用大量的存储空间,除非触发了敏感词。平平和安安要求保留至少90天的记录,如果记录下详细的内容,可能会占用大量的存储空间。

 

Dreamhost 的空间就要到期了,实在无法忍受在中国访问的龟速了。

昨天正式迁移到 Linode 东京机房,速度那叫一个爽,基本上带宽全占满。

前天是女性朋友的节日,大早上的写了一个段子,昨天竟然发现上了新浪微博的热门,Cooooool。

兜兜的照片也好久不放了,很纠结,担心万一被坏人利用把我家兜兜给骗走。

这一次的 QClub 活动是我的老东家山西鑫慧林赞助的,本来打算邀请两位讲师,后来一位来自北京的讲师因为时间和行程问题,最终只邀请到 Tinyfool 一人。不过 Tinyfool 还是很给力的,一口气说了一个半小时,最后意犹未尽的结束演讲。微博上也有朋友戏言,太原一时伞贵啊 http://weibo.com/1400229064/z1najn7yL

这次活动到场将近40人,其中有几位山大的学生,当然还是出现了一些新面孔。本来预定的是一楼的100人会场,但是因为会场工作人员的失误,让我们和另外一个会议冲突了,于是就把我们安排在三楼的大会议室,结果诺大的会议室坐着3、40人显得空空荡荡。在照片中看到人不多,细数下来也将近40人。

Tinyfool 演讲完毕后,赞助商买了不少的啤酒,给 Tinyfool 单独准备了一瓶竹叶青。大家一起喝酒聊天,聊的是不亦乐乎。

Tinyfool 的微博上也分享了他的首次太原之旅 http://weibo.com/1400229064/z1Z5lykVU

 

把基本情况先简述一下,首先是周六太原大雨,影响了到场率,不过还是有将近40人,而且还看到一些新面孔。其次是两位讲师的话题都很给力,演讲都超时,而且QA环节大家都很踊跃的提问。郭振的话题用了1个半小时才结束,张龙的话题更是达到了2个小时。最后5点50结束本次活动。

以下文绉绉的总结出自专业编辑李洋之手:

7月21日,QClub太原站如期在山西出版传媒集团一楼会议室举行,这已经是QClub第三次来到太原举行活动。今天的龙城太原下起雨来,这给炎炎夏季带来了丝丝凉意;而这场期盼已久的QClub技术社区活动对于技术相对滞后的太原地区而言,也是如同久旱逢甘霖一般及时与酣畅。此次活动中,增添了很多新的面孔,他们为QClub太原站社区活动添加了新的血液与活力。

大雨并没有浇灭前来参加活动人们的热情,在不小的会议室当中坐得是满满当当。技术开发人员也都希望在这场难得的“Android应用开发”的主题讲座中汲取自己所需要的养分并希望借此来解决在工作中所遇到的实际问题。好了,我们现在直入主题,看看讲师们今天会给我们分享那些先进理念与经验以及会带给我们哪些意想不到的惊喜!

首先是来自盛大创新院的高级研究员、乐众ROM项目组总架构师郭振分享的 Android 备份框架的架构与设计,以及如何将自己的服务集成到 Android 系统中。此次活动有一点明显地改善就是参与者的积极性与主动性较前两次有了显著地提高。在互动环节当中,参与者与讲师之间的交流更加自然,提问也是更加踊跃,奖品更是抢手……

接下来是联想集团全球应用开发部的高级工程师、InfoQ翻译团队编辑张龙分享的Android跨进程通信机制与AIDL,介绍了Activity与Service之间的通信原理。张龙这个名字,大家一定不陌生,这已经是第二次来到太原与大家分享经验,算是QClub太原站的老朋友了。大家对于张龙刚刚翻译出版的《Android Web应用高级编程》这本书产生了浓厚的兴趣,这本书涉及到一些跨平台移动开发技术的内容。这本书也是作为活动中的奖品来发放,在互动过程中大家的热情都很高涨,很想要获得这本精美IT图书,因此互动问答过程就格外积极与踊跃!

这已经是山西书海数字网络传媒科技有限责任公司第三次成功举办QClub太原站活动了,书海传媒对于推动太原地区IT技术交流,应该说是功不可没。最后,我们还是要再次感谢QClub太原站活动的本地赞助商——书海传媒的鼎力支持。