19. March 2014 · Write a comment · Categories: 技术文章 · Tags:

3月9日星期天举行了太原 QClub 社区在2014年的第一次活动,这次是在太原理工大学迎西校区的学术交流中心,所以活动现场的学生就占了绝大多数。大概到场人数有50人,除了工大的同学之外,还有一些职业程序员。我们还准备了5本签名版的《MacTalk:人生元编程》作为小礼品。

这次的活动主题是聊一聊2014年我们程序员该关注哪些技术,考虑到同学们估计比较多,所以还有一个面向同学们的话题是雷晓宝分享的《大学计算机课程与实践》。首先是我分享了一个云计算的普及话题,IaaS、PaaS、SaaS 分别为我们解决了什么问题?很多同学都认为云计算就是一堆虚拟机,也确实没错,绝大多数的云计算都有虚拟化的应用。而且虚拟化也确实是云计算中一个重要的技术,但仅仅虚拟化是不够的,用虚拟机代替物理机也不是云计算的全部。这些名词或技术的出现,一定是为我们解决了某一方面的问题。然后我用了一些比喻和例子给同学们分享了一下这三个名词分别做了什么。随后就是雷晓宝同学的《大学计算机课程与实践》的话题了,在这个话题中晓宝分享了计算机专业的一些理论课程分别对应在平时实际使用的哪些技术上,也提到了 IT 行业中不同的工作需要侧重哪些不同的技术。这个话题其实是比较大的,而且内容也很多,足足分享了一个多小时。最后就是解读 ThoughtWorks 的 2014 年第一季度技术雷达,TW 的技术雷达可以说是 IT 行业的风向标。因为涉及的内容非常多,所以我们精选了一些比较有趣的内容。比如移动设备的持续交付、客户机和服务器使用相同的代码(我们在去年的一次活动上就是一起写代码研究这个技术)、云开发环境、JavaScript 的依赖管理、Docker、Clojure、CoffeeScript、等等。活动的过程中,有5位同学与我们的讲师互动,幸运的获得《MacTalk:人生元编程》,在 5点半的时候结束当天的活动。最后我们还和几位热心的同学一起聚餐,又聊到晚上8点多。

话不多说,上图:

在前几天刚刚闭幕的 QCon 北京大会最后一天下午,有几场小型的演讲。其中,国内知名的安全专家、微信“道哥的黑板报”的作者道哥就分享了一个有关黑客的话题,现场观众们不时的发出一阵阵的惊呼。关于安全呢,我也不算是小白。在大学以及刚毕业两三年的时候,对安全领域还是很关心的,也见到并认识了不少国内安全领域的朋友们。随着在二线城市苦逼的 Java 码农日子一天天的混下去,我已经渐渐远离这一领域,但是很多安全的习惯还基本保留着。

道哥在 QCon 上就说到,他的电脑一直就是裸奔的,也就是没有安装任何的安全防护软件。我在 06 年之前主要使用 Windows XP,就是裸奔的。一是因为机器配置低;二是也没啥必要;三是 Linux 内核与笔记本上的某个芯片组不太兼容,会时不时的死机。07年之后,我就全面切换到 Linux 下工作和娱乐,这就更是裸奔了。在 2010 年的 QCon 北京大会的某一天晚餐后,我遇见了国内技术领域的大牛周爱民,我们相谈甚欢,和大众点评、百姓网的几位朋友一直聊到凌晨2点。那个晚上我就提到了平时我是怎样注重网络安全和隐私的,记得当时他们用“变态”一词来形容我。

又回到今年 QCon 闭幕的第二天,我在地铁上犯了安全大忌,连接了一个未知的 WiFi,并发了一条微博。很快大连的谊昌老兄就立刻回复我说“看了昨天道哥的演讲后,俺决定再也不连自己不清楚的wifi了~”,这个我得承认,当时没有开启 VPN。虽然这个 WiFi 的名称是 “AndroidAP”,但是不能保证这是一个普通的 Android 手机。

说了这么多,想必很多人已经知道不能随便连接免费的 WiFi,但是他们却很放心的连接酒店里提供的网络。事实上,免费的 WiFi 背后不一定都是坏人,但是国内酒店网络的背后则一定是不安全的,泄露自己的隐私的几率一定是 100%,你的一举一动都在老大哥的眼皮底下。

回到酒店后,我决定把酒店网络背后的东西拿出来给大家看看。这里就不讨论如何入侵酒店的网络和后台,只给大家看看背后的这一个管理平台。

正题开始……

酒店里上网可能会需要密码,就在这里设定的。当时我入住的就是 2111 这个房间,第一个密码显然是前一个入住客人的,酒店前台没有删除。第二个密码是在我办理入住的时候设定的,但是我一直没有使用过。

20130430161855

 

还能看到 IP 地址与个人的关系。

20130430164951

 

在这里还能获取到入住客人的身份证信息,省略省略

20130430162203

 

一旦你连入酒店网络,你的哪些隐私会被泄露呢?哇哦,有个用户上网日志查询,就是这里,但是还需要一个密码。这个密码应该是给平平和安安用的,要不酒店的前台就能随便看了。而且这个密码或许是个比较复杂的,md5 的哈希值是 47e57be0904ce7174115a08cb1a1e304,我用几个在线的 md5 数据库都没有查到对应的明文,如果有查到的朋友还望不吝告知。大家看到这里不要失望,跳过去也是很容易的,略过不表,且看下文。

20130430201827

 

输入了查询密码后就能查询用户上网日志了,看看吧,会不会让你的后背发凉?搞不明白的是,为啥还要监控这几个游戏呢?

20130430163934

 

 

给大家看看 MSN 的日志,查询了最近三天的记录,只有一条。结合前面的用户管理功能,我很容易知道这个 MSN 的主人是谁。

20130430164333

 

哈哈,肯定有人迫不及待的想知道 QQ 的搜索结果,给大家看两条,关键字2那里就是 QQ 号码。同理,结合房间号,嗯嗯,哈哈。

20130430164645

 

还有网站浏览记录,这里只记录了域名,显然酒店员工黑夜就是去youku看看视频。

20130430203804

 

看看电子邮件的记录,2221 这个客房的客人真是发了好多啊,应该是给公司同事群发的。

20130430203144

 

FTP 的日志,关键字1就是 IP,关键字2就是用户名

20130430203503

 

还有个系统用户日志查询,记录的还挺详细。

20130430202922

 

20130430202650

 

管理界面里还有系统设置,我们再去看看。有个 VIP 主机的设置,应该就是设置不纳入计费范围的,反正我是把自己电脑的 MAC 地址填入这里,就直接上网了,当然了,这个 MAC 地址是伪造的啦。再没有弹出需要密码的页面,至于监控与否就不清楚了。

20130430165554

 

 

这里可以设置哪些 IP 段需要认证,我把起始IP修改到了 192.168.50.3,把自己电脑的 IP 设置为 192.168.50.2,好像是不能上网的。

20130430165956

 

 

有一个关键的设置,一定是大家很感兴趣的,就是这些信息被传送到什么地方呢?答案就在这里,有兴趣的朋友可以去研究研究哈。

20130430170257

 

呸,网络神探

20130430170815

 

还有一个设置应该是配合网络神探使用的,估计要是我修改了这里的设置,我用自己的电脑就能监控整个酒店的网络了,嗯,或许吧。

20130430204216

 

大家可能感兴趣的内容大概就这些吧,记住了,在酒店上网一定要开启 VPN。建议使用 OpenVPN,如果 OpenVPN 的服务器端口是 80 就更好了。

强烈建议大家禁止系统中的 CNNIC 的根证书,在酒店的这个网络环境中,很容易实现中间人攻击。

另外,酒店应该不会记录很详细的网络内容,因为这个会占用大量的存储空间,除非触发了敏感词。平平和安安要求保留至少90天的记录,如果记录下详细的内容,可能会占用大量的存储空间。

 

这一次的 QClub 活动是我的老东家山西鑫慧林赞助的,本来打算邀请两位讲师,后来一位来自北京的讲师因为时间和行程问题,最终只邀请到 Tinyfool 一人。不过 Tinyfool 还是很给力的,一口气说了一个半小时,最后意犹未尽的结束演讲。微博上也有朋友戏言,太原一时伞贵啊 http://weibo.com/1400229064/z1najn7yL

这次活动到场将近40人,其中有几位山大的学生,当然还是出现了一些新面孔。本来预定的是一楼的100人会场,但是因为会场工作人员的失误,让我们和另外一个会议冲突了,于是就把我们安排在三楼的大会议室,结果诺大的会议室坐着3、40人显得空空荡荡。在照片中看到人不多,细数下来也将近40人。

Tinyfool 演讲完毕后,赞助商买了不少的啤酒,给 Tinyfool 单独准备了一瓶竹叶青。大家一起喝酒聊天,聊的是不亦乐乎。

Tinyfool 的微博上也分享了他的首次太原之旅 http://weibo.com/1400229064/z1Z5lykVU

 

17. May 2012 · Write a comment · Categories: 技术文章 · Tags:

(Source: http://sw1nn.com/blog/2012/04/11/clojure-stm-what-why-how/

Clojure 有很多功能可以帮助在程序中处理并发问题。本文将关注软件事务内存(Software Transactional Memory,缩写 STM),不过这些并发问题的共性都是由多个部分共同运行来得以解决,因此我们期待一些其他思想的渗入……

STM 是什么?

软件事务内存 (STM) 是一种模拟数据库事务的并发控制机制来控制在并行计算时对共享内存的访问控制。它是锁的一种替代机制。

维基百科 – http://zh.wikipedia.org/wiki/软件事务内存

STM 允许在内存中更新多个数据,这些变更对于其他同时在执行相同逻辑的线程来说,显而易见是原子性的。类似数据库中的事务,如果因为某些原因有些更新没有完成,然后就会取消所有更新操作。

一个典型例子就是银行的交易 – 你希望把你的账户中的一些钱转账到我的账户……,我们将使用这个作为我们的例子,因为从概念上来说大家都熟悉。

目前在计算机科学中,STM 的实现还不是一个已经解决的问题,正在进行的研究是怎样更好的完成它。Clojure 选择了一个基于多版本并发控制(MVCC)的方法,MVCC在一个事务中维护多个(逻辑)版本数据的引用。在你的事务执行过程中,你看到的是一份数据的快照,与事务开始时看到的数据是一样的。当你认为在Clojure中普遍使用持久性数据完成你的很多事情,而不需要做太多额外的工作时,MVCC就是一个显而易见的选择。

为什么我们需要 STM?

STM 的核心是 ref 和 dosync,让我们看一个例子……

(def account1 (ref 100))
(def account2 (ref 0))

; to read the current value of a ref, use (deref refname):
;=> (deref account1)
100
;=> @account1 ; @refname is equivalent to (deref refname)
100

(defn transfer [amount from to]
    (dosync
       (alter from - amount)   ; alter from => (- @from amount)
       (alter to   + amount))) ; alter to   => (+ @to amount)

;=> @account1
100
;=> @account2
0
;=> (transfer 100 account1 account2)
100
;=> @account1
0
;=> @account2
100

你们看到我们在这里定义了两个账户,第一个账户 account1 初始化了 100。(transfer) 函数接收一个数量参数amount,一个来源账户 from 和一个目标账户 to,然后使用 alter 修改两个账户,从 from 账户中减去 amount 的数量,添加同样的 amount 数量给 to 账户。这段代码运行在一个单线程中,但是考虑一下,如果还有一个线程在两个 alter 语句之间运行,修改了两个账户中的值,这会发生什么呢?如果没有 STM 的保护,就很容易丢掉其中一个或者两个账户的变更。

另外一个例子;假设在一天结束时,银行希望给所有账户生成一份结算报表。可能这份报表需要很长时间的运行,但是在报表的生成过程中,依然可以对账户交易,并且为了报表目的,我们应该看到的是一致的数据视图。

在 Clojure 中 STM 是怎样工作的

看下面的这张图,你会看到粉色盒子中的三个事务,你也会看到最左边一列中ref值的不同版本。当一个事务通过 (dosync) 开始后,就会获取到ref的版本。获取到的值是在事务执行过程中 (deref) 返回的值(也就是说在事务中读取的ref都是不变的)。

让我们看看最左面的两个事务,两个事务同时开始,同时获取到了相同的 ref 值,因此两个获得的都是 ref 版本为 0 的一份副本。在事务中会执行一些操作,ref 的值将会被更新。第一个(最左面)的事务首先结束,所以赢得了比赛,把 ref 更新为新值。当第二个事务结束时,它尝试写入它的值,但是写失败了(图例中的红色箭头),因为 ref 的版本不是预期的。在这个例子中,事务就重新执行了。注意当事务重新执行时,它首先获得了 ref 新版本的副本,也就是看到的是第一个事务中变更后的值。然后由于没有其他事务尝试更新 ref,这次第二个事务就完成了。

你也看到这一切在进行的同时,第三个事务一直在运行,但是事务的处理过程中没有更新 ref 的值,所以不需要重试事务操作,事务运行完成。

如果保存在 ref 中的值是持久化的数据结构,在内存中保存这些数据结构的多个逻辑版本是很有效率的,因为这些数据结构会共享内部结构。当然,也会使用额外的资源,在一些场景中可能也会出现问题。当定义 ref 时,你还有一些选项来决定在运行时如何管理这些 ref 的历史(也就是上面讨论的这些版本数字)。

; pre-allocate history and limit max-history
(def myref (ref 1 :min-history 5 :max-history: 10))

; supply a function to validate the ref before commit.
(def myvalidref (ref 1 :validator pos?))

这个可以让你通过使用预分配和限制历史资源的使用,来提高在读取-失败中的边界效率。

宽松的一致性和副作用

在一些并发的事例中,你可以放宽松一点,以获得一些的效率。举个例子,假设你要保留一天的交易日志。如果你知道最后的交易结果始终是正确的,你可能就不大关心这些交易的顺序。说实在的,如果你收到两笔分别是 ¥100和¥50的存款,你可能就不在乎它们是被记录为¥100然后¥50,还是¥50然后¥100。存款的两个事务是可交换的,Clojure 也提供了一个并发操作 (commute) 来完成这样的事情……

(defn log-deposit [account amount]
     (dosync
        (println "Depositing $" amount " into account, balance now: "
            (commute account + amount))))

(def myaccount (ref 0))

(log-deposit myaccount 100)
(log-deposit myaccount 50)

; (as good as) equivalent to 

(log-deposit myaccount 50)
(log-deposit myaccount 100)

需要注意 (commute) 的是,当函数调用时,它设置了ref在事务中的值,但是在提交的时候才会真正的做出修改,是通过再次运行传入给 commute 的函数和最新的 ref 值。 这意味着在你的事务中你计算的值可能不是最终提交给 ref 的值。这需要考虑的认真点,你要确保你的操作过程中不依赖最新的 ref 值。

最后,你可能会疑惑上面例子中的 (println),在事务重试的事件中会产生什么副作用呢?会发生一个很简单的副作用。对于上面的例子,这个可能是个不太重要的事情,就是日志将会不一致,但是数据的真实来源将会是正确的。

Clojure 也提供了一个宏,也就是 io!,这个允许你把代码标记为不允许运行在一个事务中。你可以用这个来保护你自己无意中在一个事务里面调用了有副作用的代码。

例如:

(defn log [s]
   (io!
      (println s)))

(log "Hello World") ; succeeds

(dosync (log "Hello World!")) ; throws IllegalStateException

要正确的在一个事务内部完成 IO,你最好从事务内部把消息扔给Agent,Clojure 中的 Agent 是和 STM 整合在一起的,这样当事务成功时就会发送消息,如果事务失败就会被丢弃。

可能很多人不知道,Emacs 里包含了一组对 GNU 网络工具包的包装。

多数的工具只是简单的包装,与直接执行命令差不多,但是增加了高亮。但是有一些增加了完整的 Emacs comint 的支持,比如 nslookup。补充一下,Comint 是 Emacs 的一个包,用于与外部程序进行交互。

另一个有用的特性是内建了 ffap(Find File At Point) 支持,也就是说如果使用的是下面列出的交互式网络工具,会判断当前的光标所在位置是主机名还是 IP 地址或者是自己默认的什么东西。

这些网络工具包是用 GNU 开发包编写的,所以 Windows 的用户还得自己去下载 for Win32 的版本。这里附上两个地址 GnuWinGNU Utils for Win32,大家各取所需。

下面列出了 Emacs 支持的工具,直接用 M-x 来调用。你也可以配置成自己喜欢的程序或者调整一下参数,配置的方法是 M-x customize-group RET net-utils RET

命令 描述
ifconfig 和 ipconfig 运行 ifconfig 或者 ipconfig
iwconfig 运行 iwconfig 工具
netstat 运行 netstat 工具
arp 运行 arp 工具
route 运行 route 工具
traceroute 运行 traceroute 工具
ping 运行 ping,但是在多数系统中,这个命令会无限制的执行下去; 可以去配置一下 ping-program-options
nslookup-host 以非交互模式运行 nslookup 。
nslookup 以交互模式运行 nslookup 。
dns-lookup-host 用 host 命令查询 IP 或者主机名的 DNS 信息。
run-dig and dig 以交互模式运行 dig 。
ftp 对 ftp 命令行工具的非常简单的包装。
smbclient andsmbclient-list-shares 运行 smbclient 或者列出主机的所有共享。
finger 运行 finger 工具
whois and whois-reverse-lookup 运行 whois 工具,但是会去尝试猜测正确的 WHOIS 服务器,你可以去调整一下 whois-server-tldwhois-server-list 或者把 whois-guess-server 设置为 nil


原文:http://www.masteringemacs.org/articles/2011/03/02/network-utilities-emacs/

最近发现把 MBP 的屏幕合上以后需要至少 30 秒才可以进入待机状态,以前就记得速度很快。Google 了一下,发现遇到类似问题的人也不少,基本上可以用以下几种办法来解决:

  • 打开 http://127.0.0.1:631/jobs/ 看看是不是有没完成或挂起的打印任务,清空。
  • 拔除外部设备,比如移动硬盘、闪存盘之类的。
  • 运行  Activity Monitor,看看是不是有程序耗费了比较多的资源,退出大程序。
  • 关闭 Safari 或其他Web浏览器
  • 退出正在观看的视频或正在播放音乐的 iTunes

我的情况就是第一种,有个没有完成的打印任务,删除之后待机速度就正常了。

本文是 http://www.omgubuntu.co.uk/2010/01/how-to-install-adobe-air-ubuntu-64bit.html 的简单翻译。

前面不用多说,因为 Adobe 只提供了 32bit 版本的 Air,在 64bit 的 Ubuntu 上是不能直接安装的。

第一步:下载
前往 http://get.adobe.com/air/ 下载 Adobe Air,在今天(2010年7月29日)的最新版本是 2.0.2。我们要下载 .bin 格式的安装程序,下载完毕之后记住修改一下文件的可执行属性。
命令:
wget http://airdownload.adobe.com/air/lin/download/latest/AdobeAIRInstaller.bin
chmod +x AdobeAIRInstaller.bin

第二步:获取并安装 Adobe Air 的依赖文件,首先是要安装一个名叫 “Getlibs” 的程序包,这个就是用来帮助我们获得在 64 位环境下运行 32 位程序所需要的 lib 文件。

下载地址: http://frozenfox.freehostia.com/cappy/getlibs-all.deb

命令:
wget http://frozenfox.freehostia.com/cappy/getlibs-all.deb
sudo dpkg -i getlibs-all.deb

然后运行下列的命令,安装 Air 所依赖的 lib 文件

yes | sudo getlibs -l libnss3.so.1d
yes | sudo getlibs -l libnssutil3.so.1d
yes | sudo getlibs -l libsmime3.so.1d
yes | sudo getlibs -l libssl3.so.1d
yes | sudo getlibs -l libnspr4.so.0d
yes | sudo getlibs -l libplc4.so.0d
yes | sudo getlibs -l libplds4.so.0d
yes | sudo getlibs -l libgnome-keyring.so
yes | sudo getlibs -l libgnome-keyring.so.0
yes | sudo getlibs -l libgnome-keyring.so.0.1.1

第三步:安装
运行命令后会出现安装界面,然后点击再点击完成安装

sudo ./AdobeAIRInstaller.bin

Enhanced by Zemanta

今天才第一次注意到这个不算新的许可证,官方地址:http://sam.zoy.org/wtfpl/。首次发布已经是2004年了,甚至现在已经到了第二版。不过好像没有引起更多人的注意,或许这个许可证看上去不那么正式,更像是个愚人节笑话。

不过还是有一些开源的项目采用了这个许可证 http://freshmeat.net/tags/wtfpl,而且不仅仅可以用于计算机代码,还可以用于其他领域,比如艺术创作、文章等等。

许可证的全文内容也非常的短,正文也就一句话,我就把全文都列在这里:


DO WHAT THE FUCK YOU WANT TO PUBLIC LICENSE
Version 2, December 2004

Copyright (C) 2004 Sam Hocevar <sam@hocevar.net>

Everyone is permitted to copy and distribute verbatim or modified
copies of this license document, and changing it is allowed as long
as the name is changed.

DO WHAT THE FUCK YOU WANT TO PUBLIC LICENSE
TERMS AND CONDITIONS FOR COPYING, DISTRIBUTION AND MODIFICATION

0. You just DO WHAT THE FUCK YOU WANT TO.

哦哦,你没有看错,就这么多。

FAQ 比正文内容多的多了,我列出最后三条:
Q: 顺便问一下,用这个 WTFPL,我还可以......
A: 哦,没问题,当然你可以

Q: 但是我能......
A: 是的,你能

Q: 能......
A: 能!
(本文以 WTFPL 许可发布,你他妈的想干什么都可以,许可证全文可以从 http://sam.zoy.org/wtfpl/COPYING 下载获得)

刚才运行 emacs 时发现终端上显示了错误:
<pre>
** (emacs:6396): CRITICAL **: murrine_style_draw_box: assertion `height >= -1′ failed
</pre>
以前也没见过这个提示,今天第一次出现,google了一下,在http://thehacklist.blogspot.com/发现了解决办法,非常简单:
编辑 /usr/share/themes/Ambiance/gtk-2.0/gtkrc 这个文件
把 GtkRange::trough-under-steppers = 0 修改为 GtkRange::trough-under-steppers = 1
然后就好了。

不知道有没有人遇到过,现象就是用鼠标左键点浏览器中的flash没有任何效果,但是用右键会出来菜单。如果要点某个按钮,还得用 tab 键移动焦点然后按下回车。
问题简单,解决办法也简单:
编辑文件 /usr/lib/nspluginwrapper/i386/linux/npviewer
在第二行加上下面的语句
export GDK_NATIVE_WINDOWS=1
保存,然后重启 Firefox 就 OK 了。