小塌客::shitou's blog

Mongodb sharding环境中update问题

shitou — Wed, 09 May 2012 19:55:07 -0600

在MongoDB Sharding环境中如果update操作没有命中sharding key的话可能会遇到无法更新的问题，问题就在于这种update必须是multi-updates，就是需要指定multi-updates的参数为true(默认情况下mongodb只会更新命中的第一条数据)，，而在官方文档中这点并没有提到，后来通过在mongodb google group中发帖讨论后，才知道这点，之后官方文档也马上更新了，

Sharding Introduction

db.foo.update( { age : 40 }, Updates without the shard key must be multi-updates

虽然mongodb一直在不停的推出版本的更新，但问题还是比较多的，目前已经支持的一些功能虽然在官方文档都有描述，但是一旦遇到细节处理的地方还是没有解决办法的

shell中字符串排序

shitou — Mon, 16 Apr 2012 01:52:29 -0600

在shell中对一列数据排序可以使用sort，但是默认shell中是不支持对一个字符串排序的，但可以通过其它命令来完成，比如: 对一个字符串每个字符进行排序:

#echo "hello" | grep -o . | sort -n | tr -d "\n"; echo

对字符串以指定字符分隔进行排序:

#echo "00 12 02 01 23" | tr -s " " "\n" | sort -n | tr -s "\n" " "; echo

MongoDB client IP

shitou — Sun, 15 Apr 2012 21:12:26 -0600

最近mongodb出现了大量的慢查询，由于我们前端有大量的app server, 需要定位到具体的机器，在mongodb的日志中默认是没有client ip的:

Mon Apr 16 01:41:38 [conn327586] update db.coll query: ...... upsert:1 112ms

但是会有当前对应的连接ID，这里就是conn327586，在每次client与mongodb server建立连接时会记录client的IP和所产生的连接ID, 可以通过再反向查找“accepted from.*conn327586"这样的日志就可以找到对应的client IP了

我们系统中对一处group的操作使用了memcache来缓存查询结果，但是最近还是出现大量了group操作导致锁进程，出现了严重的性能问题，查看后发现memcache是有效的，但是有大量的进程同时遇到了缓存超时的时间点，导致同时执行刷新缓存的操作，问题也就产生了，下面是统计脚本:

awk '/group/{print $5, $4}' mongodb.log | sort -k 2| awk '{split(a[$1], b, " "); b[length(b)+1]=$2; a[$1]=""; for(i in b){a[$1]=sprintf("%s %s", a[$1], b[i])}};END{for(i in a){printf "%s %s\n", i, a[i]}}' > sta.txt

这个命令会列出同一连接(connection ID)对应的所有group的执行时间，通过这个结果上面的问题很容易就可以看到了，不过这个命令有一个小问题就是不会把时间顺序排列，需要再进一步处理一下，实在是想不出怎么用shell处理

MongoDB Sharding设计

shitou — Thu, 23 Feb 2012 20:19:01 -0700

这篇文章是shitou在目前的company(外企)的wiki上写的，是英文的，主要是关于mongodb sharding的设计以及主要问题的考虑，过于细节和基础的问题在这里并没有涉及，可以参考mongodb的官方文档

Sharding Key

Most of our queries are based monitor_id, timestamp and location, and according to the sharding key design principle:

Single read should be finished in one shard.
All reads should be distributed to all shards.
Writes should be distributed to all shards.

so the sharding key will be: {xxx_id: 1, xxx: 1, xxx: 1}, Remember the sequence of it when creating index, the sequence is extremely important, because database index follows the LEFT MATCH principle.

Query

Most queries will hit the sharing key, however, we can not cover all situations and requirements are changing, we can not change the sharding key when we create it in database. When query not hit the sharding key, it will scan all the shards, it will be slower than hitting the sharding key query, but it is acceptable, we don't have too much resource to do this benchmark in this situation, but in mongodb official says, it will be still fast when the shards servers is under 10.

When non-sharing-key query scans all shards we need to make sure that it will still hit the index, otherwise, it will be definitely vey slow.

Chunks

The default chunk size is 64MB, when one chunk is bigger than that number, mongodb will split the chunk into two chunks, and move it to another shard.

If the number is too small, which will make mongodb be busy splitting chunks, especially when our data grow fast.
If the number is too big, it will make mongodb cost too much time to move chunks to another server.

we will use the default number in the beginning, and then to see if we need to increase the number or decrease the number.

When mongodb move chunks from one shard to another shard, the server load will grow, which maybe will cause performance problems, but we can control the chunk moving process, it's the balancer process, for example, if we notice that every time chunk moving process cause us a problem, we can stop the balancer process:

$mongo #connect to mongos

>use config;

>db.settings.update({_id: "balancer"}, {$set: {stopped: true}}, true)

Then mongodb will stop moving chunks, but it will still do the chunk splitting job, and it leaves to us to decide when to move the chunks manually:

$mongo #connect to mongos

>use admin;

>db.printShardingStatus();

>db.runCommand({moveChunk: "testdb.users", find: {login: "rock26944"}, to: "shard0000"})

We can also write a crond job to do this.

Failover

When one shard is down, the query hit this shard will fail, so we will make every shard a replica set. About replica set please refer other documentations.

When one shard(it's a replica set) is down, and the query hit this shard, and the other shard, the query will fail default, but we can add a query option({partial: 1}) to make the query just return partial data, not raise an socket error, currently the ruby mongo driver support this feature, but it's not able to put this config option to a config file, so it's difficult to use this feature right now. But i think the replica set will give us a lot of insurance.

Problems

How much memory does mongos need? Will it become a bottleneck?
Does mongos support :read_secondary internal?
How much volumes does the monitor system support in design? We need to estimate the data growth speed.

Odds

In sharding environment, we can not use group query, use map/reduce to substitute.

All index must be ascending, can not be descending.

Once you do shard on a collection, it is very difficult to un-shard it (you still can, but tough).

Scripts and Step-by-step

I have write a script for staring mongodb sharding environment easily, put this script to your ~/.profile,

mongod_sharding_restart() {
  killall mongod
  killall mongos
  sleep 2

  [ ! -d /data/configdb ] && mkdir -p /data/configdb
  [ ! -d /data/db ] && mkdir -p /data/db
  [ ! -d /data/shard2_db ] && mkdir -p /data/shard2_db
  rm -f /data/configdb/mongod.lock
  rm -f /data/db/mongod.lock
  rm -f /data/shard2_db/mongod.lock
  #config server
  mongod --fork --logpath /data/shard_config.log --logappend --configsvr &
  #wait for config server
  sleep 3

  #mongos
  mongos --fork --logpath /data/shard_mongos.log --logappend --configdb localhost:27019 &

  #shard1 (mongod)
  mongod --fork --logpath /data/shard_shard1.log --logappend --shardsvr &
  #shard2 (mongod)
  mkdir -p /data/shard2_db
  mongod --fork --logpath /data/shard_shard2.log --logappend --shardsvr --port 37018 --dbpath /data/shard2_db &

  sleep 2
  ps aux | egrep "mongod|mongos"
}
export -f mongod_sharding_restart

and then:

#source ~/.profile

Then you can start mongos, config server, and two shards using one command:

#mongod_sharding_restart

Connect to mongos:

#mongo

>db.printShardingStatus();

>db.runCommand({addShard: "localhost:27018"});

>db.runCommand({addShard: "localhost:37018"});

>db.printShardingStatus();

...

shards:

{ "_id" : "shard0000", "host" : "localhost:27018" }

{ "_id" : "shard0001", "host" : "localhost:37018" }

...

>db.runCommand({enableSharding: "testdb"});

>db.runCommand({shardCollection: "testdb.collection", key: {_id: 1}})

>db.printShardingStatus();

You can check the mongos and shard logs to see the status.

>use testdb;

>db.printCollectionStats();

Tri-survive - HTML5 Game

shitou — Mon, 16 Jan 2012 23:21:15 -0700

其实这个游戏早在2011年7月份，就是shitou在研究impactjs的时候做的，由于后来一直很忙，加上当时做的还不完善，问题多多，就一直没有在这里公开出来，现在就放出来给对impactjs感兴趣的同学参考下

游戏名称, Tri-survive, 游戏使用impactjs引擎开发，游戏中图片素材是shitou自己PS的, 也有一部分是从其他游戏中扣过来了, 音效来自于http://www.partnersinrhyme.com/pir/PIRsfx.shtml和http://opengameart.org/, 上面两个网站的资源都是开源的, 对程序员来说是再好不过的资源了

还有很多不完善的地方，半成品都算不上，点击游戏右上的HELP按钮查看操作帮助吧, Tri-survive

Cut the rope - HTML5版

shitou — Sun, 15 Jan 2012 23:50:08 -0700

微软最近又有新动作了，和cut the rope合作推出了游戏的HTML5版，而且开发团队也给出了开发日志.

json_formatter

shitou — Fri, 16 Dec 2011 01:30:23 -0700

最近一直在用sinatra做API, OAuth2的东西, 调试用的curl, 数据的返回格式是json, 默认情况下一对一对字符串是直接在console输出出来的，不方便查看，像这样:

{"accounts":[{"name":null,"id":"4ea060742c76682ab800a807","api_url":"https://api-dev.example.com/partners/4ea05b812c76682ab800a0b0/accounts/4ea060742c76682ab800a807","email":"skidave32289@gmail.com"},{"name":null,"id":"4ea06b5e2c76682aa6002ac5","api_url":"https://api-dev.example.com/partners/4ea05b812c76682ab800a0b0/accounts/4ea06b5e2c76682aa6002ac5","email":"skidave32289+20@gmail.com"},{"name":null,"id":"4ea071862c766848c3000055","api_url":"https://api-dev.example.com/partners/4ea05b812c76682ab800a0b0/accounts/4ea071862c766848c3000055","email":"skidave32289+21@gmail.com"},{"name":null,"id":"4ea075e02c766848c8000ae5","api_url":"https://api-dev.example.com/partners/4ea05b812c76682ab800a0b0/accounts/4ea075e02c766848c8000ae5","email":"skidave32289+22@gmail.com"}]}

今天在rubyflow上看到一个不错的工具gem: json_formatter, 直接gem install后，就可以在命令行用了:

#curl -H 'EXAMPLE-API-KEY: b60b5400dd6f012eg16c12313b0ecdxc2' "https://api-dev.example.com/partners/4ea05b812c76682ab800a0b0/accounts?per_page=100" | json_formatter 
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  5812  100  5812    0     0   3358      0  0:00:01  0:00:01 --:--:-- 11049
{
  "accounts": [
    {
      "name": null,
      "id": "4ea060742c76682ab800a807",
      "email": "skidave32289@gmail.com",
      "api_url": "https://api-dev.example.com/partners/4ea05b812c76682ab800a0b0/accounts/4ea060742c76682ab800a807"
    },
    {
      "name": null,
      "id": "4ea06b5e2c76682aa6002ac5",
      "email": "skidave32289+20@gmail.com",
      "api_url": "https://api-dev.example.com/partners/4ea05b812c76682ab800a0b0/accounts/4ea06b5e2c76682aa6002ac5"
    },
    {
      "name": null,
      "id": "4ea071862c766848c3000055",
      "email": "skidave32289+21@gmail.com",
      "api_url": "https://api-dev.example.com/partners/4ea05b812c76682ab800a0b0/accounts/4ea071862c766848c3000055"
    }
  ]
}

#也可以直接输入字符串
#json_formatter "{}"

ps: 关于curl
上面提到了curl，就再多说一点吧，在用curl进行POST请求添加数据时需要注意, 使用 -d "name=value" 的方法是不会自动给value进行编码(url escape)的, 如果想让curl给数据进行escape需要使用 --data-urlencode 选项:

#curl -d "site=www.ccok.me" --data-urlencode "email=li+lei.hand-some2@yottaa.com" -H 'EXAMPLE-API-KEY: b60b5400dd6f012ec57c123112b0ecda2' "https://api-dev.example.com/partners/4ea05b812c76682ab800a0b0/accounts"

Google Analytics更新了

shitou — Mon, 21 Nov 2011 19:39:32 -0700

又快半年没更新了.., 为了证明shitou's blog仍然活着, 凑点字数吧..

最近Google的活动又多了起来, 收购Moto的手机业务, Android 4.0的发布, Google Music, 新的UI页面..

今天收到封Google Analytics的邮件, 说有更新了, 主要有:

实时的数据更新. 现在可以看到几秒之前用户活动信息了

Multi-Channel Funnels, 这个是针对电子商务网站, 提供各种用户来源的转化率.

Mobile Reporting, 移动端数据统计的加强, 之前GA已经支持查看访问来源的UA(User Agent)了，不过功能比较简单，这次是在原来基础上的加强，支持直接查看访问用户的手机型号, 还有手机图片.

Flow Visualization, 这个功能也是之前功能的加强，以更直观的曲线图查看用户的访问数据.

上面的图可能会被q-i-a-n-g掉, uncle fu****

Google HTML5 web font

shitou — Thu, 26 May 2011 21:07:22 -0600

HTML5支持自定义字体，Google专门开设了一个服务开发者可以上传和共享自己的字体，使用方法很简单:

1) 查看字体列表，选择你要使用的字体

2) 然后在header中加入CSS调用，比如:

3) 最后就是使用了:

h1 {font-family: Ubuntu}

或者在Canvas中使用

var context = document.getElementById("canvas").getContext("2d");

context.font = "bold 12px Ubuntu";

context.fillText("Hello World", 20, 20)

HTML5 & Impactjs

shitou — Sun, 22 May 2011 21:18:12 -0600

最近一直在看HTML5游戏开发这方面的东西，从小学FC上的超级玛丽，魂斗罗一直到现在的全机种制霸(这绝对不是赤果果的炫耀...)，shitou的玩龄也有快15年了，虽然一直在做程序开发的东西但从来没接触多游戏开发这方面的内容，个人严重抵触flash，虽然几年前研究过flex，但是还是不想用flex/flash来起步做游戏，最近HTML5已经被各大浏览器厂商推到风口浪尖了，各种支持也越来越完善，尤其是HTML5中的Canvas, Audio标签对游戏开发都是很至关重要的，在没有HTML5之前，web game都是javascript和flash来实现的，现在有了新选择。

加之iOS对flash的封杀，所有基于flash的web game都是被悲剧了，而各大厂商(包括移动浏览器)都力挺HTML5，这样用HTML5开发的游戏经过简单的修改(基本上是用户控制方面的，比如鼠标的点击，屏幕触摸等操作)就可以运行在移动平台了。

关于游戏引擎/开发库

目前有很多基于JS+Canvas的游戏开发库，大部分都是开源的，不过功能都不是很完善，也有商业的，比如Impactjs，shitou目前就是用的这个引擎，版权费用是99刀，在研究了近两个星期后，简单总结了这个引擎的一些特点:

地图完全是基于tile-based
非常适合开发横版滚动卷轴类的游戏，像古董级的超级玛丽，魂斗罗，最近XBLA上的Limbo(地域边缘)，Super Meat Boy(超级肉肉哥)这类游戏; 垂直视角的RPG或者SLG战棋类游戏，像塞尔达传说，早期版本的最终幻想3/4(不是NDS上的3D妇科版...)，GBA上的火焰文章; 还有横版(或竖版)射击类游戏也可以
对collision detect, tile-based map, sound, music, image animation, mobile support, input, timer都有不错的支持，目前版本不支持isometric类型的地图，还有没有path finding
已经整合了Box2djs
引擎中有一个自带的地图编辑器weltmeister，功能非常强大，适合用来编辑关卡
官方文档非常完善；官方论坛也比较活跃，而且有很多第三方插件可以使用
通过Phonegap可以直接将自己的游戏打包成iOS, Android, WP等上的本地app应用
对游戏元素的鼠标点击事件支持的不好，需要通过hack的方法才能实现

总体上impactjs的功能还是很不错的，尤其对于刚接触游戏开发的朋友来说，而且授权价格也还可以接受，感兴趣的同学可以买一个license研究研究，也可以和shitou联系一起研究。

ps: 欢迎各位同学来信性骚扰，mytake6ATgmailDOTcom

How to fix any computer

shitou — Sun, 24 Apr 2011 20:08:57 -0600

在gen_server中spawn新的进程

shitou — Wed, 20 Apr 2011 03:58:18 -0600

最近Joe在erlang mail lists中频繁现身，估计是因为许多人对gen_server的使用有很多误解，忍不住出来解救众生的...

其中Joe专门解释了怎样在gen_server中管理新的进程的问题代码:

foo(X) ->
    gen_server:call(?Mod, {foo, X}).


%% Write a gen_server handle call method like this:

handle_call({foo, X}, From, State) ->
    State1 = func1(X, State),
    State2 = func2(X, State),
    spawn_link(fun() -> do_something(State1, X, From) end),
    {noreply, State2}.

do_something(State, X, From) ->
    Reply = func3(X, State),
    gen_server:reply(From, Reply).

上面的do_something可能是一个time-cost任务，为了不阻塞当前的gen_server进程，可以spawn一个新的进程来专门处理，do_something和当前gen_server进程会并行运行，gen_server会以State2继续运行，并且不会给client返回任何消息，client一直处于等待状态(因为这里是gen_server:call), do_something在处理完毕后会负责给client答复(gen_server:reply)

谷歌穿越搜索...

shitou — Fri, 01 Apr 2011 20:12:03 -0600

是的，谷歌穿越搜索，谷歌总是和我们这些草根网民走的这么近，其实这个搜索昨天就出来了的说，哥太忙了就忽视了，今天又看了看，发现哥昨天错了，昨天就应该穿越的，哥一直都在期望穿越啊混蛋，我们来穿越吧，对了，穿越前不要忘了热身，我们一起来做"穿越体操":

开始穿越，引力场扭曲中~~

Superfly - Wildflowers

shitou — Fri, 01 Apr 2011 02:21:19 -0600

前段时间在中国购买王上订的Superfly的CD: Wildflowers终于到货了(加运费小300RMB，钱包你怎么了，钱包你醒醒啊..)，今年疯狂迷上了Superfly, 感觉她的嗓音很特别，

知道她还是因为去年年底时PSP上的游戏寄生前夜<第三次生日>的主题曲Eyes on me(没错, 和Final Fantasy VIII的主题曲同名，那首是由王菲唱的)就是她唱的，当时哥的抵抗力瞬间降为0, 她的声音初听给人特别有力和充满磁性，然后你又会觉得很温柔....之前在网上听了她的Wildflowers专辑，随后就觉得一定要收藏正版，下面是用手机拍的到货的CD:

封面

让我小心的打开..

封底内

封底外

继续凸墙 for Mac OS

shitou — Thu, 31 Mar 2011 03:47:32 -0600

之前已经说过怎样用ssh tunnel来凸墙了, shitou一直用的Mac, 每次都需要使用时执行一次ssh的命令，然后就是进System Preferences中开启网络的sock代理，不用时还得kill掉ssh tunnel的进程，感觉还是麻烦的说，程序员不都是越来越懒惰的吗，所以就写了下面这个懒惰脚本，

用这个脚本的前提是:

1) 必须在Mac上
2) 必须以sudo的方式运行
3) 必须事先已经设置好socks代理的server ip和端口号，因为这个懒惰脚本不会帮你填代理的ip和端口号，你只需要设置一次就可以了，以后永远不用动了，设置socks代理的ip和端口的方法是System Preferences -> Network -> Advanced... -> Proxies -> SOCKS Proxy, 然后把ip和端口添进去就行了，下面脚本中会开启代理是127.0.0.1:8082, 我知道你也懒得改了，就按这个填吧...
4) 最后就是你最好设置好ssh使用无密码密钥登陆，不然每次都要敲ssh密码，要懒就懒极致...

好了，懒惰脚本在这里:

#!/bin/bash

#Parameters
USER=root
HOST=

#Configuration file
#Please check if the file exists
CONFIG_FILE=/Library/Preferences/SystemConfiguration/preferences.plist

SWITCH=0
case $1 in
  0|1)
    SWITCH=$1

    LINE=`grep -n 'SOCKSEnable' $CONFIG_FILE  | cut -d: -f1`
    sudo awk '{if(NR == "'$LINE'" + 1)print "'$SWITCH'";else print $0}' $CONFIG_FILE > $CONFIG_FILE.tmp
   sudo mv $CONFIG_FILE $CONFIG_FILE.bak
    sudo mv $CONFIG_FILE.tmp $CONFIG_FILE
    echo "Modify configuration file successfully!"

    if [[ $SWITCH == 1 ]]; then
      echo "*************"
      echo "Starting ssh tunnel.."
      ssh -Nf -D 0.0.0.0:8082  $USER@$HOST
      echo "Done!"
      echo "You are outsite the GFW now:-)"
    else
      echo "Stopping ssh tunnel.."
      kill `ps aux | grep "ssh -Nf" | grep -v grep | awk '{print $2}'` > /dev/null
      echo "You are insite the GFW now:-("
    fi
    ;;
  *)
    echo "need 0|1, exit"
    exit 1
esac

使用

首先你得保存下来，加入脚本名字是fuucck_gfw.sh, 然后填下USER和HOST两个变量，就是ssh登陆的用户名和主机，然后就完了.

sudo ./fuucck_gfw.sh 1

1是开启，0是关闭，执行完就OK了.

最后, 上面的脚本还不是最完善的, 原因在于, 每次修改完系统的Network配置后会重新载入当前的网络配置, 但是shitou怎么找都没找到在Mac中怎样用命令来reload网络配置的, 所以在你执行完上面的脚本后, 还需要在System Preferences中打开Proxies, 然后做一次SOCKS Proxy的配置改变, 就是点两下前面的单选框，然后点OK, Apply就行了, 有知道怎么在Mac中通过命令来reload网络配置的同学可以告诉我, 这样这个脚本就完善了, 真正的一键凸墙凹墙...

MongoDB Beijing 2011

shitou — Wed, 09 Mar 2011 02:28:02 -0700

MongoDB Beijing 2011已经结束好几天了，最近一直很忙，没时间来记录，今天使劲挤终于挤出了时间，下面简单说下整个过程吧。

会上用同事的iPhone 4拍了几张照片，照片不怎么清楚，主要光线的原因，

下午一点半到了会场，签到，拿纸和笔(让做笔记用)还有宣传小册，宣传小册上有一些mongodb的命令，挺专业的，门口图灵和华章两个出版社都摆了坛子，必须都是计算机类的图书了，凑到图灵的摊前看了看，发现了Pro HTML5 Programming这本书，正打算打印这本书的英文版呢，没想到这里居然遇到了，当然是中文版的，正要买，图灵说不卖，这是待会抽奖的赠品，赠品!?活了25年从来和赠品没什么关系，好吧，回去花钱到网上订。

进会场发现座位几乎已经坐满了，等了大概10分钟开始了，两个老外，一个是10gen(MongoDB背后的公司)亚洲区的产品xx, 另一个貌似也是产品xxx，英语没听清楚，

开场先是感谢CSDN..，靠，居然不感谢CCTV，不想在中国混了...

上面是华丽丽的吊灯，我的眼。。。

会场

开场主要由两个老外来做PPT，一个是说什么是MongoDB的，另一个主要是说一些高级应用的，如scaling, replica sets, sharding和performance相关的内容。

在讲MongoDB入门的东西，什么是MongoDB，MongoDB和传统RDBMS的关系，模式设计，MongoDB的限制，事物，map/reduce, capped collection, tailable cursors, GEO indexing，以及一些简单的查询举例，现场还show了一下mongodb的下载和安装有多么的简单和快捷

在说到MongoDB的性能时，PPT只说了MongoDB是用C++编写的，所以具有high performance, 为什么用C++写的就有好的性能呢，难道是因为C++?，我觉得这里至少应该给出一些和RDBMS的benchmark数据才更具有说服力，当然MongoDB在安装，部署，索引创建，插入，查询等许多方面的确都比RDBMS有很多的优势，但大部分没有接触过NoSQL的人更关注的还是和当前RDBMS的性能比较，至于好不好用不是第一要考虑的问题。

至于和其他NoSQL的对比没有任何说明。

shitou听到的几点重要的是(之前还不知道的):

1) 已经删除的collection表空间虽然在磁盘空间占用中不会释放(类似于MySQL InnoDB的表空间)，但会被之后的新数据重新利用。

2) 在将要发布的1.8 版本中单document的大小限制会从4M提升到16M。

然后就是提问时间，问的问题一个没听清。。。

下面NO. 2老外上台(其实中间他还客串了一下帮NO. 1举话筒)

这个讲内容挺多的，都是一些比较高级的主题，比如

Scaling mongodb
Linked model design or embed document
Data model effects performance
Any performance problem can be resolved by changing schema

Scaling mongodb主要就是说的mongodb的master/slave, master/master, replica sets, shading等特性，说目前不推荐在production中使用master/master的模式。

由于mongodb是基于JSON的存储方式，所以你可以随意设计你的数据结构，“Just do whatever you want to do"，这是官方的说法，不过究竟嵌套文档的层次有多深这个只有自己去做测试，目前shitou在项目中嵌套已经达到6，7层了，性能仍有不错的表现。

从“Any performance problem can be resolved by changing schema”可以看出mongodb对自己在简单存储模式(没有大量sub-document)下海量数据的查询还是很有信心的，shitou之前做个测试在400w数据查询的时候性能表现的确不错，感兴趣的同学可以看这里(亿级测试)。

好了，中场休息，有吃的，盘子在哪儿？

下面就是几个公司的交流PPT, 换场地，分两场同时进行PPT演讲， shitou所在的公司在另一个大厅，

这是shitou的同事在做PPT，之后就是提问，感觉大家还是对查询，数据量这类问题比较感兴趣，不多说了。

下面是同事的PPT，摸我

Mongo Beijing开发者聚会

shitou — Tue, 01 Mar 2011 06:59:54 -0700

MongoDB北京开发者聚会这个月3号要在北京知春路举行了，MongoDB开发者Roger Bodamer也将到会，shitou所在的公司受邀也参加这次聚会，而且会做一个半个小时的PPT演讲，不过不是shitou露脸的，由我们一同事要来做，主要就是介绍我们在MongoDB方面的一些使用经验和遇到的问题，等这次聚会过后shitou会放出PPT的下载链接，有兴趣的同学可以3号去参加，貌似不收费的说，具体信息在这里，

链接: http://www.10gen.com/conferences/mongobeijing2011

Erlang vs Node.js

shitou — Tue, 01 Mar 2011 02:44:22 -0700

关于Erlang和Node.js的讨论网上已经有很多了，这里就比较激烈，shitou觉得elrang和node.js的最大缺别就在于erlang是language native process，不是OS level的process, 而node.js只是一个OS层面的封装，所以这也就决定了并发的处理有很大的不同，看这里

PS3 & NW-A845

shitou — Tue, 18 Jan 2011 22:16:23 -0700

前段时间入手了PS3的GT5限定版还有第二台NW-A845

PS3 GT5限定版

NW-A845, 金棕色的, 音质真的没话说, 买的是日本代购，比行货便宜不少

再晒下MDR-EX500SL, 配上845音质比自带的塞子好不少

下面是shitou的ps3 trophy card:

ps: 钱包你怎么了，钱包你醒醒啊!

MongoDB删除map_reduce生成的tmp collection

shitou — Wed, 12 Jan 2011 19:36:44 -0700

在使用MongoDB的map_reduce功能时，会生成很多临时的collections，即使你在调用map_reduce时指定了keeptemp: false, MongoDB只会在session结束或者服务重启时才会删除这些临时的collections, 这对于在调试会非常麻烦，你会看到大量的tmp collections, 所以需要我们进行手工删除，下面就是批量删除的脚本，在mongo shell中执行:

function f() {var names = db.getCollectionNames();for(var i = 0; i < names.length; i++){if(names[i].indexOf("tmp.mr") == 0){db[names[i]].drop();}}};
f();

上面shitou故意写在一行里，方便各位同学ctrl+c/ctrl+v.

Mai Kuraki - Future Kiss

shitou — Thu, 30 Dec 2010 22:32:35 -0700

麻衣(Mai Kuraki)于2010年11月17日发售第9张原创专辑『FUTURE KISS』。第九张原创专辑距离上一张约有一年半，是仓木麻衣10周年以后的第一张专辑，收录了转型后各种风格迥异的歌曲。专辑名称『FUTURE KISS』带有“碰触还无法看见的未来”之意，蕴含了仓木麻衣“牢牢把握现状，怀着积极的希望去感受未来的自己”这种希望踏出新一步的信念。

不管麻衣怎么转型我都喜欢，我都喜欢，我都喜欢，我都喜欢...(不好意思，我失态了)

收录的曲目:

01 FUTURE KISS
02 wana
03 Revive
04 わたしの、しらない、わたし。～precious ver.～
05 SUMMER TIME GONE
06 I scream!
07 Drive me crazy
08 I can do it now
09 Beautiful ～comfortable ver.～
10 I promise
11 sound of rain
12 Tomorrow is the last Time
13 anywhere

其中wana, revive, わたしの、しらない、わたし, SUMMER TIME GONE等几首都是老歌收录的，sound of rain是这张专辑里shitou最喜欢的，永远支持麻衣!!!

HTML5游戏

shitou — Wed, 29 Dec 2010 09:08:49 -0700

基于HTML5的塔防类游戏pirateslovedaisies，是微软为了show下IE9对HTML5的支持而开发的，效果已经完全可以媲美Flash了，而且还开放了游戏的一个JS库，这里是开发者关于游戏开发过程的描述，非常值得一看

MongoDB Schema Design

shitou — Sat, 25 Dec 2010 11:30:58 -0700

推荐一片不错的PPT, 关于MongoDB设计的，对刚开始用MongoDB的同学有很大帮助，抛开关系数据库的设计思路吧..

MongoDB Schema Design

View more presentations from Kyle Banker.

Erlang OOP

shitou — Thu, 23 Dec 2010 21:31:37 -0700

近两个月没有更新博客了，为了证明shitou还活着，需要动动了..

前段时间刚换了工作，一直在忙，还有在和两个朋友业余时间开发一款SNS的WEB Game, 纸牌类的，架构就是JavaScript + Flash Socket + Erlang + MongoDB, 更多关于游戏的内容这里就不多透露了，上线时shitou会专门开贴广告宣传的，哈哈..

其实这半年时间除了在忙工作的事情之外shitou一直在关注web game方面的资料，之前尝试的C2C, SNS，感觉这块在国内独立开发者是很难做起来的，尤其是国内环境的影响....(省略2万字)

好了，下面开始正题，关于Erlang OOP(面向对象)特性

其实Erlang本身就是Function Language, 所谓OOP特性什么的都不是Erlang所强调的重点，Erlang帮主Joe在Erlang程序设计一书中也一字未提Erlang的OOP内容，最近在用Erlang开发游戏的Socket Server时遇到其中一个模块设计如果用OOP的概念来做的话会更合适，想起了之前在mochiweb的源码中关于http request的解析module就是用的OOP的设计思路，回头再次查看mochiweb的源码，又google一翻，终于得到了解决办法，下面show一个简单的例子:

%oo.erl
-module(oo, [QS]).
-export([get_qs/0]).

new(Qs) ->
       instance(Qs).
get_qs() ->
       QS.

>A = oo:new("hello").
>A:get_qs().

Erlang的OOP功能算是Erlang的一个隐藏特性了，毕竟Erlang是一个函数编程语言，可能老乔(Joe)也不想提这方面的东西吧，关于更多的OOP特性，可以参考这篇文章PDF, 还可以看下mochiweb的源码.

jQueryMobile

shitou — Fri, 29 Oct 2010 22:24:17 -0600

由 John Resig 这个天才发起的 jQuery 项目推出了移动版本，叫做 jQueryMobile 。jQueryMobile 是针对手机浏览器推出的 Javascript 库，程序员能够使用一套相同的语法和库来适配主流移动设备的浏览器，比如：iPhone, Android, BlackBerry OS6.0 等手机内置的浏览器，更简单的说法就是程序员写一个 HTML + CSS + Javascript 的网页在不同的终端浏览器上获得的效果基本一致，运算结果和效率仅仅跟 CPU 速度和浏览器的渲染速度相关。

Testing Mobile JavaScript

View more presentations from jeresig.

以上内容部分转自: http://www.ifanr.com/24297

shitou's blog改版V3

shitou — Sat, 16 Oct 2010 22:48:06 -0600

shitou's blog再次改版，完全是针对外观的改版，这次是第三次改版了，哈哈....

最近太忙，垃圾评论越来越多，没有时间维护了，前段时间试了下一些屏蔽垃圾评论的工具，效果不太明显，暂时放弃...

Ruby mime-types

shitou — Tue, 28 Sep 2010 19:51:31 -0600

得到文件的mime-types类型，目前一种是通过判断文件的后缀，另一种就是通过文件的内容来判断，当然前一种如果你故意修改文件后缀的话就不能做为真实的依据了，后一种才是最可靠的，ruby目前的一个gem mime-types就是通过判断文件后缀的方法，不太可靠，所以我们可以使用linux系统的工具来判断：

＃file -Ib readme.txt

text/plain; charset=us-ascii

＃file -Ib ~/Music/PureMusic/Serenade.mp3

audio/mpeg; charset=binary

#mv ~/Music/PureMusic/Serenade.mp3 ~/Music/PureMusic/Serenade.txt

＃file -Ib ~/Music/PureMusic/Serenade.txt

audio/mpeg; charset=binary

你可以用上面同样的方法测试下ruby mime-types, 就挂了

MIME::Types.type_for '~/Music/Pure Music/Serenade.txt'

用SSH tunnel凸墙

shitou — Tue, 28 Sep 2010 01:43:13 -0600

我们再一次一起来凸墙

现在在国外有VPS的同学越来越多了，下面就給各位同学说下怎样用SSH凸墙的吧，首先在翻之前各位同学要明白GFW采用的和谐手段有哪些，这里石头就不多说了，自己去这里先补补，有些同学问我在国外自己搞个squid怎样，这样是不行的，想想为什么吧，

下面我们开始吧

#ssh -Nf -D 192.168.1.8:8082 root@1.2.3.4

上面的命令会开启一个监听8082端口的隧道服务，要注意的是上面的命令是在你本地执行的，不是在远程的VPS上，192.168.1.8是本地的监听的IP地址，如果不指定默认为127.0.0.1，这样如果你的LAN内其他同学要使用你的凸墙代理的话就不行了，所以需要指定上自己的IP地址；

8082是本地的监听端口，后面和前面的参数具体就不说了

然后在你的Firefox上设置网络代理为socketv5，注意不能其他的(如HTTP, FTP什么的代理)不要设置

然后再在Firefox的地址栏里输入about:config，把network.proxy.socks_remote_dns设为true，然后就大功告成了

上面的设置方法在IE上是不行的，这个可能和DNS查询有关，就是即使设置了代理IE可能仍旧会查询本地的DNS服务器，而不是通过代理服务器查询，这也是为什么Firefox我们需要设置etwork.proxy.socks_remote_dns的原因，现在又多了一个理由让我们彻底抛弃IE了

其实SSH的隧道模式还有很多其他的用途，比如服务之间的加密转发，有兴趣的同学可以去Google一下

SSH Tunnel Made Easy

Oreilly SSH Tunnel

Google的语法高亮工具包

shitou — Mon, 20 Sep 2010 21:18:56 -0600

发现了一个Google的开源工具，prettify, 一个网页的中语法高亮显示工具，和syntaxhighlighted相比，prettify更只能，不用手工指定当前要使用的使用，prettify可以自动判断要使用那种高亮方式，而且支持的语言更多，有兴趣的同学可以试试，

点这里

大量数据的批量操作

shitou — Tue, 14 Sep 2010 23:51:39 -0600

如果你有10,000,000个用户，每周需要給他们发送最新的推广邮件，你可能会从数据库中这样操作:

User.each do |user|
    NewsLetter.weekly_deliver(user)
end

但这样做会让ruby从数据库中一次取出10,000,000条数据，并创建10,000,000个对象，服务器内存会大量消耗，因此这样做是不行的，
从rails 2.3开始你就可以使用find_each和find_in_batches方法了，这两个方法专门用于分批查询数据和处理，默认情况下find_each和find_in_batches每次会查出1000条数据记录，你可以可以指定每次取出的数量:batch_size，

User.find_each do |user|
    NewsLetter.weekly_deliver(user)
end

find_in_batches是返还一个数据对象:

User.find_in_batches(:batch_size => 5000) do |users|
    users.each { |user| NewsLetter.weekly_deliver(user) }
end