Binary World

attention for using libsvm

2009-05-06T20:11:00.000-07:00

Many beginners use the following procedure now:

Transform data to the format of an SVM software
Randomly try a few kernels and parameters
Test

We propose that beginners try the following procedure rst:

Transform data to the format of an SVM software
Conduct simple scaling on the data
Consider the RBF kernel K(x; y) =
Use cross-validation to nd the best parameter C and γ
Use the best parameter C and γ to train the whole training set
Test

asp.net reset button

2009-05-02T20:36:00.000-07:00

asp.net is not have "Reset type Button" runat server, your can use HTML Control only.
like this:

<input type="button" id="btn_reset" value="Reset" onclick="javascript:document.getElementById('frm_id').reset();">

easiest C++ urldecode code

2009-04-29T01:07:00.000-07:00

将一个encode后的url进行decode, 我的这个版本应该是最简单的一个版本了.


std::string url_util::url_decode( const std::string& url_src )
{
 std::string url_ret = "";
 int len = (int)url_src.length();
 char tmpstr[5] = { '0', 'x', '_', '_', '\0' };

 for ( int i=0; i＜len; i++ ) //copy代码后将这个小于号改成半角
 {
  char ch = url_src.at( i );
  if ( ch == '%' )
  {
   if ( i+2 >= len )
    return "";
   tmpstr[2] = url_src.at( ++i );
   tmpstr[3] = url_src.at( ++i );
   ch = (char)strtol( tmpstr, NULL, 16 );
  }
  url_ret += ch;
 }

    return url_ret;
}

如何用程序去解析firefox的cookie?

2009-04-25T00:11:00.000-07:00

今天写一个关于读取cookie的小程序，目前只实现了读取IE中的cookie的功能，以后有时间了再实现能读取Firefox中cookie的功能。

我看到有很多老外也在问“如何解析firefox的cookie?”这个问题，为了增加blog的流量，那就用英文描述了。呵呵。

How to parse cookies in Firefox?

as you know, in IE(or using IE core) browser, the Win32 API InternetGetCookie(InternetGetCookieEx) can get the (special) cookie and it's values. but how to implement this in Firefox?

may be it's complex, a little.

1. where is Firefox's Cookie files?
the Firefox's Cookie information is stored in two files: cookies.txt and hostperm.1. (Older versions used "cookperm.txt" instead of hostperm.1. )

Starting in Firefox 3.0, cookie information is stored in "cookies.sqlite" and "permissions.sqlite".

File	Description
cookies.txt cookies.sqlite	Holds all of your cookies, including login information, session data, and preferences.
hostperm.1 permissions.sqlite	Holds preferences about which sites you allow or prohibit to set cookies, to display images, to open popup windows and to initiate extensions installation.

cookies.txt(cookies.sqlite) and hostperm.1(permissions.sqlite) is a file in the profile folder. The profile folder path in Windows OS is:

For other applications, see the information below. Some of these folders may be hidden.

Operating system	Profile folder location(s)
Windows NT (NT 4.x, 2000, XP, and Vista)	"%APPDATA%\Mozilla\"
Windows 95 (without Desktop Update)	C:\Windows\Mozilla
Windows 95 (with Desktop Update)/98/Me	C:\Windows\Application Data\Mozilla\ C:\Windows\Profiles\\Application Data\Mozilla\

2. format of cookies.txt and cookies.sqlite

A typical line from the file(cookies.txt) might read (the spaces are tabs in the original file):

www.taobao.com FALSE / FALSE 1158030396 cna +7aB31T1YyKBA

The meaning of the above line is as follows:

www.taobao.com	The name of the website (server) that stored the cookie.
`FALSE`	Whether the cookie can be read by other machines at the same domain (mozillazine.org); in this case, no.
`/`	The directory path for which the cookie is relevant; in this case, `/` denotes the home directory .
`FALSE`	Whether the cookie requires a secure connection; in this case, no.
1158030396	The time at which the cookie will expire (the number of seconds since 12 a.m., January 1, 1970).
cna	The name of the cookie.
+7aB31T1YyKBA	The value of the cookie.

cookies.sqlite is a SQLite database file, see:

http://www.sqlite.org/

Hackers TV: Firefox 3 cookies.sqlite to Firefox 2 cookies.txt

libcurl使用

2009-04-24T01:16:00.000-07:00

libcurl库是一个很强大的下载库，支持多种协议。
最近的一个项目，我需要将原来在FreeBSD上运行良好的蜘蛛移植到Linux64系统下运行，编译运行立刻就core down了。
查找原因良久未果，但是大致原因能看出来，这个蜘蛛是封装了libcurl做的，封装的类使用STL太频繁了，我debug的时候就连set类型的一个变量进行insert一个string后，那个被insert的string就被改变了，完全是内存混乱的情景。
与其在这上面改，还不如重新封装一遍。于是，我重新封装了libcurl，C++的架子，C的代码；也比较简单，无非就是按照官方的手册拼些代码，只是多了一个类似于“池”的东西，存放着n个CURL对象。

ok了，程序不再core down了。但是结果不是我想要的，下载的网页内容不全。why?

/**
* 代码只留下了也我描述有关的.
*/

int pool_curl::initialize( int pool_size, int timeout, int max_content_len )
{
this->m_pool_size = pool_size;
this->m_timeout = timeout;
pool_curl::m_max_conten_len = max_content_len;

// 申请指针数组
this->m_pool = (CURL**)malloc( sizeof(CURL*) * this->m_pool_size );
if ( this->m_pool == NULL )
return -1;
this->m_url = (char**)malloc( sizeof(char*) * this->m_pool_size );
if ( this->m_url == NULL )
return -2;
this->m_content = (char**)malloc( sizeof(char*) * this->m_pool_size );
if ( this->m_content == NULL )
return -3;

// 申请指针实际指向的内容
for( int i=0; im_pool_size; i++ )
{
CURL* curl = NULL;
curl = curl_easy_init();
if ( curl == NULL )
return -2;
curl_easy_setopt( curl, CURLOPT_VERBOSE, 0 );
curl_easy_setopt( curl, CURLOPT_NOPROGRESS, 1 );
curl_easy_setopt( curl, CURLOPT_TIMEOUT, this->m_timeout );
curl_easy_setopt( curl, CURLOPT_USERAGENT, pool_curl::usr_agent );
curl_easy_setopt( curl, CURLOPT_NOSIGNAL, 1 );
curl_easy_setopt( curl, CURLOPT_HEADER, 0 );
curl_easy_setopt( curl, CURLOPT_WRITEFUNCTION, pool_curl::cb_wr ); // 这儿设置当有内容下载时,写内容的回调函数

*(this->m_pool + i) = curl;
*(this->m_url + i) = (char *)malloc( URL_MAX_LENGTH );
*(this->m_content + i) = (char *)malloc( pool_curl::m_max_conten_len + sizeof(int) ); // 特别的字符串, 前四个字节表示自己的长度
curl_easy_setopt( curl, CURLOPT_WRITEDATA, *(this->m_content+i) );
}

this->m_idle = (char*)calloc( this->m_pool_size, 1 );
if ( this->m_idle == NULL )
return -2;

this->m_multi_handle = curl_multi_init();
if ( this->m_multi_handle == NULL )
return -2;

return 0;
}

// 这就是那个前面提到的回调函数
int pool_curl::cb_wr( char* data, size_t size, size_t nmemb, char* dest )
{
int have_len = *(int*)dest; // 前四个字节是存放现在长度的

int n_cur = (int)(size * nmemb);
if ( have_len+n_cur >= pool_curl::m_max_conten_len )
return 0;

memcpy( dest+sizeof(int)+have_len, data, n_cur );
have_len += n_cur;
*(dest+sizeof(int)+have_len) = '\0';
*(int*)dest = have_len;

return n_cur; //libcurl要求这个回调函数的返回值必需等于size * nmemb
}

int pool_curl::is_completed( std::string& url, std::string& content )
{
int ret = -1;

// 此处省略n行代码......

CURLMsg* msg; /* for picking up messages with the transfer status */
int msgs_left; /* how many messages are left */

/* See how the transfers went */
msg = curl_multi_info_read( this->m_multi_handle, &msgs_left );
if ( msg != NULL )
{
if ( msg->msg == CURLMSG_DONE )
{
curl_multi_remove_handle( this->m_multi_handle, msg->easy_handle );

int idx = 0;
bool found = false;

/* Find out which handle this message is about */
for ( idx=0; found==false && idxm_pool_size; idx++ )
found = ( msg->easy_handle == *(this->m_pool+idx) );

if ( found == true )
{
idx = idx - 1;
*(this->m_idle + idx) = (char)0;
url = *(this->m_url + idx);
content = *(this->m_content + idx ) + sizeof(int);

ret = msg->data.result;
}
}
}
return ret;
}

我犯的错误在于，libcurl要求那个回调函数的返回值必需等于size * nmemb；而我最初没有注意这个，返回值随意地等当前缓冲区中字符串长度；所以ret = msg->data.result; 经常返回23，表示执行写内容的回调函数有错。

改正后一切正常。

C#中类成员函数中的静态变量

2009-04-15T19:49:00.000-07:00

C#中类成员函数内部是不能声明静态变量的；这跟C\C++是不同的，在C\C++中是可以这样做的。

C#这样做的目的可能在于成为一种纯的面向对象的语言。实际上C\C++成员函数中的静态变量实际存储也是放在了类的静态存储区的，所以C#在设计时直接去掉函数中静态变量的“功能”。

你可以在类中声明和定义静态变量，然后在类的成员函数中使用它们，从而达到类成员函数中的静态变量的目的。

autoconf手册

2009-04-12T22:25:00.000-07:00

我简单地整理了一下，创建了一个chm格式的文档。

点击此处下载。

Autoconf是一个用于生成可以自动地配置软件源代码包以适应多种Unix类系统的 shell脚本的工具。由Autoconf生成的配置脚本在运行的时候与Autoconf是无关的，就是说配置脚本的用户并不需要拥有Autoconf。
由Autoconf生成的配置脚本在运行的时候不需要用户的手工干预；通常它们甚至不需要通过给出参数以确定系统的类型。相反，它们对软件包可能需要的各种特征进行独立的测试。（在每个测试之前，它们打印一个单行的消息以说明它们正在进行的检测，以使得用户不会因为等待脚本执行完毕而焦躁。）因此，它们在混合系统或者从各种常见Unix变种定制而成的系统中工作的很好。没有必要维护文件以储存由各个Unix变种、各个发行版本所支持的特征的列表。
对于每个使用了Autoconf的软件包，Autoconf从一个列举了该软件包需要的，或者可以使用的系统特征的列表的模板文件中生成配置脚本。在shell代码识别并响应了一个被列出的系统特征之后，Autoconf允许多个可能使用（或者需要）该特征的软件包共享该特征。如果后来因为某些原因需要调整shell代码，就只要在一个地方进行修改；所有的配置脚本都将被自动地重新生成以使用更新了的代码。
Metaconfig包在目的上与Autoconf很相似，但它生成的脚本需要用户的手工干预，在配置一个大的源代码树的时候这是十分不方便的。不象Metaconfig脚本，如果在编写脚本时小心谨慎， Autoconf可以支持交叉编译（cross-compiling）。
Autoconf目前还不能完成几项使软件包可移植的工作。其中包括为所有标准的目标自动创建`Makefile'文件，包括在缺少标准库函数和头文件的系统上提供替代品。目前正在为在将来添加这些特征而工作。

制作中文分词器

2009-04-10T04:34:00.000-07:00

1. 提出目标
分词器是一个基础件，它是自然语言处理的基本，通用的分词器能够对多种语言，多种编码格式进行切分，输出的信息也很详细，一般包括切分词，词的词性，各词之间的关系，甚至句子的结构等等。人名，地名，新词的识别也是通用分词器解决的问题。分词器的开发是一个没有止境的工作。
这里我们的目标很简单：制作一个简单的中文分词器，只对gbk编码的文本进行分词；输出很简单，只包括切分词。例如：
我们的祖国是花园。
通用的分词结果输出常见的是我们\n 的\a 祖国\n 是\v 花园\n 。\i
而我们将要完成的分词器的输出结果简单地为：
我们\祖国\花园

2. 实现方法
采用正向最大匹配，反向最大匹配，词频统计并进行句子权重计算这三种方法结合来实现。

3. 实现步骤
(1)获取语料，词频统计
语料的质量很重要，语料越大越好。目前我使用的是人民日报1998年语料。该语料已经人工分好词了，我们可以用简单的awk脚本来进行词频的统计，生成一个最初的字典。
(2)“净化”字典。
去掉标点符号，停用词（例如“的”，“吗”等这些单字）。

待续...

C\C++函数参数实际都是整数

2009-04-05T07:25:00.001-07:00

C\C++函数参数实际都是整数.

首先char, short, long都是整数,只是其取值范围不同而已.
再看函数:
char get_char( char* content, int pos );
参数content是一个指针类型,content实质是一个long型的数字. 上面的函数原型只是让我们好理解才那样写的.实际上它是:
char get_char( long content, int pos );

那么我们可以说C\C++函数永远都只是传值的,它是把那些(指针)地址的值(long型)都压入栈中.
仔细想想:

char p[] = { 'y','a','h','o','o','\0' };
fprintf( "addr:%ld.\n", (long)p );
set_char( p, 0, 'Y' );
fprintf( "%s,addr:%ld.\n", p, (long)p );

p本身的值并没有发生改变,因为函数是传值的,调用set_char()只是把p的值copy了一份压入栈中. 改变的是什么呢?是p指向的内容.

中文网页自动分类语料

2009-04-02T20:34:00.000-07:00

CCT2006: 2006年3月中文网页分类训练集CCT2006, 编号YQ-CCT-2006-03.

根据常见的新闻类别而设定的分类体系，从新闻网站上抓取得到对应类别的新闻网页作为训练集页面。它包括960个训练网页和240个测试网页，分布在8个类别中。下载

CCT2002-v1.1:2002年中文网页分类训练集CCT2002-v1.1, 编号YQ-WEBBENCH-V1.1, 说明，在CCT2002-v1.0 的基础上对类别进行了部分修正.

是2002年秋天北京大学网络与分布式实验室天网小组通过动员不同专业的几十个学生，人工选取形成了一个全新的基于层次模型的大规模中文网页样本集。它包括11678个训练网页实例和3630个测试网页实例，分布在11个大类别中。下载

在这儿下载读取原始训练集文件的工具, May 10, 2005

C4.5和C5.0

2009-03-30T05:00:00.000-07:00

Data Mining Tool(s) C4.5:http://www2.cs.uregina.ca/~dbd/cs831/notes/ml/dtrees/c4.5/tutorial.html
Data Mining Tools C5.0 & See5(not free!):http://www.rulequest.com/see5-info.html

Warning: mysql_connect() [function.mysql-connect]: Access denied for user 'ODBC'@'localhost' (using password: NO) in

2009-03-29T20:13:00.000-07:00

Warning: mysql_connect() [function.mysql-connect]: Access denied for user 'ODBC'@'localhost' (using password: NO) in

mysql连接数据库时发生以上的错误信息.

原因是:
(1)mysql_connect()函数没有传入正确的账号及密码, 使得系统默认使用ODBC这个账号去登录了. 请检查一下是不是自己不小心将全局变量直接传给mysql_connect()了, 而没有在函数中先定义一下:
global $global_var
(2)mysql数据库中没有设定权限, 用下面的办法允许该账号登录:
进入mysql环境, 运行:
grant all on *.* to 账号 Identified by "账号密码";

linux下的size_t的数据类型

2009-03-24T19:29:00.000-07:00

在linux下的size_t数据类型是在文件中定义的。

它的定义可能会有下面两种情况：
typedef unsigned int size_t;
或
typedef unsigned long size_t;

可以肯定的一点是它是无符号的。

gprof没有生成gmon文件的原因

2009-03-24T19:11:00.000-07:00

gprof是Unix/Linux下一个强有力的程序分析工具。对于C语言的程序，它能够以“日志”的形式记录程序运行时的统计信息：程序运行中各个函数消耗的时间和函数调用关系，以及每个函数被调用的次数等等。从而可以帮助程序员找出众多函数中耗时最多的函数，也可以帮助程序员分析程序的运行流程。
gprof的使用手册很多，大家可以在网上搜索一下。

实际工作中可能会碰到没有生成gmon文件的情况，这里写下我的实际经验。
(1)必需在编译程序必须使用-pg编译选项，连接的时候必须使用-lc_p库；这两者缺一不可。
(2)程序不能是守护进程。
(3)程序必需正常退出，返回操作系统，gmon文件只在程序退出的时刻生成。强制退出是不能生成gmon文件的。

卓越亚马逊

2009-03-05T19:22:00.000-08:00

http://www.amazon.cn/

以前买书一直在china-pub上，后来有几次给我送的书有问题，觉得china-pub不负责，于是听同事的推荐到amazon上开始买书了。

明显感觉卓越被amazon收购后的变化：
1.绝对不会弹出新的网页，所有的网页均在原来的窗口中(这是对用户的尊重)。
2.推荐引擎做得不错。
3.送货质量提高(包装，订单都很不错，如果书比较多，还会用纸箱做包装)，书的质量也比较高。

Slope One算法

2009-02-11T00:36:00.000-08:00

协同过滤是推荐系统结合不同用户的意见和喜好，以实现个性化的建议的一种技术。协同过滤至少可分两类：以用户为基础(user-based)和以推荐的条目为基础(item-based)。

Slope One 算法是由 Daniel Lemire 教授在 2005 年提出的一个可用于item-based 协同过滤的算法。

参见http://en.wikipedia.org/wiki/Slope_One

BM25算法

2009-02-10T18:28:00.000-08:00

在信息检索领域, 有一个ranking函数(集)BM25.

In information retrieval, Okapi BM25 is a ranking function used by search engines to rank matching documents according to their relevance to a given search query. It is based on the probabilistic retrieval framework developed in the 1970s and 1980s by Stephen E. Robertson, Karen Spärck Jones, and others.

The name of the actual ranking function is BM25. To set the right context, however, it usually referred to as "Okapi BM25", since the Okapi information retrieval system, implemented at London's City University in the 1980s and 1990s, was the first system to implement this function.

BM25, and its newer variants, e.g. BM25F (a version of BM25 that can take document structure and anchor text into account), represent state-of-the-art retrieval functions used in document retrieval, such as Web search.

见http://en.wikipedia.org/wiki/Probabilistic_relevance_model_(BM25)

Top 10 algorithms in data mining

2009-02-09T19:22:00.000-08:00

#1: C4.5(61 votes), presented by Hiroshi Motoda

#2: K-Means(60 votes), presented by JoydeepGhosh

#3: SVM(58 votes), presented by QiangYang

#4: Apriori(52 votes), presented by ChristosFaloutsos

#5: EM(48 votes), presented by Joydeep Ghosh

#6: PageRank(46 votes), presented by Christos Faloutsos

#7: AdaBoost(45 votes), presented by Zhi-HuaZhou

#7: kNN(45 votes), presented by VipinKumar

#7: Naive Bayes(45 votes), presented by QiangYang

#10: CART(34 votes), presented by Dan Steinberg

什么是Behavioral Targeting?

2009-02-04T22:34:00.000-08:00

Behavioral Targeting(或Behavioural Targeting,以下简称BT)是为了提高广告主商业活动效果而采用的一项营销技术.

BT根据搜集到的某用户的行为信息(例如该用户访问过的页面或是查找过的内容,用户曾经购买过的产品),选择出适合的广告显示给该用户,从而帮助广告主把广告投放给那些对该广告更有兴趣的用户,提高广告的效果.

BT可以仅仅靠用户行为进行,或是考虑连同其它因素的基础上进行,例如地理，人口统计或周边情况等。

C++ struct和class的区别

2009-01-24T17:46:00.000-08:00

在C++中，struct和class的区别在于，struct的成员变量和成员函数默认都是public的；而class则默认为private的。
除此之外，两者的功能是相同的。

C++中new(delete)和malloc(free)的常见问题

2009-01-24T08:17:00.000-08:00

Q: "delete p"会释放"p"指针，还是"p"指向的内容"*p"?
A: 会释放"p"指向的内容"*p".
"delete"真正的含义是"delete the thing pointed to by";同样free(p)也是删除释放"p"指向的内容.
至于指针p没有做任何的改变,如果想让我们的程序更加健壮,建议加入下面的一行代码:
p = NULL;
尤其在程序中频繁使用p的时候,这行代码将显得很重要.

Q: 我能用"free()"掉由"new"申请到的,用"delete"掉由"malloc()"申请到的内存吗?
A: 不能.
malloc/free,new/delete必需配对使用!
free掉new申请出来的内存或delete掉malloc申请出来的内存该被痛骂一通.

Q: new/delete和malloc/free有什么区别?
A: 这是一个老问题, 面试官常会问到的问题.
可以从是否调用构造函数/析构函数,类型安全性,是否被重载三个方面讨论:
new/delete会调用构造函数/析构函数;
malloc()返回的是一个不具有类型安全性的"void *",而new会返回正确形态的指针;
new/delete是可以被重载的一个运算子;malloc/free是不能被重载的.

Q: 为什么C++不为"new"来搭建一个类型于"malloc"的realloc()的"函数"呢?
A: 避免产生意外.
realloc()这样的函数会破坏大部分的C++对象.

Q: 如何用new/delete去申请/释放数组?
A: 用new[]和delete[]去实现.
int * p_obj = new int[100];
// ...
delete [] p_obj;
在"new"运算式中使用了"[...]",就必须在"delete"运算式中使用"[]".

Q: 忘记了将"[]"用在"delete"由"new int[100]"申请的数组,会发生什么事?
A: 灾难.
new[]和delete[]正确配对是程序员的,而不是编译器的责任.堆(heap)被破坏是最可能产生的后果,更坏的可能是程序down掉.

Q: "delete this"是合法的吗?
A: 不建议这样使用. 然后这样使用是合法的,只要我们足够小心.这里的小心点有:
1)要确定"this"是由"new"申请来的(而不是new []);
2)确保完成"delete this"后,不能再去碰"this"的对象了,甚至不能碰"this"了,包括不能查看它,或是跟NULL比较.

如何让网络蜘蛛解析JavaScript脚本

2009-01-08T01:25:00.000-08:00

太多的网页使用大量的JS；特别是一些使用了ajax的网页，使得蜘蛛难以处理；目前大部分网络蜘蛛都不去处理JavaScript。

可以尝试让网络蜘蛛使用SpiderMoney引擎去解析JS。

JavaScript is widely used for client-side scripts that run in the browser. But Mozilla's JavaScript engine is a library that can be linked into any C/C++ program, not just a browser. Many applications can benefit from scripting. These programs can execute JavaScript code from C using the SpiderMonkey API.

http://www.mozilla.org/js/spidermonkey/

使用openssl库

2008-12-17T17:41:00.000-08:00

今天帮同事看代码, 问题是这样的:

编译正常, 说明头文件什么的都正确.
链接时出现“undefined reference to `MD5'”:
/tmp/cc2c.o(.text+0x41): undefined reference to `MD5' collect2:ld returned 1 exit status

/usr/lib下有libssl.a一系列的库.

问题的原因:
呵呵, 一般我们都会觉得用openssl, 那么有libssl就可以了,其实openssl主要提供的库是libssl和libcrypto这两个. 使用openssl的库时一定要记住它们.

建议使用C++风格的类型转换

2008-12-13T18:24:00.000-08:00

C++通过引进四个新的类型转换操作符克服了C 风格类型转换的缺点，这四个操作符是static_cast, const_cast, dynamic_cast, 和reinterpret_cast。

static_cast 在功能上基本上与C 风格的类型转换一样强大，含义也一样。它也有功能上限制。例如，你不能用static_cast 象用C 风格的类型转换一样把struct 转换成int 类型或者把double 类型转换成指针类型，另外，static_cast 不能从表达式中去除const属性。

const_cast 用于类型转换掉表达式的const 或volatileness 属性，到目前为止，const_cast 最普通的用途就是转换掉对象的const 属性。

dynamic_cast，它被用于安全地沿着类的继承关系向下进行类型转换。这就是说，你能用dynamic_cast 把指向基类的指针或引用转换成指向其派生类或其兄弟类的指针或引用，而且你能知道转换是否成功。失败的转换将返回空指针（当对指针进行类型转换时）或者抛出异常（当对引用进行类型转换时）。

reinterpret_cast，使用这个操作符的类型转换，它的转换结果几乎都是执行期定义（ implementation-defined ）。因此，使用reinterpret_casts 的代码很难移植。reinterpret_casts 的最普通的用途就是在函数指针类型之间进行转换。

Linux/Unix screen

2008-12-12T20:57:00.000-08:00

您是否会常常碰到这样的情况: 需要远程登录到Linux/Unix服务器,你有一个任务, 这个任务运算时间很长, 短则几小时, 长则几天才能运算结束; 您打开终端, 运行了那个任务, 从此您不能退出终端结束会话,因为一旦会话结束,您的任务的进程也随之退出了;直到你的那个任务运算结束. 其间,您想关了终端去睡觉,去陪您的妻子,孩子?
那我建议您使用screen吧,我把这个工具介绍给了我好多的同事,他们都觉得很好用.

GNU Screen官方地址:http://www.gnu.org/software/screen/

使用方法:
1.直接在命令行键入screen命令
# screen
Screen将创建一个执行shell的全屏窗口。你可以执行任意shell程序，就像在ssh窗口中那样。在该窗口中键入exit退出该窗口窗口。
2. 执行你的任务
# cd ~/gbdt
# ls
# gbdt my.conf
就像在SSH终端输入命令一样, 输入您的命令. 上面就是我拿gbdt来训练数据, 可能需要几个小时完成.
3.让程序继续运行
按一下CTRL+A,D, 暂时断开screen会话, 此时, 我先前执行的那个训练数据的任务继续运行着. 此后, 你就不用再管它了, 可以从服务器上退出, 关了终端.
4.回到先前的screen, 查看结果
过了几个小时了,其间我吃了晚餐,陪家人看了几个小时的电视.忽然想起,那个训练数据的任务该看看结果了.于是我打开电脑,远程登录到服务器,输入:
#screen -ls
There are screens on:
8736.****** (Detached)
1 Sockets in /root/.screen.
我看到系统仅有一个screen(有可能是多个,此时你自己查看一下哪个属于自己的), 于是我继续输入:
#screen -r 8736

哈哈, 进入了先前我创建的那个screen, 我看到训练结果已出来了......

C++静态数据成员的初始化问题

2008-12-12T20:54:00.000-08:00

静态数据成员在类声明中声明, 在包含类声明的文件中初始化。初始化时使用作用域操作符来指出静态成员所属的类。只有在静态成员是const的整型或是const的枚举型时，则可以在类声明中初始化。

例子：
1
2 #include
3
4 class base
5 {
6 public:
7 static const int _num = 10; // 正确，因为_num是const int型
8 };

1
2 #include
3
4 class base
5 {
6 public:
7 static int _num = 10; // 错误，因为_num不是const类型的
8 };

1
2 #include
3
4 class base
5 {
6 public:
7 static const void * _NULL = (void *)0; // 错误，因为_NULL不是const int或是const的枚举型
8 };

1
2 #include
3
4 class base
5 {
6 public:
7 static const void * _NULL; // 声明, 正确
8 };
9 const void * base::_NULL = (void *)0; // 真正的定义，正确, (btw)别忘了_NULL前面的base::
10

static const 定义的常量是全局的，对该类的每一个实例（对象）甚至在全局范围都有效，而且一致。
与全局对象一样，对于静态数据成员在程序中也只能提供一个定义，这意味着静态数据成员的初始化不应该被放在头文件中而应该放在含有类的非inline函数定义的文件中。

SIGBUS和SIGSEGV信号

2008-12-11T04:48:00.000-08:00

两者都是由于内存错误操作收到的信号,不同之处在于:
SIGBUS信号缘于某一个地址被放到地址总线之后被检查出来的不符合对齐的错误；而SIGSEGV则缘于某一个地址已经放到地址总线上了，由后续流程中的某个设施检查出来的内存违法访问错误。
一般我们遇到SIGBUS时总是因为地址未对齐导致的，而SIGSEGV则是由于内存地址不合法造成的。

数据挖掘中的ROC曲线

2008-11-27T01:12:00.000-08:00

我看到“ROC曲线”在百度百科的解释是：

ROC曲线：Receiver Operating Characteeristic
Curve，接受者操作特性曲线，又称感受性曲线，得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。接受者操作特性曲线就是以虚惊概率为横轴，击中概率为纵轴所组成的坐标图，和被试在特定刺激条件下由于采用不同的判断标准得出的不同结果画出的曲线。

我不清楚ROC曲线的起源，但从上面的解释来看，应该和信号处理有关，可能我的判断是错误的。而在数据挖掘领域，ROC曲线更合适的解释是（从互联网上整理得到）：
它是查看一个模型真正率和假正率之间折中的一种图形化显示的方法。以下是几个ROC图中的几个概念：

真正（True Positive , TP）被模型预测为正的正样本
假负（False Negative , FN）被模型预测为负的正样本
假正（False Positive , FP）被模型预测为正的负样本
真负（True Negative , TN）被模型预测为负的负样本
真正率（True Positive Rate , TPR）或灵敏度（sensitivity）
　　TPR = TP /（TP + FN）正样本预测结果数/正样本实际数
假负率（False Negative Rate , FNR）
　　FNR = FN /（TP + FN）被预测为负的正样本结果数/正样本实际数
假正率（False Positive Rate , FPR）
　　FPR = FP /（FP + TN）被预测为正的负样本结果数/负样本实际数
真负率（True Negative Rate , TNR）或特指度（specificity）
　　TNR = TN /（TN + FP）负样本预测结果数 / 负样本实际数

目标属性的被选中的那个期望值称作是“正”（positive）
ROC曲线上几个关键点的解释：

(TPR=0,FPR=0) 把每个实例都预测为负类的模型
(TPR=1,FPR=1) 把每个实例都预测为正类的模型
(TPR=1,FPR=0) 理想模型

一个好的模型其ROC曲线应该是怎样的？

一个好的分类模型应该尽可能靠近图形的左上角，而一个随机猜测模型应位于连接点（TPR=0,FPR=0）和（TPR=1,FPR=1）的主对角线上。
ROC曲线下方的面积（AUC）提供了评价模型平均性能的另一种方法。如果模型是完美的，那么它的AUC = 1，如果模型是个简单的随机猜测模型，那么它的AUC = 0.5，如果一个模型好于另一个，则它的曲线下方面积相对较大。

下面是一段关于ROC曲线分析应用在二值分类问题的描述：
"The ROC analysis applies to binary classification problems. One of the classes is selected as a "positive" one. The ROC chart plots the true positive rate as a function of the false positive rate. It is parametrized by the probability threshold values. The true positive rate represents the fraction of positive cases that were correctly classified by the model. The false positive rate represents the fraction of negative cases that were incorrectly classified as positive. Each point on the ROC plot represents a true_positive_rate/false_positive_rate pair corresponding to a particular probability threshold. Each point has a corresponding confusion matrix. The user can analyze the confusion matrices produced at different threshold levels and select a probability threshold to be used for scoring. The probability threshold choice is usually based on application requirements (i.e., acceptable level of false positives).The ROC does not represent a model. Instead it quantifies its discriminatory ability and assists the user in selecting an appropriate operating point for scoring."

Hadoop - 简介

2008-11-19T06:57:00.000-08:00

Apache Hadoop项目是一个可靠的，可扩展的，分布式计算平台，它是开源软件。
截止目前，Hadoop包括以下四个部分：
Hadoop 内核：Hadoop的核心子项目，提供了一个分布式文件系统(HDFS)和支持MapReduce的分布式计算。
HBase：建立在Hadoop内核之上，提供可靠的，可扩展的分布式数据库。
Pig：建立于Hadoop内核之上，是一种支持并行计算运行框架的高级数据流语言。
ZooKeeper：一个高效的，可扩展的协调系统。分布式应用可以使用ZooKeeper来存储和协调关键共享状态。

目前，IBM，Google，Yahoo!，Facebook等公司都有使用Hadoop。

Taobao Machine Learning Tools

2008-11-16T02:43:00.000-08:00

Taobao Machine Learning Tools，我最近正在筹划的一个项目，打算使用业余时间完成，供以后在实际工作中使用。版权归Taobao所有。该工具主要提供一些机器学习的算法，例如LogLinear，GBDT，SVM等等，可以用它去训练和测试数据等等。

我觉得这是一个比较有意义的项目。

SPSS 15.0版本的序列号生成器

2008-11-15T23:49:00.000-08:00

发现一个非常好的SPSS15.0版本的序列号生成器：
http://www.alibaby.org/alibaby_dl/

只适用于SPSS15.0版本。

Google搜索有意思的一个bug

2008-11-11T06:19:00.000-08:00

无意间在Google的搜索引擎上搜索“没谱是什么意思”，搜索的结果让我结舌：第一页结果全是关于mp3的内容。
难道Google把“没谱是”一词拿出来了取了声母成了"MP3"? 但是如果单独搜索“没谱是”的结果是好的，“没谱”也是好的。

想不明白为什么是这个结果，明天去问问那个在Google做中文分词的同学。

FreeBSD查询CPU信息

2008-11-10T19:37:00.000-08:00

在FreeBSD上，要查看当前系统CPU信息，可用/etc/bin/smbiosinfo

Gradient Boosted Decision Trees(GBDT)

2008-11-09T23:34:00.000-08:00

最近看了看GBDT, 即Gradient Boosted Decision Trees(梯度渐近决策树).
据我实际测试发现, 它与TreeNet的效果相当.

wiki地址:
http://vis.berkeley.edu/courses/cs294-10-fa07/wiki/index.php/FP-Jerry_Ye_and_Jimmy_Chen

相关的论文:
Friedman, J. H. "Stochastic Gradient Boosting." (Feb. 1999a)
Friedman, J. H. "Greedy Function Approximation: A Gradient Boosting Machine." (March 1999b)
Zhu, Ji; Rosset, Saharon; Zou Hui; Hastie, Trevor "Multi-class Adaboost" (Jan. 2006)