PHP+MYSQL 简单实现中文分词全文索引

相信很多人都研究过mysql的中文全文索引问题,目前mysql不支持中文全文索引,无奈~~~
网上找了n多关于php+mysql中文全文索引的文章都没有一个好用的,对于一般的菜鸟根本不知道怎么使用,php中文分词有ddede的,dede的词库不是很强大,还算可以用吧!
还有一个是《scws-简易中文分词系统》这个目前对于一般菜鸟根本不知道怎么用,虽然有人编译了windows版的,但安装还是挺麻烦的,我尚未测试过!
//==========================
废话不多说了,首先去dede下载分词算法函数和词库;下载地址:
里面有详细的使用说明,我在这里举一个使用的例子;
mysql表名:music
字段:title,tag
require(lib_splitword_full.php);
$str=这里是你要分词的内容,一般不要超过1024kb会好一点,否则会很慢!;
$sp=newsplitword();//实例化
$dd=explode(,$sp->splitrmm($str));
$i=0;
foreach($ddas$key=>$var){
if(strlen($var)>2)//utf8编码的请设置为3,因为utf8编码的中文一般为3个字节以上,过滤单个字不保存!
{
$str.=base64_encode($var).;//由于mysql不支持中文全文索引,所以在分词中我们必须把词转换成字母或者数字,这里我选择了base64编码
//当然大家还可以把中文转成区码,但我测试过区码的方法,感觉很一般,所以在这样我推荐大家使用base64
$i++;
}
if($i>=50)break;//这里是设置你要存储多少个词组,如果是文章可能会有n多词组,你可以设置大一点,但如果你对标题分词的话,50个已经足够了!
//这样运行未编码得出来的结果:这里分词内容一般不要超过1024kb一点否则
//base64编码后的结果:1ela7w==t9a0yg==xnri3q==0ruw4w==srvsqg==s6y5/q==mtaynetc0ru14w==t/hu8g==
}
?>
这样我们就可以把分好词而且转换成编码的分词存进tag字段了,当然tag字段必须设置成全文索引fulltext而且数据表类型必须为myisam。
tag字段数据类型为char和varchar、text,有关如何创建mysql全文索引,大家可以搜索一下《mysql创建索引》遍地开花,到处都是!
下面的例子是根据tag字段的内容进行全文索引查询:
include(mysql.class.php);
$rs=$db->get_one(selecttitle,tagfrommusicwhereid=$id);//根据id读取title和tag字段内容
$title=$rs['title'];
$sql=$db->query(selecttitle,match(tag)against('.trim($rs['tag']).'inbooleanmode)asscorefrommusicwherematch(tag)against('.trim($rs['tag']).'inbooleanmode)orderbyscoredesclimit21);//这里是查询20条相似的内容,而且按相似的排序,21是因为同一条记录都会匹配出来!
while($rs=$db->fetch_array($sql))
{
if($rs['title']!=$title)
{
echo$rs['title'].
;
}
}
$db->close();
?>
如果大家想看效果可以到我的小站看演示:
以上的例子就实现了php+mysql简单的中文分词全文索引!
希望对跟我一样的菜鸟有一定的帮助吧!
本人blog: