计划临时网址: http://php.twomice.net/mysql_ft/
---------------------------------------------------------------------
这不光是 mysql 的事, 与 php 配合更是爽!! 做一个小规模搜索引擎将不再是烦恼!!
20060914: 发布为 mysql 5.1.x 定制的相应插件, 详见主页 :p
最新情况
【2006年09月09日】
针对 MyISAM fulltext (全文检索) 定制的带有词典分词能力及多字节字符支持(特别是中文)第一个版本发布.
概述介绍
MySQL 从 3.23 的某个小版本开始就已经支持在 MyISAM 表中建立全文索引的列. 但一直不支持多字节字符集(如中文), 更不可能具备分词能力了. 经过对单字节字符集的试用, 感觉效果挺好. 凭借着兴趣及应用的需要, 加上之前发布的简易分词系统, 决定以 MySQL-4.0.26 为基础, 自己动手加入多字节字符集的检索与简易的词典分词. 在不影响MySQL的系统结构及其他功能的前提下, 解决MySQL目前对中文全文检索无法正确支持的缺陷并进而优化MySQL对中文检索处理的性能.
关于什么是分词、何谓全文检索以及为什么要这样做, 请自行 Google 或借助其它资料先了解一下.
由于时间和手头没有比较好的测试库, 临时组建了一个约 200MB , 7.6万行的数据表进行了简易测试. 建立
顺便提一下, 有一个叫作海量的分词技术公司, 很早就做过 mysql-chinese 的 hack, 不过迟迟没有按照 GNU 精神及时发布源码, 所以才决定自己来作.
安装使用
0. 本软件包目前只支持从源码方式编译安装, 这里假定您已经拥有这方面的知识基础
1. 从本地 下载 获取源码包, 格式为: mysql-4.0.6h**.tgz
wget http://php.twomice.net/mysql_ft/mysql-4.0.26h1.tgz
2. 解压编译安装:
tar xvzf mysql-4.0.26h1.tgz
cd mysql-4.0.26h1/
./configure --prefix=/usr/local --with-charset=gb2312 --with-extra-charsets=all --enable-hightman-mbft
make
make install
3. 拷入词库文件 (可自行定制, 格式参照源码目录下的: README.hightman_mbft 说明吧）
cp -f support-files/wordlist-gbk.txt $PREFIX/share/mysql/
cp -f support-files/stopwords-gbk.txt $PREFIX/share/mysql/
4. 修改 /etc/my.cnf 在 [mysqld] 位置内加入:
ft_wordlist_charset = gbk
ft_wordlist_file = /home/soft/mysql/share/mysql/wordlist-gbk.txt
ft_stopword_file = /home/soft/mysql/share/mysql/stopwords-gbk.txt
ft_min_word_len = 2
说明: ft_wordlist_charset 表示词典的字符集, 目前支持良好的有(UTF-8, gbk, gb2312, big5)
ft_wordlist_file 是词表文件, 每行包括一个词及其词频(用若干制表符或空格分开,消岐专用)
ft_stopword_file 表示过滤掉不索引的词表, 一行一个.
ft_min_word_len 加入索引的词的最小长度, 缺省是 4, 为了支持中文单字故改为 2
5. 重启 mysqld 服务器
$PREFIX/share/mysql/mysql.server stop
$PREFIX/share/mysql/mysql.server start
6. 建表测试, 参见页面底部的测试命令或翻查 MySQL 手册吧.
本地下载
· [20060909] - 发布第一个版本, 内测完毕. 本地直接下载: mysql-4.0.26.h1.tgz (MD5: ffa39dfc9ab9cbff953035f2c084734
前瞻计划
* 在 SELECT 句法中加入 SEGMENT(str) 函数返回切好的词 (空格隔开??)
* 对于带有 MATCH() 从句或条件的 SELECT 句法可以使用 MATCH_POS() 返回第一次出现关键词的位置??
* 欢迎有兴趣的能人力士加入一起完善, 或计划提交给 mysql 总部?? (只是 mysql 发展太快了, 由于某些原因目前本人还在用 mysql 4.0)
其它说明
本软件秉承GNU(通用公共许可证)精神释出, 旨在抛砖引玉, 互相学习促进.
hack 部分的代码全部由本人(即 hightman)独立完成, 未经同意请勿修改代码包括但不限于商业应用、分支发布等. 本改进软件包不包含任何恶意代码, 由于本人水平及精力有限, Bug及错误之处在所难免, 由此升级修改引起的数据丢失等后果本人不承担任何责任.
关于本软件的bug报告、疑问以及建议或改进优化代码请联系我. (MSN: [email]MingL_Mar@msn.com[/email] 或加 QQ群: 17708754)
对源码有兴趣者请自行 grep 与 HAVE_HIGHTMAN_MBFT 相关的部分代码 主要集中在以下文件:
sql/mysqld.cc
sql/set_var.cc
include/ft_global.h
myisam/ft_wordlist.c(新增)
myisam/ft_stopwords.c
myisam/ft_parser.c
myisam/ftdefs.h
myisam/ft_static.c
测试情况(略)
[ 本帖最后由 hightman 于 2006-9-14 11:17 编辑 ]
bs 回复于：2006-09-09 14:05:26
关注中
hightman 回复于：2006-09-09 14:45:38
希望有人帮助完善加入用 SELECT 句法的函数
SEGMENT(str) 和 MATCH_POS(), 这样就非常完整了. ^-^
MYSQL 的解析器到函数的映射看得有点晕,呵
james.liu 回复于：2006-09-09 17:51:54
php+bridge+java+lucene做全文检索速度很快的。
不过你这个思路蛮好的，，不知道有没有架构图或者流程图，这样方便了解整个过程实现。
数据量加到50万吧。。7万感觉少了点。
关注。。。
hightman 回复于：2006-09-09 18:45:56
1. 回楼上, Lucene 的确久经考验, 不过它运行在java环境, 不习惯也不会用 :p 而且好像也没有比较好的免费 java 版分词
基于 mysql 的话, 使用相对要方便得多, 包括更新索引和维护.... 更主要的是假设一个 MyISAM 表支持 50万数据还比较理想的话, 通过简单的拆分设计就非常容易把总量做大... 对于中小型数据检索应该够用了.
2. 现在发布第二次修订版本, 增加函数 SEGMENT(str) 用于 select 句法中... 直接返回分好的语汇(空格分开)
这样的改法有点偏离初衷, 因为改动了它的语法 :( 但没有想到更好的作法, 故暂时就这样了.
原计划开发 MATCH_POS() 函数, 现已放弃, 只需配合 SEGMENT() + LOCATE() 很容易实现
mysql> SELECT SEGMENT("hello,你好我是一个中国人。英语叫chinese");
+----------------------------------------------------+
| segment("hello,你好我是一个中国人。英语叫chinese") |
+----------------------------------------------------+
| 你好 我是 一个 中国人 英语 叫 chinese |
+----------------------------------------------------+
1 row in set (0.00 sec)
mysql> SELECT title, SEGMENT(title) from articles limit 4,4;
+-------------------+-------------------+
| title | SEGMENT(title) |
+-------------------+-------------------+
| MySQL vs. YourSQL | MySQL YourSQL |
| MySQL Security | MySQL Security |
| 中国测试 | 中国 测试 &nbs
