时时商务社区

标题: php实现的中文分词类完整实例 [打印本页]

作者: wx_pylelnL4 时间: 2018-2-14 05:28

         本文实例讲述了php实现的中文分词类。分享给大家供大家参考，具体如下：
该中文分词类源码使用http://tools.jb51.net/code/jb51_php_format进行了格式化处理，便于阅读。具体代码如下：
class Segmentation {
  var $options = array('lowercase' => TRUE,
  'segment_english' => FALSE);
  var $dict_name = 'Unknown';
  var $dict_words = array();
  function setLowercase($value) {
if ($value) {
   $this->options['lowercase'] = TRUE;
} else {
   $this->options['lowercase'] = FALSE;
}
return TRUE;
  }
  function setSegmentEnglish($value) {
if ($value) {
   $this->options['segment_english'] = TRUE;
} else {
   $this->options['segment_english'] = FALSE;
}
return TRUE;
  }
  function load($dict_file) {
if (!file_exists($dict_file)) {
   return FALSE;
}
$fp = fopen($dict_file, 'r');
$temp = fgets($fp, 1024);
if ($temp === FALSE) {
   return FALSE;
} else {
   if (strpos($temp, "\t") !== FALSE) {
      list ($dict_type, $dict_name) = explode("\t", trim($temp));
   } else {
      $dict_type = trim($temp);
      $dict_name = 'Unknown';
   }
   $this->dict_name = $dict_name;
   if ($dict_type !== 'DICT_WORD_W') {
      return FALSE;
   }
}
while (!feof($fp)) {
   $this->dict_words[rtrim(fgets($fp, 32))] = 1;
}
fclose($fp);
return TRUE;
  }
  function getDictName() {
return $this->dict_name;
  }
  function segmentString($str) {
if (count($this->dict_words) === 0) {
   return FALSE;
}
$lines = explode("\n", $str);
return $this->_segmentLines($lines);
  }
  function segmentFile($filename) {
if (count($this->dict_words) === 0) {
   return FALSE;
}
$lines = file($filename);
return $this->_segmentLines($lines);
  }
  function _segmentLines($lines) {
$contents_segmented = '';
foreach ($lines as $line) {
   $contents_segmented .= $this->_segmentLine(rtrim($line)) . " \n";
}
do {
   $contents_segmented = str_replace(' ', ' ', $contents_segmented);
}
while (strpos($contents_segmented, ' ') !== FALSE);
return $contents_segmented;
  }
  function _segmentLine($str) {
$str_final = '';
$str_array = array();
$str_length = strlen($str);
if ($str_length > 0) {
   if (ord($str{$str_length-1}) >= 129) {
      $str .= ' ';
   }
}
for ($i=0; $i= 129) {
      $str_array[] = $str{$i} . $str{$i+1};
      $i++;
   } else {
      $str_tmp = $str{$i};
      for ($j=$i+1; $j 0) {
   $char = $str_array[$pos-1];
   if (is_array($char)) {
      $str_final_tmp = $char[0];
      if ($this->options['segment_english']) {
      $str_final_tmp = preg_replace("/([\!\"\#\$\%\&\'\*\+\,\-\.\/\:\;\\?\@\[\\\\\]\^\_\`\{\|\}\~\t\f]+)/", " $1 ", $str_final_tmp);
$str_final_tmp = preg_replace("/([\!\"\#\$\%\&\'\*\+\,\-\.\/\:\;\\?\@\[\\\\\]\^\_\`\{\|\}\~\t\f])([\!\"\#\$\%\&\'\*\+\,\-\.\/\:\;\\?\@\[\\\\\]\^\_\`\{\|\}\~\t\f])/", " $1 $2 ", $str_final_tmp);
      }
      if ($this->options['lowercase']) {
      $str_final_tmp = strtolower($str_final_tmp);
      }
      $str_final = " $str_final_tmp$str_final";
      $pos--;
   } else {
      $word_found = 0;
      $word_array = array(0 => '');
      if ($pos 1; $i--) {
      if (array_key_exists($word_array[$i], $this->dict_words)) {
         $word_found = $i;
         break;
      }
      }
      if ($word_found) {
      $str_final = " $word_array[$word_found]$str_final";
      $pos = $pos - $word_found;
      } else {
      $str_final = " $char$str_final";
      $pos--;
      }
   }
}
return $str_final;
  }
}
?>
更多关于PHP相关内容感兴趣的读者可查看本站专题：《php常用函数与技巧总结》、《php字符串(string)用法总结》、《PHP数组(Array)操作技巧大全》、《PHP基本语法入门教程》、《php+mysql数据库操作入门教程》及《php常见数据库操作技巧汇总》
希望本文所述对大家PHP程序设计有所帮助。


您可能感兴趣的文章:

php中计算中文字符串长度、截取中文字符串的函数代码

PHP统计目录中文件以及目录中目录大小的方法

php与javascript正则匹配中文的方法分析

PHP 实现字符串翻转（包含中文汉字）的实现代码

php自定义函数实现统计中文字符串长度的方法小结

欢迎光临时时商务社区 (http://bbs.4435.cn/)