NLP工具库

seg分词模块(MM,HMM，CRF)

• HMMmodel使用

import (
	"fmt"

	"github.com/cocaer/goNLP/seg"
)
func main() {
	//seg.HmmSaveTraning()
	m := seg.NewHmmSeg() //基于hmm的优化实现
	fmt.Println(m.Cut("结婚的和尚未结婚的"))
}

output:[结婚 的 和 尚未 结婚 的]

测试(icwb2-data/testing/msr_test.utf8)

| Algorithm | Time | Precision | Recall |F-Measure | | ------------ | ------------|------------ | ------------ |------------| | LTP | 3.21s | 0.867 |0.896| 0.881| |ICTCLAS(2015版) |0.55s | 0.869 |0.914|0.891| | jieba(C++版) | 0.26s | 0.814 |0.809|0.811| | THULAC_lite |0.62s|0.870|0.899|0.888| | goNLP|2.01s |0.880|0.909|0.894|