自然语言处理(NLP)

• 基于词典规则的系统无法正确处理有二义性的短语.
• 无法处理未记载于词典里的新词.
  实际整理词典时会发现, 中文环境中的新词几乎是源源不断地被创造出来, 想要通过人工完善词典是不可能的.
  估计中文的词汇量超过40万个, 这对于查询来说也很困难, 为此必须使用专门的数据结构.

• Set: 牺牲时间换空间
• Map: 牺牲空间换时间
• 字典树(Trie): 仅在静态语言里可用(内存结构有优势)的推荐做法, 需要提前编译
• 前缀树(Prefix Trie): 在字典树的基础上上进一步加快速度, 编译时间更长.
• AC自动机(Aho-Corasick): 优于前缀树, 内部含有后缀树.
• BinTrie: 首字散列其余二分的字典树, 出自HanLP.
• 双数组字典树(DAT, Double Array Trie): 速度最快的结构, 实现难度大, 编译难度大.
  DAT的经典实现是Darts(Double-ARray Trie System)

for i in 0..text.len() {
    for (id, length) in dat.common_prefix_search(&text[i..]) {
       // ...
    }
}

• AC双数组字典树(ACDAT, Aho Corasick Double Array Trie):
  由HanLP作者提出的概念, 融合了AC自动机和DAT, 其性能表现不如DAT, 作者认为是由汉语的特殊性造成的.

• 技术陈旧.
• 算法存在缺陷.
• 自带词典的词性标注错误百出.
• 词典收录了一些莫明其妙的词汇.
• 词典大小不匹配: idf词典的内容少于主词典.
• 用户词典优先级太高, 会覆盖掉默认词典里相同的词, 这导致一些原本有词性的词丢失词性标注.
• 分词功能不支持自定义停用词.
• API缺乏实用性:
• • 无法在不分词的前提下查询词典里的项目, 例如查找单个词汇的td-idf值.
  • cutForSearch(在不使用HMM的情况下)和cutAll会把单词切分为字母, 简直无法理解.
  • cut系列的API太高级, 以至于无法生成适合连续短语搜索的分词结果.
• 尽管jieba的各种实现速度都比较快, 但准确性往往大幅弱于其他解决方案.
• cppjieba的实现没有足够的内存优化, 载入字典后会占用大量内存.

• 需要大型的语料库来得出IDF值.
• 用于提取关键词时, 罕见词语是重要词语的假设可能是错误的.
• 因为停用词的词频可能非常高, 导致TF-IDF也很高, 因此需要准备一份用于过滤的停用词表.
• 忽略了语序的意义.

1. 1.
   根据标点符号将文本切割成句子.
2. 2.
   根据停用词表拆分句子, 得到的短语即为候选关键词.
   RAKE因此 可以提取出相当长的短语作为关键词, 这是该算法的特点之一.
   对于停用词表容易收集的语言(例如英语)好用, 难以收集的语言(例如中文)则难以使用.
3. 3.
   为候选关键词中的每个单词计算统计特征:
4. • 词频 (Word Frequency):
     该单词在所有候选短语中出现的总次数(对于短语中该单词重复出现的情况, 次数也相加).
   • 词度 (Word Degress):
     出现该单词的候选短语的单词数的总和.
   • 词分数(Word Score): 词分数 = 词度 / 词频
5. 5.
   计算候选短语的分数:
   短语中单词的词分数的总和(对于短语中存在重复单词的情况, 分数也相加).
6. 6.
   取分数排名前1/3的候选短语作为结果.

• 对于新出现的概念, 很可能没有足够的语料用来学习.
• 对于嵌入模型的分词器无法切成一个词的情况, 将需要更多数据量才能学习.

1. 1.
   通过SBERT或其他嵌入模型生成文档嵌入.
2. 2.
   用UMAP对嵌入进行降维.
   这一步是因为高维向量受维数灾难影响, 聚类效果很差.
3. 3.
   通过HDBSCAN对降维后的嵌入进行聚类, 获得多个文档簇.
4. 4.
   通过c-TF-IDF对每个文档簇进行主题词提取.
   这一步骤是为了提供可解释性, 因为聚类获得的文档簇没有人类可读的标签.