如何用python和jieba分词，统计词频？SEM里面分词到底该如何分，有什么好的分词工具吗

本文目录

• 如何用python和jieba分词，统计词频
• SEM里面分词到底该如何分，有什么好的分词工具吗
• 有哪些比较好的中文分词方案
• 中文分词
• 分词器是什么
• ElasticSearch 分词器，了解一下
• antconc怎么分词
• 谁来推荐一个JAVA的分词工具
• 词云可视化——中文分词与词云制作
• python常见的中文分词包含哪些应该怎么使用

如何用python和jieba分词，统计词频

 #! python3# -*- coding: utf-8 -*-import os, codecsimport jiebafrom collections import Counter def get_words(txt):    seg_list = jieba.cut(txt)    c = Counter()    for x in seg_list:        if len(x)》1 and x != ’\r\n’:            c += 1    print(’常用词频度统计结果’)    for (k,v) in c.most_common(100):        print(’%s%s %s  %d’ % (’  ’*(5-len(k)), k, ’*’*int(v/3), v)) if __name__ == ’__main__’:    with codecs.open(’19d.txt’, ’r’, ’utf8’) as f:        txt = f.read()    get_words(txt)

SEM里面分词到底该如何分，有什么好的分词工具吗

　　百度推广账户是由推广计划、推广单元、关键词组合而成的，每个部分都需要分析市场和需求来进行划分与撰写，俺今天没有被委派创建计划单元，而是将单元中的关键词进行分组，乍听起来貌似还比较容易但真的做起来就有些凌乱了。　　我的一个单元，打开之后竟然有好几百的关键词，然后让我将其重新分类分词：把意义相同，相近，语言表达有相同或相近意义的词语进行归类！　　看着这几百个词顿时脑子就乱套了，先是把这些词总结到EXCEL里面就是一个工程，好在有一个提词的神器，否则真是欲哭无泪了。　　分词思路方法小结：　　1.根据类别进行筛选分类　　2.通过语句的连接词进行分类　　3.特殊口语单独分类　　4.通过定语进行分类　　5.经验决定分类　　其实分词的方式并不局限于教程，而是根据每个人的经验不同而有不同的差别，和优化一样，对于栏目的把控人人有人人的方法，我们不能说哪种是对的，只有百度认可才是王道。分词工具百度可以找下，很多　　做任务，望采纳

有哪些比较好的中文分词方案

中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块。不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性、句法树等模块的效果。当然分词只是一个工具，场景不同，要求也不同。在人机自然语言交互中，成熟的中文分词算法能够达到更好的自然语言处理效果，帮助计算机理解复杂的中文语言。竹间智能在构建中文自然语言对话系统时，结合语言学不断优化，训练出了一套具有较好分词效果的算法模型，为机器更好地理解中文自然语言奠定了基础。在此，对于中文分词方案、当前分词器存在的问题，以及中文分词需要考虑的因素及相关资源，竹间智能自然语言与深度学习小组做了些整理和总结。中文分词根据实现原理和特点，主要分为以下2个类别：

1、基于词典分词算法也称字符串匹配分词算法。该算法是按照一定的策略将待匹配的字符串和一个已建立好的“充分大的”词典中的词进行匹配，若找到某个词条，则说明匹配成功，识别了该词。常见的基于词典的分词算法分为以下几种：正向最大匹配法、逆向最大匹配法和双向匹配分词法等。基于词典的分词算法是应用最广泛、分词速度最快的。很长一段时间内研究者都在对基于字符串匹配方法进行优化，比如最大长度设定、字符串存储和查找方式以及对于词表的组织结构，比如采用TRIE索引树、哈希索引等。

2、基于统计的机器学习算法这类目前常用的是算法是HMM、CRF、SVM、深度学习等算法，比如stanford、Hanlp分词工具是基于CRF算法。以CRF为例，基本思路是对汉字进行标注训练，不仅考虑了词语出现的频率，还考虑上下文，具备较好的学习能力，因此其对歧义词和未登录词的识别都具有良好的效果。NianwenXue在其论文《Combining Classifiers for Chinese Word Segmentation》中首次提出对每个字符进行标注，通过机器学习算法训练分类器进行分词，在论文《Chinese word segmentation as character tagging》中较为详细地阐述了基于字标注的分词法。常见的分词器都是使用机器学习算法和词典相结合，一方面能够提高分词准确率，另一方面能够改善领域适应性。

中文分词

中文分词主要有三种技术，分别为：

基于统计的分词模型其主要思想是把每个词看作是由词的最小单位的各个字组成的，如果相连的字在不同的文本中出现的次数越多，就证明这相连的字很可能就是一个词。 其一般分为两步：

语言模型中常用的为n元模型，所谓n元模型就是在估算条件概率时，忽略距离大于等于n的上文此的影响，其概率计算公式如下：

一般使用频率计数的比例来计算n元条件概率

当n越大时，模型包含的词序信息越丰富，同时计算量随之增大。与此同时，长度越长的文本序列出现的次数也会减少。同时为避免出现分母为零的情况，一般在n元模型中与要配合相应得平滑算法来解决这个问题，例如拉普拉斯平滑等

隐含马尔可夫模型是将分词作字在字串中得序列标注任务来实现的，其基本思路是：每个字在构造一个特定的词语时都占据着一个确定的构词位置。 用数学抽象表示如下: 用 代表输入的句子，n为句子长度， 代表输出的标签，理想输出为：

我么们假设每个字的输出仅仅与当前字有关，就可以得到：

通过贝叶斯公式我们可以把最大化 转化为最大化

针对 作马尔可夫假设，得到：

对 有：

作齐次马尔可夫假设的计算公式如下(这个公示表示，每个输出仅仅与上一个输出有关):

于是得到：

~

在HMM中，求解 的常用方法是Veterbi算法，这个算法的核心思想是： 如果最终的最优化路径经过某个 ,那么从初始节点到 点的路径必然也是一个最优路径。

最常用的就是先基于词典的方式进行分词，然后再用统计分词方法进行辅助。

jieba分词结合了基于规则和基于统计这两类方法。 jieba提供了三种分词模式：

除了可以进行分词外，还可以进行词性标注。

下面是各种分词工具比较：

图片 来自

还有 NLPIR汉语分词系统 ，主要功能包括中文分词；英文分词；词性标注；命名实体识别；新词识别；关键词提取；支持用户专业词典与微博分析。NLPIR系统支持多种编码、多种操作系统、多种开发语言与平台

分词器是什么

分词器，是将用户输入的一段文本，分析成符合逻辑的一种工具。到目前为止呢，分词器没有办法做到完全的符合人们的要求。和我们有关的分词器有英文的和中文的英文的分词器过程：输入文本-关键词切分-去停用词-形态还原-转为小写中文的分词器分为：单子分词 例：中国人 分成中，国，人二分法人词:例中国人：中国，国人词典分词：有基本的语意来进行分词的，例：中国人分成中国，国人，中国人，现在用的是极易分词和庖丁分词。停用词：不影响语意的词。网上有很多说分词器效果的，我在这里就不进行多说了

ElasticSearch 分词器，了解一下

这篇文章主要来介绍下什么是 Analysis ，什么是分词器，以及 ElasticSearch 自带的分词器是怎么工作的，最后会介绍下中文分词是怎么做的。

首先来说下什么是 Analysis：

顾名思义，文本分析就是 把全文本转换成一系列单词（term/token）的过程 ，也叫 分词 。在 ES 中，Analysis 是通过 分词器（Analyzer） 来实现的，可使用 ES 内置的分析器或者按需定制化分析器。

举一个分词简单的例子：比如你输入 Mastering Elasticsearch ，会自动帮你分成两个单词，一个是 mastering ，另一个是 elasticsearch ，可以看出单词也被转化成了小写的。

再简单了解了 Analysis 与 Analyzer 之后，让我们来看下分词器的组成：

分词器是专门处理分词的组件，分词器由以下三部分组成：

同时 Analyzer 三个部分也是有顺序的，从图中可以看出，从上到下依次经过 Character Filters ， Tokenizer 以及 Token Filters ，这个顺序比较好理解，一个文本进来肯定要先对文本数据进行处理，再去分词，最后对分词的结果进行过滤。

其中，ES 内置了许多分词器：

接下来会对以上分词器进行讲解，在讲解之前先来看下很有用的 API： _analyzer API ：

它可以通过以下三种方式来查看分词器是怎么样工作的：

再了解了 Analyzer API 后，让我们一起看下 ES 内置的分词器：

首先来介绍下 Stamdard Analyzer 分词器：

它是 ES 默认的分词器 ，它会对输入的文本 按词的方式进行切分 ，切分好以后会进行 转小写 处理， 默认的 stopwords 是关闭的 。

下面使用 Kibana 看一下它是怎么样进行工作的，在 Kibana 的开发工具（Dev Tools）中指定 Analyzer 为 standard ，并输入文本 In 2020, Java is the best language in the world. ，然后我们运行一下：

运行结果如下：

可以看出是按照空格、非字母的方式对输入的文本进行了转换，比如对 Java 做了转小写，对一些停用词也没有去掉，比如 in 。

其中 token 为分词结果； start_offset 为起始偏移； end_offset 为结束偏移； position 为分词位置。

下面来看下 Simple Analyzer 分词器：

它只包括了 Lower Case 的 Tokenizer ，它会按照 非字母切分 ， 非字母的会被去除 ，最后对切分好的做 转小写 处理，然后接着用刚才的输入文本，分词器换成 simple 来进行分词，运行结果如下：

从结果中可以看出，数字 2020 被去除掉了，说明非字母的的确会被去除，所有的词也都做了小写转换。

现在，我们来看下 Whitespace Analyzer 分词器：

它非常简单，根据名称也可以看出是 按照空格进行切分 的，下面我们来看下它是怎么样工作的：

可以看出，只是按照空格进行切分， 2020 数字还是在的， Java 的首字母还是大写的， , 还是保留的。

接下来看 Stop Analyzer 分词器：

它由 Lowe Case 的 Tokenizer 和 Stop 的 Token Filters 组成的，相较于刚才提到的 Simple Analyzer ，多了 stop 过滤，stop 就是会把 the ， a ， is 等修饰词去除，同样让我们看下运行结果：

可以看到 in is the 等词都被 stop filter 过滤掉了。

接下来看下 Keyword Analyzer ：

它其实不做分词处理，只是将输入作为 Term 输出，我们来看下运行结果：

我们可以看到，没有对输入文本进行分词，而是直接作为 Term 输出了。

接下来看下 Pattern Analyzer ：

它可以通过 正则表达式的方式进行分词 ，默认是用 \W+ 进行分割的，也就是非字母的符合进行切分的，由于运行结果和 Stamdard Analyzer 一样，就不展示了。

ES 为不同国家语言的输入提供了 Language Analyzer 分词器，在里面可以指定不同的语言，我们用 english 进行分词看下：

可以看出 language 被改成了 languag ，同时它也是有 stop 过滤器的，比如 in , is 等词也被去除了。

最后，让我们看下中文分词：

中文分词有特定的难点，不像英文，单词有自然的空格作为分隔，在中文句子中，不能简单地切分成一个个的字，而是需要分成有含义的词，但是在不同的上下文，是有不同的理解的。

比如以下例子：

那么，让我们来看下 ICU Analyzer 分词器，它提供了 Unicode 的支持，更好的支持亚洲语言！

我们先用 standard 来分词，以便于和 ICU 进行对比。

运行结果就不展示了，分词是一个字一个字切分的，明显效果不是很好，接下来用 ICU 进行分词，分词结果如下：

可以看到分成了 各国 ， 有 ， 企业 ， 相继 ， 倒闭 ，显然比刚才的效果好了很多。

还有许多中文分词器，在这里列举几个：

IK ：

jieba ：

THULAC ：

大家可以自己安装下，看下它中文分词效果。

本文主要介绍了 ElasticSearch 自带的分词器，学习了使用 _analyzer API 去查看它的分词情况，最后还介绍下中文分词是怎么做的。

antconc怎么分词

打开exe文件运行，点击右上角功能性分析，分词，选择文件进行分析即可。这个软件很贴心，自己就会把文件写好“分词后”，分词之前一定要注意txt文档的编码是ANSI，不然分出来会乱码。分词软件一般需要收费，但有一个很好用的在线分词工具，NLPIR-ICTCLAS汉语分词系统。

谁来推荐一个JAVA的分词工具

java读取中文分词工具：lingerJava开源中文分词器1、word分词器2、Ansj分词器3、Stanford分词器4、FudanNLP分词器5、Jieba分词器6、Jcseg分词器7、MMSeg4j分词器8、IKAnalyzer分词器9、Paoding分词器10、smartcn分词器

词云可视化——中文分词与词云制作

第一：主题和意义

你为什么需要制作个性化词云，是艺术品还是研究分析内容的一种表现方式，是文本挖掘技术的可视化，还是为了传播更方便。形式大于内容，在有内容的前提下，可视化也是一种分析！当然我更倾向文本挖掘后的内容可视化。

当然，我也不反对纯粹为了表现或者玩玩的可视化，玩也是一种学习。 因此选择什么主题，什么主题适合用个性化词云表现就更为重要了。比如：为大人物明星打标签，品牌logo打标签，SUV汽车打标签，电视台台标打标签都是好的创意和选择。

第二：语料收集

个性化词云是依赖语料和抽取语料关键词呈现的，如果你有了要表现的词云标签，就可以直接制作词云了。记住这里要有两个数据：1、标签关键词 2、关键词词频，词频决定关键词的显示大小。

语料的收集依赖你的主题和想法，从应用的角度我们主要是为了分析微博，所有微博是最好的语料来源，也是文本挖掘的结果。当然你可以从任何途径和资源活动要表现的语料。

第三：分词和关键词抽取

当你获得语料后，如果需要抽取关键词，就需要学习中文分词。中文分词对一些人是技术和障碍，但是现在中文分词是一个简单而通用的技术，很多软件和在线工具都可以完成一般意义下的分词。

如：Rweibo、weiRbo、中科院张华平老师ICTCLAS2012、武大沈阳老师的ROST CM等，这里推荐初学者考虑用ROST-CM工具入手，分词主要考虑是否可以用户自定义词典和剔除、词性标注等。

少量语料的分词比较简单，但海量语料的分词要有一定难度和数据处理能力。

特别强调：任何中文分词如果能够加入人工干涉和主观判断都会提升准确性和有效性；下面介绍的在线个性化分词本身也可完成分词。（包括中文分词，体验效果：不同语料和多少，时好时坏）

可视化(Visualization)是利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。

它涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域，成为研究数据表示、数据处理、决策分析等一系列问题的综合技术。目前正在飞速发展的虚拟现实技术也是以图形图像的可视化技术为依托的。

可视化的意义

1、展现全貌：很多讨论所涉及的主题都是包括多个元素，其中一个元素会影响到多个其他元素，如果不采取可视化，则无法看到全貌、也无法进行真正的讨论。

2、增强理解、便于对话、探索、交流。

3、简化复杂性，增强审视。

4、处理异议：在讨论过程中，出现观点不同时，争论的双方看到自己的观点得以记录并展现于众时，情绪会逐渐趋于缓和。

python常见的中文分词包含哪些应该怎么使用

这里简单介绍2个中文分词包，一个是jieba，一个是snownlp，这2个中文分词包都可以完成中文分词、词性标注、关键词提取等功能，下面我简单介绍一下这2个包的安装和使用，实验环境win10+python3.6+pycharm5.0，主要内容如下：

• jieba中文分词：这个大部分人都应该听过，应用比较广泛，可以完成常见的词性标注、关键词提取，使用起来非常方便，下面我简单介绍一下这个库：

1.安装jieba，这个直接在cmd窗口输入命令“pip install jieba”就行，如下：

2.安装完成后，就可以进行简单的测试了，测试代码如下，这里完成了分词、词性标注、提取关键词的功能：

程序运行截图如下，已经成功分词、标注词性及提取关键词：

• snownlp中文分词：这也是一个中文分词包，所有算法都是作者自己实现，可以快速处理中文文本，包括分词、分句、词性标注、情感分析、关键词提取、tf、idf等，下面我简单介绍一下这个库：

1.安装snownlp，这个直接在cmd窗口输入命令“pip install snownlp”就行，如下，可能需要等待一会儿：

2.安装完成后，我们就可以进行简单的从测试了，主要代码如下，包括分词、词性标注等功能：

程序运行截图如下：

至此，我们就完成了jieba和snownlp这2个中分分词包的介绍和使用。总的来说，整个过程很简单，只要你有一定的python基础，熟悉一下相关示例和代码，很快就能掌握的，当然，你也可以使用其他中分分词包，像hulac，corenlp等，网上也有相关教程和资料，感兴趣的可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言。