自动分词在互联网领域极其重要。比如你在搜索框里输入“中文自动分词算法”并搜索时，搜索引擎会同时找出含有“中文”、“自动”、“分词”和“算法”的内容网页，尽管这四个词并没有连在一块。比如一篇文章写清华大学生如何如何，但是相关文章里全是和清华大学有关的。这就多半是分词算法错误地把清华大学当成了一个词。
所以，计算机如何正确地切分一句话呢？
自动分词的主要困难在于分词歧义。“他说的确实在理”在计算机认为就有以下三种可能：
他 / 说 / 的 / 确实 / 在理
他 / 说 / 的确 / 实 / 在理
他 / 说 / 的确 / 实在 / 理
对于计算机来讲，上面三种都是可以的。最令人头疼的是诸如“中外科学名著”，“提高产品质量”，“鞭炮声响彻夜空”，“努力学习语法规则”这种，随便切几刀都是合理的，在这种极端例子下，分词算法的优劣一试便知。
最大匹配法
顾名思义，“最大匹配法”就是从句子左端开始，不断向右扫描，匹配出最长的词，一些组不出词的字单独划开。直到划完句子。在大多数情况下，这种算法可以成功。但是这种算法并不可靠。比如开头的“清华大学生前来应聘”，正确划分应该是“清华大学生 / 前来 / 应聘”，却会被划分成：“清华大学 / 生前 / 来 / 应聘”。
维护一个特殊规则表，可以修正一些很机械的问题，效果相当不错。例如强制把“不可能”分为“不 / 可能”这类特殊规则。
不过这种算法归根结底都是像人一样从左到右扫描文字，为了充分利用计算机的优势，我们还可以把句子作为一个整体来考虑，从全局的角度评价一个句子划分方案的好坏。因为每次都匹配最长的词，得出的方案不一定是正确的。
例如：“独立自主和平等互利的原则”这句话会被计算机分为“独立自主 / 和平 / 等 / 互利 / 的 / 原则”，一共有6个词；而正确的分法次数更少：“独立自主 / 和 / 平等互利 / 的 / 原则”，只有5个词。
但是最少词数法也有出错的时候，“为人民办公益”的最大匹配划分和最少次数划分都是“为人 / 民办 / 公益”，而正确的划分却是“为 / 人民 / 办 / 公益”。
算法当然还有进一步优化的余地，大家应该已经想到了，何不用每个词出现的概率来衡量句子的优劣？于是我们有了一个更标准、更连续、更自动的改进算法，即最大概率法。
最大概率法
先统计大量真实语料中各个词出现的概率，然后把每种分词方案中各词的出现概率乘起来作为这种方案的得分，最后选出得分最高的方案，认为这是分词的结果。
举个例子：“有意见分歧”这个句子。查表可知，“有”、 “有意”、 “意见”、 “见”、“分歧”的出现概率分别是0.0181、0.0005、0.0010、0.0002、0.0001，因此“有 / 意见 / 分歧”的得分是1.8×10^-9，但“有意 / 见 / 分歧”的得分只有 1×10^-11，正确方案胜。
但是这样的算法对于计算机来说，好像句子就是随机选择词语连在一起，是个一元过程。这个假设显然不合理。
于是我们不得不跳出一元假设，把人类语言抽象想象成一个二元模型，对于任意两个词语都生成一个概率P，即第一个词后刚好是第二个词的概率，划分完一个句子后，就把这个句子所有的P值加起来，得分最高的分词方案就认为是正确的分词方案。
至此，算是有了一个实用的算法。
但是在中文里，有一个最令人头疼的东西———未登录词。中文没有首字母大写，没有书名斜体，这让计算机如何辨识人名地名？这也是现在中文分词领域都在攻克的难关。
对于人名来说，汉语姓氏大约有1000个，人名的常用字也比较集中最常用的400字就涵盖了名字用字的90%。根据这些信息我们足以计算出一个字符串能够成为名字的概率，结合事先设定阈值就可能很好的识别出人名。
中国地名的用字就分散的多了，北京有一个地方叫“臭泥坑”。网上搜索 “臭泥坑”，前几页全是“臭泥坑地图”和“臭泥坑附近酒店”之类的信息。甚至重庆还有一个地方叫“犀牛屙屎”和“犀牛屙屎抽水”。好在中国地名也就十万多个。中国地名委员会编写了《中华人民共和国地名录》，就让地名的识别简单了许多。
最难的是缩略词了，大部分缩略词，例如“高数”，“女单”，“发改委”，“安检”，人人都知道什么意思。但是有些词人们都不知道代表什么。比如你能猜到“人影办”是什么的缩写吗？猜不到吧，是“人工影响天气办公室”。
很多缩略词都已经可以成为独立的词语加入词库了，但新出现的或者临时构造的词语就不那么友好了。所以如何解决网络文章的自动分词，目前还是相当困难的。革命尚未成功，分词算法还需努力。