用频率估计概率的简单模型解决了语言识别的世界难题

        计算机技术的发展，使想象力丰富的人们开始思考“人工智能”的问题，而人工智能的最佳体现，就是计算机之父阿兰·图灵最早提出的判断依据：“让人和机器进行交流，如果人无法判断自己交流的对象是人还是机器时，就说明这个机器有智能了。”可是交流自然离不开语言的沟通，如何能让机器识别人类的语言，便成了人工智能研究的世纪难题。

        早起的语言识别研究误入了仿生人类学习的途径，历经了二十年，在对语法和句法的复杂分析中，越走路子越窄，直至走不下去了。直到1970年统计语言学的出现，使得自然语言的处理获得了新生，并取得了今天的非凡成就。推动这个新的技术路线转变的关键人物时弗里德里克·贾里尼克和他领导的IBM华生实验室。

        最早人们想到的是条件概率公式：

在这个公式中，随着语句长度的增加，在大量的语句收集整理后，每一个词语出现的次数，与其前面所有词语出现在一起的频率越来越难统计，导致越往后的概率值越来越难计算，为了减少统计分析的难度，俄罗斯数学家马尔科夫又创造了一个更加简单的数学模型，让每一个词语只与他前面的词语关联进行频率统计，这就缩小了统计分析的难度。

        在这个模型的基础上，根据大数定理，只要统计量足够，相对频率就等于概率，再根据概率值，来进行语言分析，这就使对自然语言的识别率大幅度加强。从而解决了人工智能的第一步，人与机器的语言互通。