我爱自然语言处理 -- IT技术博客大学习 -- 共学习共进步！

• 文言文白话文互转：文言文转白话文（现代文），白话文（现代文）转文言文

前几天，看到了东北大学小牛翻译团队开源的语料项目：文言文（古文）-现代文平行语料，这个项目整理了非常全的文言文（古文）- 现代文（白话文）对齐数据，基本涵盖了大部分经典古籍著作，并且对原始爬取的篇章级对齐数据进行了断句及人工校对，形成了共计约96万句对的文言文-白话文对齐（平行）语料。这份语料数据很珍贵，看到的第一眼想到就是用这份文言文现代文对齐语料训练一个文言文白话文转换器：文言文转白话文，文言文转现代文，白话文转文言文，现代文转文言文，古文转白话文，白话文转古文，古文转现代文，现代文转古文。

• 你是如何了解或者进入NLP这个领域的？

前两天在AINLP公众号上发起了一个话题留言活动：你是如何了解或者进入NLP这个领域的？没想到，活动发布后，大家参与的热情极高，收到了200多条留言，但是限于微信公众号留言只能精选100条放出，所以有些遗憾，很多后来的同学的留言虽然写得很好，但是没有办法放出来了。今天是周末，我又认真的从前到后读了一遍，感慨每个人都有自己的NLP故事，这里做一次汇总，尽量把留言都放出来，就不一一回复了，感谢大家的支持与参与。

• 用MeCab打造一套实用的中文分词系统

MeCab是一套日文分词（形态分析）和词性标注系统（Yet Another Part-of-Speech and Morphological Analyzer）， rick曾经在这里分享过MeCab的官方文档中文翻译: 日文分词器 Mecab 文档，这款日文分词器基于条件随机场打造，有着诸多优点，譬如代码基于C++实现，基本内嵌CRF++代码，词典检索的算法和数据结构均使用双数组Double-Array，性能优良，并通过SWIG提供多种语言调用接口，可扩展性和通用性都非常不错。

• 树莓派（Raspberry Pi）使用小记

最近开始玩树莓派，在淘宝上采购了两套树莓派(Raspberry Pi, Model B+)及相关配件，虽然网上有很多资料可以参考，不过经过自己实践和踩了一些坑之后，觉得有必要记录一下，也提供给对树莓派感兴趣的同学做个参考，可以少走一些弯路，尽快把树莓派点亮。

• 正态分布的前世今生(五)

19世纪初，随着拉普拉斯中心极限定理的建立与高斯正态误差理论的问世，正态分布开始崭露头角，逐步在近代概率论和数理统计学中大放异彩。在概率论中，由于拉普拉斯的推动，中心极限定理发展成为现代概率论的一块基石。而在数理统计学中，在高斯的大力提倡之下，正态分布开始逐步畅行于天下。

• 如何计算两个文档的相似度（三）

上一节我们用了一个简单的例子过了一遍gensim的用法，这一节我们将用课程图谱的实际数据来做一些验证和改进，同时会用到NLTK来对课程的英文数据做预处理。

• 如何计算两个文档的相似度（二）

上一节我们介绍了一些背景知识以及gensim , 相信很多同学已经尝试过了。这一节将从gensim最基本的安装讲起，然后举一个非常简单的例子用以说明如何使用gensim，下一节再介绍其在课程图谱上的应用。

• 如何计算两个文档的相似度（一）

通过一些调研和之前的一些工作经验，最终考虑采用Topic model来解决这个问题，其实方案很简单，就是将两个公开课的文本内容映射到topic的维度，然后再计算其相似度。然后的然后就通过google发现了gensim这个强大的Python工具包，它的简介只有一句话：topic modelling for humans, 用过之后，只能由衷的说一句：感谢上帝，感谢Google，感谢开源！

• 概率语言模型及其变形系列-LDA及Gibbs Sampling

LDA是由Blei,Ng, Jordan 2002年发表于JMLR的概率语言模型，应用到文本建模范畴，就是对文本进行“隐性语义分析”(LSA)，目的是要以无指导学习的方法从文本中发现隐含的语义维度-即“Topic”或者“Concept”。隐性语义分析的实质是要利用文本中词项(term)的共现特征来发现文本的Topic结构，这种方法不需要任何关于文本的背景知识。文本的隐性语义表示可以对“一词多义”和“一义多词”的语言现象进行建模，这使得搜索引擎系统得到的搜索结果与用户的query在语义层次上match，而不是仅仅只是在词汇层次上出现交集。

• 概率语言模型及其变形系列-PLSA及EM算法

本文主要介绍PLSA及EM算法，首先给出LSA(隐性语义分析)的早期方法SVD，然后引入基于概率的PLSA模型，其参数学习采用EM算法。接着我们分析如何运用EM算法估计一个简单的mixture unigram 语言模型和混合高斯模型GMM的参数，最后总结EM算法的一般形式及运用关键点。对于改进PLSA，引入hyperparameter的LDA模型及其Gibbs Sampling参数估计方法放在本系列后面的文章LDA及Gibbs Samping介绍。

• 正态分布的前世今生(四)

要拉下正态分布的神秘面纱展现她的美丽，需要高深的概率论知识，本人在数学方面知识浅薄，不能胜任。只能在极为有限的范围内尝试掀开她的面纱的一角。棣莫弗和拉普拉斯以抛钢镚的序列求和为出发点，沿着一条小径把我们第一次领到了正态分布的家门口，这条路叫作中心极限定理，而这条路上风景秀丽，许多概率学家都为之倾倒，这条路在20世纪被概率学家们越拓越宽。而后数学家和物理学家们发现：条条曲径通正态。著名的物理学家 E.T.Jaynes 在他的名著《Probability Theory, the Logic of Science》(中文书名翻译为《概率论沉思录》)中，描绘了四条通往正态分布的小径。曲径通幽处，禅房花木深，让我们一起来欣赏一下四条小径上的风景吧。

• 正态分布的前世今生(三)

天文学是第一个被测量误差困扰的学科，从古代至十八世纪天文学一直是应用数学最发达的领域，到十八世纪，天文学的发展积累了大量的天文学数据需要分析计算，应该如何来处理数据中的观测误差成为一个很棘手的问题。我们在数据处理中经常使用平均的常识性法则，千百来来的数据使用经验说明算术平均能够消除误差，提高精度。平均有如此的魅力，道理何在，之前没有人做过理论上的证明。算术平均的合理性问题在天文学的数据分析工作中被提出来讨论：测量中的随机误差服应该服从怎样的概率分布？算术平均的优良性和误差的分布有怎样的密切联系？

• 正态分布的前世今生(二)

第二个故事的主角是欧拉(Euler), 拉普拉斯(Lapalace),勒让德Legendre) 和高斯(Gauss),故事发生的时间是十八世纪中到十九世纪初。十七、十八世纪是科学发展的黄金年代，微积分的发展和牛顿万有引力定律的建立，直接的推动了天文学和测地学的迅猛发展。当时的大科学家们都在考虑许多天文学上的问题。

• 正态分布的前世今生(一)

我在大学学习数理统计的时候，学习的过程都是先学习了正态分布，然后才学习中心极限定理。而学习到正态分布的时候，直接就描述了其概率密度的数学形式，虽然数学上很漂亮，但是当时很困惑数学家们是如何凭空就找到这个分布的。然而读了陈希孺的《数理统计学简史》之后，才发现正态分布的密度形式首次发现是在棣莫弗-拉普拉斯的中心极限定理中。数学家研究数学问题的进程很少是按照我们数学课本的安排顺序推进的，现代的数学课本都是按照数学内在的逻辑进行组织编排的，虽然逻辑结构上严谨优美，却把数学问题研究的历史痕迹抹得一干二净，我们难以在数学课本上看到数学家对数学问题是如何研究推进的。DNA 双螺旋结构的发现者之一 Waston 在他的名著《DNA 双螺旋》序言中说：“科学的发现很少会像门外汉所想象的一样，按照直接了当合乎逻辑的方式进行的。”