利用NPL可与人工智（zhì）能工（gōng）具进行交流

现如今，在更多情况（kuàng）下，我们是以比特和字节为生（shēng），而不是依靠（kào）交换情（qíng）感。我们使用一（yī）种称之为计算机的超级智能机器（qì）在互联网（wǎng）上进行交易和沟通。因此（cǐ），我们（men）觉（jiào）得有必（bì）要让机器（qì）明白我们在（zài）说话（huà）时（shí）是如何对其进行理解的，并且试图用人工智能，一种称之为NLP——自然语言处理技（jì）术为它（tā）们提供语言（yán）。作（zuò）为一种研究（jiū）结（jié）果，聊天（tiān）机器人（rén）正在（zài）成为一（yī）种可靠的聊天工具，使（shǐ）用这种非人（rén）为依赖的（de）智能工具与人类进行交流（liú）。

我强烈的感受到：

直到我们（men）的机器（qì）学会了解行为和情绪，数据科学家和工程师的（de）工作（zuò）才完（wán）成了一半。与深度学习（xí）（ML学（xué）科（kē）领域）融合的NLP将对这种（zhǒng）计算（suàn）机语言（yán）的使用起到关键作用。

利用（yòng）自然语（yǔ）言处理NPL可以（yǐ）使（shǐ）人工智能工具与人类进行交流

什么是NLP

这是一种人工（gōng）智能方法，给定机器一些人类语言从而使（shǐ）得它（tā）们能够与人类进行沟通交流。它涉及使用NLP技术对（duì）书面（miàn）语言进行（háng）智能分（fèn）析，以获取对一（yī）组文（wén）本（běn）数（shù）据的见解，如：

1.情绪分析

2.信（xìn）息提取和检索

3.智能搜索等

它（tā）是人工智能和计算（suàn）语（yǔ）言学的交汇点，能够处理（lǐ）机器和人类（lèi）自然语言之（zhī）间的交互（hù），即计算机需（xū）要（yào）对其（qí）进行分（fèn）析、理解、改变或（huò）生成（chéng）自然（rán）语言。NLP帮助（zhù）计（jì）算机机（jī）器以（yǐ）各种形式使用自然人（rén）类（lèi）语言（yán）进行交流（liú），包括（kuò）但（dàn）不限于语音、印刷、写作和签名。

NLP机器学习和深度学习（xí）：它们是如何连接的

利用自然语言处（chù）理NPL可（kě）以（yǐ）使人工智能工具与人类（lèi）进行交流（liú）

NLP与机器学习和深（shēn）度学习密切相关，所有这些（xiē）都是（shì）人工智能领（lǐng）域的分支，如下图所示：它是一个致力于使机器（qì）智能化的计算机（jī）科学领域。深度（dù）学（xué）习是一种流行的机器学习技术（shù）之一，如回归，K-means等。

机器学习的类型很多，像（xiàng）无（wú）监督机器学（xué）习这（zhè）样（yàng）的经常用于（yú）NLP技术中，如LDA（潜在狄利克雷分布，一种主题模型算法）。

为了能够执行任何一（yī）个NLP，我（wǒ）们需要深入（rù）理解人（rén）类使（shǐ）如何（hé）处理（lǐ）语言的情感和分（fèn）析方面。还有各种各样像（xiàng）社交媒体这样的语言数据源，人们直接（jiē）或间接地分享（xiǎng）他们（men）感受到的内容，而这必须通过使用NLP的机器进行智（zhì）能分析（xī）。NLP机器需要建立一个人类推（tuī）理（lǐ）系统，借助（zhù）ML技术（shù），它们（men）可以自动执行NLP过程（chéng）并对（duì）其进行（háng）扩展。

简而言（yán）之，“深度学习与（yǔ）自然语言处（chù）理”是相互联系（xì）、相（xiàng）互依存的（de），以构建一个能够像（xiàng）人类一样思考、说话和行（háng）动的智能计算机。

Meltwater Group的NLP专家John Rehling在《自然语言处理是如何帮助揭（jiē）示社交媒体情（qíng）绪》一文中说，

“通过（guò）分（fèn）析（xī）语言的含（hán）义，NLP系统扮演着非常重要的角色，如纠正（zhèng）语法，将语（yǔ）音转换为文本，以（yǐ）及在多语（yǔ）言之（zhī）间（jiān）自动翻译。”

NLP如何工作（zuò）

理解NLP的工作原理是非常重要的，因为这样的话，我（wǒ）们就可以将NLP作为一个整（zhěng）体来理解。NLP一（yī）般（bān）有两个（gè）主要（yào）组（zǔ）成部分：

1.NLU：自然（rán）语言理解

2.NLG：自然语言生成

让我（wǒ）们深入理解NLU

自然语（yǔ）言理解：它（tā）涉及的是一种方法论，试图（tú）了（le）解如何（hé）对馈送给（gěi）计算机的自然语言赋（fù）予一定的相关意义。

在（zài）开始时，计算机获得自然语言的输入（自然语言可以是任何语言，它们通过使用和重复在人类（lèi）中自然进化（huà），而（ér）不（bú）是有意识的计划（huá）或预谋（móu），自然语言可（kě）以采用不同（tóng）的形式，例如语音或签（qiān）名）。

计算（suàn）机之后将它（tā）们转换成人工语言，如语音识别（bié）和（hé）/或语（yǔ）音（yīn）转换（huàn）文本（běn）。在这（zhè）里（lǐ）我们（men）把数据转换成一个文本（běn）形式， NLU过程来理（lǐ）解其中的（de）含义（yì）。

HMM：隐（yǐn）马（mǎ）尔可夫模型（xíng）（NLU示例）

利用自然语言处理NPL可以使人（rén）工智能工具与人类进行交流

它是一种统计（jì）语音识别模型，它可以在预先构建的（de）数（shù）学（xué）技术（shù）的（de）帮助（zhù）下，将你的语音转（zhuǎn）换（huàn）成文本，并试图（tú）推断出你所（suǒ）说的语言。

它试图理解你所说（shuō）的，通过将语音数据分解成一小（xiǎo）段特定的（de）时间段，大多数情况下时间是20-20 ms。这（zhè）些数据集将进（jìn）一步与预馈语（yǔ）音（yīn）进行比较，从而进（jìn）一步解（jiě）读你在每个语音（yīn）单位中所说（shuō）的（de）内容。这（zhè）里的目的是找到音素（一个最小的语音（yīn）单位）。然（rán）后，机（jī）器对一（yī）系列这样的音（yīn）素进行观察，并统计了（le）最可（kě）能说出的（de）单词和句（jù）子。

不仅如此，NLU会（huì）深刻理解每个单词（cí），试图理解它（tā）是（shì）一个名词还是（shì）动词，什（shí）么是（shì）时态（过去或未来（lái））等。这个过程被定义（yì）为POS：词性标（biāo）注（zhù）部分（Part Of Speech Tagging）。NLP具有内置的词典（diǎn）和一（yī）套与语法预编码相关的协（xié）议，这（zhè）些协议（yì）被（bèi）预编码到它们的系统（tǒng）中，并（bìng）在处理自然语言数据集（jí）时使用它，从而在NLP系统处理人类（lèi）语音时，编译所说的内容。

NLP系统也有一个词典（词汇表）和（hé）一套编（biān）码（mǎ）到系统中（zhōng）的语（yǔ）法（fǎ）规则。现代NLP算（suàn）法使用统计机（jī）器，学习将这些规则应用于自然语言，并推断（duàn）所说（shuō）话（huà）语背后最可（kě）能的含义。在考虑诸如具有（yǒu）多个含义的词语（多义（yì）词）或具（jù）有相似（sì）含义的词（cí）语（同义词（cí））时（shí），存在一些（xiē）挑战，但软件（jiàn）开发者在他们的（de）NLU系统中建立了自己的规（guī）则，可以通（tōng）过适（shì）当（dāng）的（de）训练和学习来处理这类问题（tí）。

自（zì）然语言生成：

与（yǔ）第一阶（jiē）段（NLU做了大（dà）量的（de）努力（lì）以理解人类（lèi）的话语（yǔ））相比，NLG可以很容（róng）易的进行翻译（yì）工（gōng）作，即将计算机的人工语言翻译为（wéi）有（yǒu）意义的文本（běn），并可以通（tōng）过（guò）文（wén）字（zì）转语（yǔ）音（yīn）（tex-to-speech）技（jì）术将其转化为可听语音（yīn）。文本转语音（（tex-to-speech））技术通过韵律模（mó）型（prosody model）来分析文本（běn），从而确（què）定语言的断句、长短和音（yīn）调。然（rán）后（hòu），利用语音数据库，将记录的所（suǒ）有音素汇集在一起，形成（chéng）一个连贯的（de）语音（yīn）串。

简（jiǎn）而（ér）言之（zhī），NLP采用NLU和NLG来处理人类自（zì）然语言，尤其是（shì）处理语音识别领域的（de）人（rén）类自（zì）然（rán）语言，并试图将传递字符串（chuàn）或可听语言（yán）作为输（shū）出，来理解、编译并推断所（suǒ）说（shuō）的内容。

NLP在现代（dài）语境中的应用：

在这（zhè）个处于数字革命的电脑时代中，大部分任务（wù）需要由人（rén）类利用链接物联网的（de）机器来（lái）完成。NLP在（zài）为媒（méi）体、出（chū）版、广告、医疗、银行（háng）和保险（xiǎn）等行（háng）业（yè）领域建立强大（dà）的软（ruǎn）件工具方（fāng）面，发挥（huī）了重（chóng）要作用，从而帮助他（tā）们高效快（kuài）捷地运作。

NLP的（de）一些现（xiàn）代用法：

1.聊天机器人

这（zhè）是一个被称（chēng）为机（jī）器人（rén）的成熟软件，它可以（yǐ）处理任何场景的人物（wù）对话。api.ai、微软语音理解智能服务（LUIS）等（děng）一些热门（mén）的（de）NLP和机（jī）器学习平台，可用于研发你（nǐ）的商业聊天机器人。

2.垃圾邮件过滤

你们中的大多数人一定对垃（lā）圾邮件并不陌生。Google使用（yòng）基于NLP的技术来保障你（nǐ）的收件箱清洁、无垃圾邮件。贝叶斯垃圾（jī）邮件过滤（Bayesian spam filtering）是一种备受瞩目的技术，它是一种统计技术（shù），基于此，电子邮件（jiàn）中词语的审核（hé）通（tōng）过率根据其在垃（lā）圾和非垃圾邮件语（yǔ）料库中的典型事例（lì）来确定。

3.机器翻译

NLP被越来（lái）越多的应用于机器翻译（yì）程序当中，这使得一种语言被自动翻译成另一种语言（yán），谷（gǔ）歌是（shì）一个将你的（de）文本翻译（yì）为（wéi）所（suǒ）需语言（yán）的先（xiān）驱者（zhě）。

机器翻译技术所面临的（de）挑战不在（zài）于翻（fān）译单词，而（ér）在于保留句子的含义，这（zhè）是一个复杂的技术问题，也是（shì）NLP的核心。

4.命名实体提取（Named entity extraction）

它（tā）用于（yú）从给定的（de）项目集合中分（fèn）离（lí）出（chū）具有相似（sì）性质和属性的项（xiàng）目。例如（rú）名字、姓氏、年龄、地理位置、地（dì）址（zhǐ）、电话号码（mǎ）、电（diàn）子邮件地址和（hé）公司名称等等。命（mìng）名实体提取（亦称命名实体（tǐ）识（shí）别（bié））使（shǐ）挖掘数据变得更加容易。

5.自动汇总

自然语言处理可用（yòng）于（yú）从大（dà）段文本（běn）中提取可读摘要。例如，我们可以（yǐ）自动总结（jié）出一份（fèn）长（zhǎng）篇（piān）学术文章（zhāng）的简短摘要（yào）。

接下来（lái）我们将深入（rù）介绍一些NLP的技术细节。

当自（zì）然界与人工相逢的时候（hòu），机器（qì）就像是一个真正具有（yǒu）生命力的（de）人类一样进入了生活中。

NLP技术（shù）术语

NLP术语

•语音体（tǐ）系——关于系统性地（dì）组织语（yǔ）音的研究（jiū）。

•形态学（xué）——这是一个从基本（běn）意义单位中（zhōng）进行单词（cí）构建的研究。

•语素（sù）——语言中意义的基（jī）本单位。

•语法——它是指单（dān）词经（jīng）过组合排列构成句子，它还涉及在句（jù）子和短（duǎn）语中（zhōng）确定单词结构的作用。

•语义——它涉及（jí）的是单词（cí）的含义，以及该如何将单词（cí）组合成有意义的短（duǎn）语和（hé）句子（zǐ）。

•语用学——它（tā）涉及的是在不同（tóng）情况下使用和理解（jiě）句（jù）子以及对句子的解释是如何受到（dào）影响（xiǎng）的。

•话语——它指的是前（qián）面的（de）句（jù）子如何影响（xiǎng）对于（yú）下一句（jù）的解（jiě）释的。

•常识性知识（shí）——它涉及的（de）是（shì）对于世（shì）界（jiè）的一般性认识。

自然（rán）语言处理库（对于开发者（zhě）而（ér）言（yán））

NLP库：

有许多通用的（de）第三方开源库，开发人员（yuán）可以使用它们来构建基于NLP的Projects Viz .。

•自然语言工具（jù）包（NLTK）

•Apache OpenNLP

•斯坦福大学（xué）NLP套件

•Gate NLP库（kù）

自（zì）然语言工具包（NLTK）是最通用的自（zì）然语言处理（NLP）库。它是用Python编写的，背后有一个很大的社区。

NLP实施所涉（shè）及的步骤：

它涵（hán）盖（gài）了5个主要步骤：

•词法分析——它对给定（dìng）单词的结构（gòu）进行识别和分（fèn）析（xī），其中（zhōng）整个文本数据（jù）块在词法分析中（zhōng）被分解成段落、句子和词（cí）汇。

•解（jiě）析（句法分（fèn）析）——它涉及以一（yī）种显（xiǎn）示单词之（zhī）间的关（guān）系的（de）方式对分析句（jù）子中的单（dān）词进行语法和单词排列分析，在这（zhè）个阶段，任何不符（fú）合语法正（zhèng）确的句子（zǐ）都被拒绝，例如，“building lives in sita”将（jiāng）不会（huì）被语法分析器所接受

•语（yǔ）义分（fèn）析——对给定的文本进（jìn）行（háng）分（fèn）析（xī）以（yǐ）从中（zhōng）提取意义。它通过对任务域中的语（yǔ）法结（jié）构和目标进行分析来完成。语义分析（xī）器拒绝不相关的句（jù）子，如（rú）“hot banana”。

•话语整合——正如（rú）我们所知，每个句子都与前一句话相（xiàng）互联系，基于倒数第二句的意义（yì）而言，任何句子（zǐ）都变得有意义。同样，它也使（shǐ）得后一句话变得有意义。

•语用分析——在此期间，常识性知识被重（chóng）新定义了，解（jiě）释了（le）它们的真实意义到底是什（shí）么，它涉及到那些需要常识性知识的（de）语言方面。

用图片（piàn）来解读NLP（点击图片放大）：

NLP应用（yòng）程（chéng）序：

1.光（guāng）学字（zì）符识别

2.语（yǔ）音识别

3.机器翻译

4.自然语言生成

5.情绪分析

6.语义搜索（suǒ）

7.自（zì）然语言编程（chéng）

8.情感计算

9.开发（fā）聊天机器人