東晟SEO優化顧問:SEOOK > SEO優化SEO優化
SEO教程:教你分詞算法做搜索引擎排名技巧
SEOOK2019-05-05【SEO優化】人咨詢服務
精選摘要教你黑帽分詞做排名技巧,分詞算法在搜索引擎中的作用是很重要的,特別是中文分詞,在百度搜素展現中很重要。
SEO教程教你黑帽分詞做排名技巧,分詞算法在搜索引擎中的作用是很重要的,SEO教程_特別是中文分詞,在百度搜素展現中很重要。
SEO教程_分詞技術用在整個搜索流程的哪一步呢?
推薦:《這些SEO技巧已經過時了》
一個用戶從找到百度搜索框,到輸入搜索詞,再看用戶看到的一個結果,搜索引擎做了哪些事情?
1、爬蟲抓取頁面
2、頁面去重,質量檢測,收錄頁面
3、保存快照,建立倒排索引
4、倒排索引分層,建立緩存機制
4、用戶輸入搜索詞
5、搜索詞分詞技術處理
6、緩存索引庫排序
7、提取緩存索引庫數據
8、展現
可以看到,分詞技術在第5步,分詞技術最重要的并不是找到所有結果,因為在上百億的網頁中找到所有結果沒有太多的意義,沒有人能看得完,最重要的是把最相關的結果排在最前面,這也稱為相關度排序。中文分詞的準確與否,常常直接影響到對搜索結果的相關度排序。從定性分析來說,搜索引擎的分詞算法不同,詞庫的不同都會影響頁面的返回結果
現有的分詞算法可分為三大類:基于字符串匹配的分詞方法、基于理解的分詞方法和基于統計的分詞方法。按照是否與詞性標注過程相結合,又可以分為單純分詞方法和分詞與標注相結合的一體化方法。
字符匹配
這種方法又叫做機械分詞方法,它是按照一定的策略將待分析的漢字串與一個充分大的機器詞典中的詞條進行配,若在詞典中找到某個字符串,則匹配成功(識別出一個詞)。按照掃描方向的不同,串匹配分詞方法可以分為正向匹配和逆向匹配;按照不同長度優先匹配的情況,可以分為最大(最長)匹配和最小(最短)匹配;常用的幾種機械分詞方法如下:
1)正向最大匹配法(由左到右的方向);
2)逆向最大匹配法(由右到左的方向);
3)最少切分(使每一句中切出的詞數最小);
4)雙向最大匹配法(進行由左到右、由右到左兩次掃描)
還可以將上述各種方法相互組合,例如,可以將正向最大匹配方法和逆向最大匹配方法結合起來構成雙向匹配法。由于漢語單字成詞的特點,正向最小匹配和逆向最小匹配一般很少使用。一般說來,逆向匹配的切分精度略高于正向匹配,遇到的歧義現象也較少。統計結果表明,單純使用正向最大匹配的錯誤率為1/169,單純使用逆向最大匹配的錯誤率為1/245。但這種精度還遠遠不能滿足實際的需要。實際使用的分詞系統,都是把機械分詞作為一種初分手段,還需通過利用各種其它的語言信息來進一步提高切分的準確率。
一種方法是改進掃描方式,稱為特征掃描或標志切分,優先在待分析字符串中識別和切分出一些帶有明顯特征的詞,以這些詞作為斷點,可將原字符串分為較小的串再來進機械分詞,從而減少匹配的錯誤率。另一種方法是將分詞和詞類標注結合起來,利用豐富的詞類信息對分詞決策提供幫助,并且在標注過程中又反過來對分詞結果進行檢驗、調整,從而極大地提高切分的準確率。
對于機械分詞方法,可以建立一個一般的模型,在這方面有專業的學術論文,SEO教程_這里不做詳細論述。
理解法
這種分詞方法是通過讓計算機模擬人對句子的理解,達到識別詞的效果。其基本思想就是在分詞的同時進行句法、語義分析,利用句法信息和語義信息來處理歧義現象。它通常包括三個部分:分詞子系統、句法語義子系統、總控部分。在總控部分的協調下,分詞子系統可以獲得有關詞、句子等的句法和語義信息來對分詞歧義進行判斷,即它模擬了人對句子的理解過程。這種分詞方法需要使用大量的語言知識和信息。由于漢語語言知識的籠統、復雜性,難以將各種語言信息組織成機器可直接讀取的形式,因此目前基于理解的分詞系統還處在試驗階段。
統計法
從形式上看,詞是穩定的字的組合,因此在上下文中,相鄰的字同時出現的次數越多,就越有可能構成一個詞。因此字與字相鄰共現的頻率或概率能夠較好的反映成詞的可信度??梢詫φZ料中相鄰共現的各個字的組合的頻度進行統計,計算它們的互現信息。定義兩個字的互現信息,計算兩個漢字X、Y的相鄰共現概率?;ガF信息體現了漢字之間結合關系的緊密程度。當緊密程度高于某一個閾值時,便可認為此字組可能構成了一個詞。這種方法只需對語料中的字組頻度進行統計,不需要切分詞典,因而又叫做無詞典分詞法或統計取詞方法。但這種方法也有一定的局限性,會經常抽出一些共現頻度高、但并不是詞的常用字組,例如這一、之一、有的、我的、許多的等,并且對常用詞的識別精度差,時空開銷大。實際應用的統計分詞系統都要使用一部基本的分詞詞典(常用詞詞典)進行串匹配分詞,同時使用統計方法識別一些新的詞,即將串頻統計和串匹配結合起來,既發揮匹配分詞切分速度快、效率高的特點,又利用了無詞典分詞結合上下文識別生詞、自動消除歧義的優點。
另外一類是基于統計機器學習的方法。首先給出大量已經分詞的文本,利用統計機器學習模型學習詞語切分的規律(稱為訓練),從而實現對未知文本的切分。我們知道,漢語中各個字單獨作詞語的能力是不同的,此外有的字常常作為前綴出現,有的字卻常常作為后綴(者性),結合兩個字相臨時是否成詞的信息,這樣就得到了許多與分詞有關的知識。這種方法就是充分利用漢語組詞的規律來分詞。這種方法的最大缺點是需要有大量預先分好詞的語料作支撐,而且訓練過程中時空開銷極大。
到底哪種分詞算法的準確度更高,目前并無定論。對于任何一個成熟的分詞系統來說,不可能單獨依靠某一種算法來實現,都需要綜合不同的算法。例如,海量科技的分詞算法就采用復方分詞法,所謂復方,就是像中西醫結合般綜合運用機械方法和知識方法。對于成熟的中文分詞系統,需要多種算法綜合處理問題。
技術難點編輯
有了成熟的分詞算法,是否就能容易的解決中文分詞的問題呢?事實遠非如此。中文是一種十分復雜的語言,讓計算機理解中文語言更是困難。在中文分詞過程中,有兩大難題一直沒有完全突破。
歧義識別
歧義是指同樣的一句話,可能有兩種或者更多的切分方法。主要的歧義有兩種:交集型歧義和組合型歧義,例如:表面的,因為表面和面的都是詞,那么這個短語就可以分成表面的和表面的。這種稱為交集型歧義(交叉歧義)。像這種交集型歧義十分常見,前面舉的和服的例子,其實就是因為交集型歧義引起的錯誤?;瘖y和服裝可以分成化妝和服裝或者化妝和服裝。由于沒有人的知識去理解,計算機很難知道到底哪個方案正確。
交集型歧義相對組合型歧義來說是還算比較容易處理,組合型歧義就必須根據整個句子來判斷了。例如,在句子這個門把手壞了中,把手是個詞,但在句子請把手拿開中,把手就不是一個詞;在句子將軍任命了一名中將中,中將是個詞,但在句子產量三年中將增長兩倍中,中將就不再是詞。這些詞計算機又如何去識別?
如果交集型歧義和組合型歧義計算機都能解決的話,在歧義中還有一個難題,是真歧義。真歧義意思是給出一句話,由人去判斷也不知道哪個應該是詞,哪個應該不是詞。例如:乒乓球拍賣完了,可以切分成乒乓球拍賣完了、也可切分成乒乓球拍賣完了,如果沒有上下文其他的句子,恐怕誰也不知道拍賣在這里算不算一個詞。
新詞識別
命名實體(人名、地名)、新詞,專業術語稱為未登錄詞。也就是那些在分詞詞典中沒有收錄,但又確實能稱為詞的那些詞。最典型的是人名,人可以很容易理解。句子王軍虎去廣州了中,王軍虎是個詞,因為是一個人的名字,但要是讓計算機去識別就困難了。如果把王軍虎做為一個詞收錄到字典中去,全世界有那么多名字,而且每時每刻都有新增的人名,收錄這些人名本身就是一項既不劃算又巨大的工程。即使這項工作可以完成,還是會存在問題,例如:在句子王軍虎頭虎腦的中,王軍虎還能不能算詞?
除了人名以外,還有機構名、地名、產品名、商標名、簡稱、省略語等都是很難處理的問題,而且這些又正好是人們經常使用的詞,因此對于搜索引擎來說,分詞系統中的新詞識別十分重要。新詞識別準確率已經成為評價一個分詞系統好壞的重要標志之一。
應用編輯
在自然語言處理技術中,中文處理技術比西文處理技術要落后很大一段距離,許多西文的處理方法中文不能直接采用,就是因為中文必需有分詞這道工序。中文分詞是其他中文信息處理的基礎,搜索引擎只是中文分詞的一個應用。其他的比如機器翻譯(MT)、語音合成、自動分類、自動摘要、自動校對等等,都需要用到分詞。因為中文需要分詞,可能會影響一些研究,但同時也為一些企業帶來機會,因為國外的計算機處理技術要想進入中國市場,首先也是要解決中文分詞問題。
SEO教程_分詞準確性對搜索引擎來說十分重要,但如果分詞速度太慢,即使準確性再高,對于搜索引擎來說也是不可用的,因為搜索引擎需要處理數以億計的網頁,如果分詞耗用的時間過長,會嚴重影響搜索引擎內容更新的速度。因此對于搜索引擎來說,分詞的準確性和速度,二者都需要達到很高的要求。研究中文分詞的大多是科研院校,清華、北大、哈工大、中科院、北京語言大學、山西大學、東北大學、IBM研究院、微軟中國研究院等都有自己的研究隊伍,而真正專業研究中文分詞的商業公司除了海量以外,幾乎沒有了??蒲性盒Q芯康募夹g,大部分不能很快產品化,而一個專業公司的力量畢竟有限,看來中文分詞技術要想更好的服務于更多的產品,還有很長一段路。
SEO教程_分詞技術用在整個搜索流程的哪一步呢?
推薦:《這些SEO技巧已經過時了》
一個用戶從找到百度搜索框,到輸入搜索詞,再看用戶看到的一個結果,搜索引擎做了哪些事情?
1、爬蟲抓取頁面
2、頁面去重,質量檢測,收錄頁面
3、保存快照,建立倒排索引
4、倒排索引分層,建立緩存機制
4、用戶輸入搜索詞
5、搜索詞分詞技術處理
6、緩存索引庫排序
7、提取緩存索引庫數據
8、展現
可以看到,分詞技術在第5步,分詞技術最重要的并不是找到所有結果,因為在上百億的網頁中找到所有結果沒有太多的意義,沒有人能看得完,最重要的是把最相關的結果排在最前面,這也稱為相關度排序。中文分詞的準確與否,常常直接影響到對搜索結果的相關度排序。從定性分析來說,搜索引擎的分詞算法不同,詞庫的不同都會影響頁面的返回結果
現有的分詞算法可分為三大類:基于字符串匹配的分詞方法、基于理解的分詞方法和基于統計的分詞方法。按照是否與詞性標注過程相結合,又可以分為單純分詞方法和分詞與標注相結合的一體化方法。
字符匹配
這種方法又叫做機械分詞方法,它是按照一定的策略將待分析的漢字串與一個充分大的機器詞典中的詞條進行配,若在詞典中找到某個字符串,則匹配成功(識別出一個詞)。按照掃描方向的不同,串匹配分詞方法可以分為正向匹配和逆向匹配;按照不同長度優先匹配的情況,可以分為最大(最長)匹配和最小(最短)匹配;常用的幾種機械分詞方法如下:
1)正向最大匹配法(由左到右的方向);
2)逆向最大匹配法(由右到左的方向);
3)最少切分(使每一句中切出的詞數最小);
4)雙向最大匹配法(進行由左到右、由右到左兩次掃描)
還可以將上述各種方法相互組合,例如,可以將正向最大匹配方法和逆向最大匹配方法結合起來構成雙向匹配法。由于漢語單字成詞的特點,正向最小匹配和逆向最小匹配一般很少使用。一般說來,逆向匹配的切分精度略高于正向匹配,遇到的歧義現象也較少。統計結果表明,單純使用正向最大匹配的錯誤率為1/169,單純使用逆向最大匹配的錯誤率為1/245。但這種精度還遠遠不能滿足實際的需要。實際使用的分詞系統,都是把機械分詞作為一種初分手段,還需通過利用各種其它的語言信息來進一步提高切分的準確率。
一種方法是改進掃描方式,稱為特征掃描或標志切分,優先在待分析字符串中識別和切分出一些帶有明顯特征的詞,以這些詞作為斷點,可將原字符串分為較小的串再來進機械分詞,從而減少匹配的錯誤率。另一種方法是將分詞和詞類標注結合起來,利用豐富的詞類信息對分詞決策提供幫助,并且在標注過程中又反過來對分詞結果進行檢驗、調整,從而極大地提高切分的準確率。
對于機械分詞方法,可以建立一個一般的模型,在這方面有專業的學術論文,SEO教程_這里不做詳細論述。
理解法
這種分詞方法是通過讓計算機模擬人對句子的理解,達到識別詞的效果。其基本思想就是在分詞的同時進行句法、語義分析,利用句法信息和語義信息來處理歧義現象。它通常包括三個部分:分詞子系統、句法語義子系統、總控部分。在總控部分的協調下,分詞子系統可以獲得有關詞、句子等的句法和語義信息來對分詞歧義進行判斷,即它模擬了人對句子的理解過程。這種分詞方法需要使用大量的語言知識和信息。由于漢語語言知識的籠統、復雜性,難以將各種語言信息組織成機器可直接讀取的形式,因此目前基于理解的分詞系統還處在試驗階段。
統計法
從形式上看,詞是穩定的字的組合,因此在上下文中,相鄰的字同時出現的次數越多,就越有可能構成一個詞。因此字與字相鄰共現的頻率或概率能夠較好的反映成詞的可信度??梢詫φZ料中相鄰共現的各個字的組合的頻度進行統計,計算它們的互現信息。定義兩個字的互現信息,計算兩個漢字X、Y的相鄰共現概率?;ガF信息體現了漢字之間結合關系的緊密程度。當緊密程度高于某一個閾值時,便可認為此字組可能構成了一個詞。這種方法只需對語料中的字組頻度進行統計,不需要切分詞典,因而又叫做無詞典分詞法或統計取詞方法。但這種方法也有一定的局限性,會經常抽出一些共現頻度高、但并不是詞的常用字組,例如這一、之一、有的、我的、許多的等,并且對常用詞的識別精度差,時空開銷大。實際應用的統計分詞系統都要使用一部基本的分詞詞典(常用詞詞典)進行串匹配分詞,同時使用統計方法識別一些新的詞,即將串頻統計和串匹配結合起來,既發揮匹配分詞切分速度快、效率高的特點,又利用了無詞典分詞結合上下文識別生詞、自動消除歧義的優點。
另外一類是基于統計機器學習的方法。首先給出大量已經分詞的文本,利用統計機器學習模型學習詞語切分的規律(稱為訓練),從而實現對未知文本的切分。我們知道,漢語中各個字單獨作詞語的能力是不同的,此外有的字常常作為前綴出現,有的字卻常常作為后綴(者性),結合兩個字相臨時是否成詞的信息,這樣就得到了許多與分詞有關的知識。這種方法就是充分利用漢語組詞的規律來分詞。這種方法的最大缺點是需要有大量預先分好詞的語料作支撐,而且訓練過程中時空開銷極大。
到底哪種分詞算法的準確度更高,目前并無定論。對于任何一個成熟的分詞系統來說,不可能單獨依靠某一種算法來實現,都需要綜合不同的算法。例如,海量科技的分詞算法就采用復方分詞法,所謂復方,就是像中西醫結合般綜合運用機械方法和知識方法。對于成熟的中文分詞系統,需要多種算法綜合處理問題。
技術難點編輯
有了成熟的分詞算法,是否就能容易的解決中文分詞的問題呢?事實遠非如此。中文是一種十分復雜的語言,讓計算機理解中文語言更是困難。在中文分詞過程中,有兩大難題一直沒有完全突破。
歧義識別
歧義是指同樣的一句話,可能有兩種或者更多的切分方法。主要的歧義有兩種:交集型歧義和組合型歧義,例如:表面的,因為表面和面的都是詞,那么這個短語就可以分成表面的和表面的。這種稱為交集型歧義(交叉歧義)。像這種交集型歧義十分常見,前面舉的和服的例子,其實就是因為交集型歧義引起的錯誤?;瘖y和服裝可以分成化妝和服裝或者化妝和服裝。由于沒有人的知識去理解,計算機很難知道到底哪個方案正確。
交集型歧義相對組合型歧義來說是還算比較容易處理,組合型歧義就必須根據整個句子來判斷了。例如,在句子這個門把手壞了中,把手是個詞,但在句子請把手拿開中,把手就不是一個詞;在句子將軍任命了一名中將中,中將是個詞,但在句子產量三年中將增長兩倍中,中將就不再是詞。這些詞計算機又如何去識別?
如果交集型歧義和組合型歧義計算機都能解決的話,在歧義中還有一個難題,是真歧義。真歧義意思是給出一句話,由人去判斷也不知道哪個應該是詞,哪個應該不是詞。例如:乒乓球拍賣完了,可以切分成乒乓球拍賣完了、也可切分成乒乓球拍賣完了,如果沒有上下文其他的句子,恐怕誰也不知道拍賣在這里算不算一個詞。
新詞識別
命名實體(人名、地名)、新詞,專業術語稱為未登錄詞。也就是那些在分詞詞典中沒有收錄,但又確實能稱為詞的那些詞。最典型的是人名,人可以很容易理解。句子王軍虎去廣州了中,王軍虎是個詞,因為是一個人的名字,但要是讓計算機去識別就困難了。如果把王軍虎做為一個詞收錄到字典中去,全世界有那么多名字,而且每時每刻都有新增的人名,收錄這些人名本身就是一項既不劃算又巨大的工程。即使這項工作可以完成,還是會存在問題,例如:在句子王軍虎頭虎腦的中,王軍虎還能不能算詞?
除了人名以外,還有機構名、地名、產品名、商標名、簡稱、省略語等都是很難處理的問題,而且這些又正好是人們經常使用的詞,因此對于搜索引擎來說,分詞系統中的新詞識別十分重要。新詞識別準確率已經成為評價一個分詞系統好壞的重要標志之一。
應用編輯
在自然語言處理技術中,中文處理技術比西文處理技術要落后很大一段距離,許多西文的處理方法中文不能直接采用,就是因為中文必需有分詞這道工序。中文分詞是其他中文信息處理的基礎,搜索引擎只是中文分詞的一個應用。其他的比如機器翻譯(MT)、語音合成、自動分類、自動摘要、自動校對等等,都需要用到分詞。因為中文需要分詞,可能會影響一些研究,但同時也為一些企業帶來機會,因為國外的計算機處理技術要想進入中國市場,首先也是要解決中文分詞問題。
SEO教程_分詞準確性對搜索引擎來說十分重要,但如果分詞速度太慢,即使準確性再高,對于搜索引擎來說也是不可用的,因為搜索引擎需要處理數以億計的網頁,如果分詞耗用的時間過長,會嚴重影響搜索引擎內容更新的速度。因此對于搜索引擎來說,分詞的準確性和速度,二者都需要達到很高的要求。研究中文分詞的大多是科研院校,清華、北大、哈工大、中科院、北京語言大學、山西大學、東北大學、IBM研究院、微軟中國研究院等都有自己的研究隊伍,而真正專業研究中文分詞的商業公司除了海量以外,幾乎沒有了??蒲性盒Q芯康募夹g,大部分不能很快產品化,而一個專業公司的力量畢竟有限,看來中文分詞技術要想更好的服務于更多的產品,還有很長一段路。
東晟百度快照
全網首頁排名:百度、360、搜狗、谷歌等搜索引擎(PC端+手機端)首頁網站快照排名,精準流量導入。
點擊不扣費,24小時展示,跨平臺跨區域常年展示。
告別傳統推廣高昂費用,不用天天更新內容,排名穩定持久。
杭州東晟科技有限公司2020年新優化推廣技術更快更準更穩
Tags:SEO教程
>>:為什么你做SEO沒效果
東晟網站SEO優化顧問
網站SEO:SEO優化|百度快照優化排名
網站建設:模板網站|網站定制開發
網站托管、推廣外包、SEM托管
手機:15068182024
Email:466360772@qq.com
坐標:浙江省-杭州市
SEO私教:培訓|輔導|教程|顧問
全網優化:
百度優化
|360|Google|搜狗|頭條|淘寶手機網站建設優化:手機網站設計|手機網站排名|手機網站優化|移動網站SEO