仿造百度實(shí)現(xiàn)基于Lucene.net全文檢索
Lucene.Net
Lucene.net是Lucene的.net移植版本,是一個(gè)開(kāi)源的全文檢索引擎開(kāi)發(fā)包,即它不是一個(gè)完整的全文檢索引擎,而是一個(gè)全文檢索引擎的架構(gòu),是一個(gè)Library.你也可以把它理解為一個(gè)將索引,搜索功能封裝的很好的一套簡(jiǎn)單易用的API(提供了完整的查詢(xún)引擎和索引引擎)。利用這套API你可以做很多有關(guān)搜索的事情,而且很方便.。開(kāi)發(fā)人員可以基于Lucene.net實(shí)現(xiàn)全文檢索的功能。
注意:Lucene.Net只能對(duì)文本信息進(jìn)行檢索。如果不是文本信息,要轉(zhuǎn)換為文本信息,比如要檢索Excel文件,就要用NPOI把Excel讀取成字符串,然后把字符串扔給Lucene.Net。Lucene.Net會(huì)把扔給它的文本切詞保存,加快檢索速度。
更多概念性的知識(shí)可以參考這篇博文:http://blog.csdn.net/xiucool/archive/2008/11/28/3397182.aspx
這個(gè)小Demo樣例展示:
ok,接下來(lái)就細(xì)細(xì)詳解下士怎樣一步一步實(shí)現(xiàn)這個(gè)效果的。
Lucene.Net 核心——分詞算法(Analyzer)
學(xué)習(xí)Lucune.Net,分詞是核心。當(dāng)然最理想狀態(tài)下是能自己擴(kuò)展分詞,但這要很高的算法要求。Lucene.Net中不同的分詞算法就是不同的類(lèi)。所有分詞算法類(lèi)都從Analyzer類(lèi)繼承,不同的分詞算法有不同的優(yōu)缺點(diǎn)。
內(nèi)置的StandardAnalyzer是將英文按照空格、標(biāo)點(diǎn)符號(hào)等進(jìn)行分詞,將中文按照單個(gè)字進(jìn)行分詞,一個(gè)漢字算一個(gè)詞
- Analyzer analyzer = new StandardAnalyzer();
- TokenStream tokenStream = analyzer.TokenStream("",new StringReader("Hello Lucene.Net,我1愛(ài)1你China"));
- Lucene.Net.Analysis.Token token = null;
- while ((token = tokenStream.Next()) != null)
- {
- Console.WriteLine(token.TermText());
- }
分詞后結(jié)果:
二元分詞算法,每?jī)蓚€(gè)漢字算一個(gè)單詞,“我愛(ài)你China”會(huì)分詞為“我愛(ài) 愛(ài)你 china”,點(diǎn)擊查看二元分詞算法CJKAnalyzer。
- Analyzer analyzer = new CJKAnalyzer();
- TokenStream tokenStream = analyzer.TokenStream("", new StringReader("我愛(ài)你中國(guó)China中華人名共和國(guó)"));
- Lucene.Net.Analysis.Token token = null;
- while ((token = tokenStream.Next()) != null)
- {
- Response.Write(token.TermText()+"<br/>");
- }
這時(shí),你肯定在想,上面沒(méi)有一個(gè)好用的,二元分詞算法亂槍打鳥(niǎo),很想自己擴(kuò)展Analyzer,但并不是算法上的專(zhuān)業(yè)人士。怎么辦?
天降圣器,盤(pán)古分詞,點(diǎn)擊下載。
#p#
Lucene.Net核心類(lèi)簡(jiǎn)介(一)
Directory表示索引文件(Lucene.net用來(lái)保存用戶(hù)扔過(guò)來(lái)的數(shù)據(jù)的地方)保存的地方,是抽象類(lèi),兩個(gè)子類(lèi)FSDirectory(文件中)、RAMDirectory (內(nèi)存中)。
IndexReader對(duì)索引進(jìn)行讀取的類(lèi),對(duì)IndexWriter進(jìn)行寫(xiě)的類(lèi)。
IndexReader的靜態(tài)方法bool IndexExists(Directory directory)判斷目錄directory是否是一個(gè)索引目錄。IndexWriter的bool IsLocked(Directory directory) 判斷目錄是否鎖定,在對(duì)目錄寫(xiě)之前會(huì)先把目錄鎖定。兩個(gè)IndexWriter沒(méi)法同時(shí)寫(xiě)一個(gè)索引文件。IndexWriter在進(jìn)行寫(xiě)操作的時(shí)候會(huì)自動(dòng)加鎖,close的時(shí)候會(huì)自動(dòng)解鎖。IndexWriter.Unlock方法手動(dòng)解鎖(比如還沒(méi)來(lái)得及close IndexWriter 程序就崩潰了,可能造成一直被鎖定)。
創(chuàng)建索引庫(kù)操作:
構(gòu)造函數(shù):IndexWriter(Directory dir, Analyzer a, bool create, MaxFieldLength mfl)因?yàn)镮ndexWriter把輸入寫(xiě)入索引的時(shí)候,Lucene.net是把寫(xiě)入的文件用指定的分詞器將文章分詞(這樣檢索的時(shí)候才能查的快),然后將詞放入索引文件。
void AddDocument(Document doc),向索引中添加文檔(Insert)。Document類(lèi)代表要索引的文檔(文章),最重要的方法Add(Field field),向文檔中添加字段。Document是一片文檔,F(xiàn)ield是字段(屬性)。Document相當(dāng)于一條記錄,F(xiàn)ield相當(dāng)于字段。
Field類(lèi)的構(gòu)造函數(shù) Field(string name, string value, Field.Store store, Field.Index index, Field.TermVector termVector): name表示字段名; value表示字段值; store表示是否存儲(chǔ)value值,可選值 Field.Store.YES存儲(chǔ), Field.Store.NO不存儲(chǔ),F(xiàn)ield.Store.COMPRESS壓縮存儲(chǔ);默認(rèn)只保存分詞以后的一堆詞,而不保存分詞之前的內(nèi)容,搜索的時(shí)候無(wú)法根據(jù)分詞后的東西還原原文,因此如果要顯示原文(比如文章正文)則需要設(shè)置存儲(chǔ)。 index表示如何創(chuàng)建索引,可選值Field.Index. NOT_ANALYZED ,不創(chuàng)建索引,F(xiàn)ield.Index. ANALYZED,創(chuàng)建索引;創(chuàng)建索引的字段才可以比較好的檢索。是否碎尸萬(wàn)段!是否需要按照這個(gè)字段進(jìn)行“全文檢索”。 termVector表示如何保存索引詞之間的距離。“北京歡迎你們大家”,索引中是如何保存“北京”和“大家”之間“隔多少單詞”。方便只檢索在一定距離之內(nèi)的詞。
- private void CreateIndex()
- {
- //索引庫(kù)存放在這個(gè)文件夾里
- string indexPath = ConfigurationManager.AppSettings["pathIndex"];
- //Directory表示索引文件保存的地方,是抽象類(lèi),兩個(gè)子類(lèi)FSDirectory表示文件中,RAMDirectory 表示存儲(chǔ)在內(nèi)存中
- FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());
- //判斷目錄directory是否是一個(gè)索引目錄。
- bool isUpdate = IndexReader.IndexExists(directory);
- logger.Debug("索引庫(kù)存在狀態(tài):"+isUpdate);
- if (isUpdate)
- {
- if (IndexWriter.IsLocked(directory))
- {
- IndexWriter.Unlock(directory);
- }
- }
- //第三個(gè)參數(shù)為是否創(chuàng)建索引文件夾,Bool Create,如果為T(mén)rue,則新創(chuàng)建的索引會(huì)覆蓋掉原來(lái)的索引文件,反之,則不必創(chuàng)建,更新即可。
- IndexWriter write = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, IndexWriter.MaxFieldLength.UNLIMITED);
- WebClient wc = new WebClient();
- //編碼,防止亂碼
- wc.Encoding = Encoding.UTF8;
- int maxID;
- try
- {
- //讀取rss,獲得第一個(gè)item中的鏈接的編號(hào)部分就是最大的帖子編號(hào)
- maxID = GetMaxID();
- }
- catch (WebException webEx)
- {
- logger.Error("獲得最大帖子號(hào)出錯(cuò)",webEx);
- return;
- }
- for (int i = 1; i <= maxID; i++)
- {
- try
- {
- string url = "http://localhost:8080/showtopic-" + i + ".aspx";
- logger.Debug("開(kāi)始下載:"+url);
- string html = wc.DownloadString(url);
- HTMLDocumentClass doc = new HTMLDocumentClass();
- doc.designMode = "on";//不讓解析引擎嘗試去執(zhí)行
- doc.IHTMLDocument2_write(html);
- doc.close();
- string title = doc.title;
- string body = doc.body.innerText;
- //為避免重復(fù)索引,先輸出number=i的記錄,在重新添加
- write.DeleteDocuments(new Term("number", i.ToString()));
- Document document = new Document();
- //Field為字段,只有對(duì)全文檢索的字段才分詞,F(xiàn)ield.Store是否存儲(chǔ)
- document.Add(new Field("number", i.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));
- document.Add(new Field("title", title, Field.Store.YES, Field.Index.NOT_ANALYZED));
- document.Add(new Field("body", body, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS_OFFSETS));
- write.AddDocument(document);
- logger.Debug("索引" + i.ToString() + "完畢");
- }
- catch (WebException webEx)
- {
- logger.Error("下載"+i.ToString()+"失敗",webEx);
- }
- }
- write.Close();
- directory.Close();
- logger.Debug("全部索引完畢");
- }
- //取最大帖子號(hào)
- private int GetMaxID()
- {
- XDocument xdoc = XDocument.Load("Http://localhost:8080/tools/rss.aspx");
- XElement channel = xdoc.Root.Element("channel");
- XElement fitstItem = channel.Elements("item").First();
- XElement link = fitstItem.Element("link");
- Match match = Regex.Match(link.Value, @"http://localhost:8080/showtopic-(\d+)\.aspx");
- string id = match.Groups[1].Value;
- return Convert.ToInt32(id);
- }
這樣就創(chuàng)建了索引庫(kù),利用WebClient爬去所有網(wǎng)頁(yè)的內(nèi)容,這兒需要你添加引用Microsoft mshtml組件,MSHTML是微軟公司的一個(gè)COM組件,該組件封裝了HTML語(yǔ)言中的所有元素及其屬性,通過(guò)其提供的標(biāo)準(zhǔn)接口,可以訪(fǎng)問(wèn)指定網(wǎng)頁(yè)的所有元素。
當(dāng)然,創(chuàng)建索引庫(kù)最好定時(shí)給我們自動(dòng)創(chuàng)建,類(lèi)似于Windows計(jì)劃任務(wù)。
在這兒你可以了解Quartz.Net
首先添加對(duì)其(我這個(gè)版本有兩個(gè),一個(gè)是Quartz.dll,還有一個(gè)是Common.Logging)的引用,貌似兩個(gè)缺一不可,否則會(huì)報(bào)錯(cuò),類(lèi)似于文件路徑錯(cuò)誤。
在Global里配置如下:
- public class Global : System.Web.HttpApplication
- {
- private static ILog logger = LogManager.GetLogger(typeof(Global));
- private IScheduler sched;
- protected void Application_Start(object sender, EventArgs e)
- {
- //控制臺(tái)就放在Main
- logger.Debug("Application_Start");
- log4net.Config.XmlConfigurator.Configure();
- //從配置中讀取任務(wù)啟動(dòng)時(shí)間
- int indexStartHour = Convert.ToInt32(ConfigurationManager.AppSettings["IndexStartHour"]);
- int indexStartMin = Convert.ToInt32(ConfigurationManager.AppSettings["IndexStartMin"]);
- ISchedulerFactory sf = new StdSchedulerFactory();
- sched = sf.GetScheduler();
- JobDetail job = new JobDetail("job1", "group1", typeof(IndexJob));//IndexJob為實(shí)現(xiàn)了IJob接口的類(lèi)
- Trigger trigger = TriggerUtils.MakeDailyTrigger("tigger1", indexStartHour, indexStartMin);//每天10點(diǎn)3分執(zhí)行
- trigger.JobName = "job1";
- trigger.JobGroup = "group1";
- trigger.Group = "group1";
- sched.AddJob(job, true);
- sched.ScheduleJob(trigger);
- //IIS啟動(dòng)了就不會(huì)來(lái)了
- sched.Start();
- }
- protected void Session_Start(object sender, EventArgs e)
- {
- }
- protected void Application_BeginRequest(object sender, EventArgs e)
- {
- }
- protected void Application_AuthenticateRequest(object sender, EventArgs e)
- {
- }
- protected void Application_Error(object sender, EventArgs e)
- {
- logger.Debug("網(wǎng)絡(luò)出現(xiàn)未處理異常:",HttpContext.Current.Server.GetLastError());
- }
- protected void Session_End(object sender, EventArgs e)
- {
- }
- protected void Application_End(object sender, EventArgs e)
- {
- logger.Debug("Application_End");
- sched.Shutdown(true);
- }
- }
最后我們的Job去做任務(wù),但需要實(shí)現(xiàn)IJob接口
- public class IndexJob:IJob
- {
- private ILog logger = LogManager.GetLogger(typeof(IndexJob));
- public void Execute(JobExecutionContext context)
- {
- try
- {
- logger.Debug("索引開(kāi)始");
- CreateIndex();
- logger.Debug("索引結(jié)束");
- }
- catch (Exception ex)
- {
- logger.Debug("啟動(dòng)索引任務(wù)異常", ex);
- }
- }
- }
Ok,我們的索引庫(kù)建立完了,接下來(lái)就是搜索了。
#p#
Lucene.Net核心類(lèi)簡(jiǎn)介(二)
IndexSearcher是進(jìn)行搜索的類(lèi),構(gòu)造函數(shù)傳遞一個(gè)IndexReader。IndexSearcher的void Search(Query query, Filter filter, Collector results)方法用來(lái)搜索,Query是查詢(xún)條件, filter目前傳遞null, results是檢索結(jié)果,TopScoreDocCollector.create(1000, true)方法創(chuàng)建一個(gè)Collector,1000表示最多結(jié)果條數(shù),Collector就是一個(gè)結(jié)果收集器。
Query有很多子類(lèi),PhraseQuery是一個(gè)子類(lèi)。 PhraseQuery用來(lái)進(jìn)行多個(gè)關(guān)鍵詞的檢索,調(diào)用Add方法添加關(guān)鍵詞,query.Add(new Term("字段名", 關(guān)鍵詞)),PhraseQuery. SetSlop(int slop)用來(lái)設(shè)置關(guān)鍵詞之間的最大距離,默認(rèn)是0,設(shè)置了Slop以后哪怕文檔中兩個(gè)關(guān)鍵詞之間沒(méi)有緊挨著也能找到。 query.Add(new Term("字段名", 關(guān)鍵詞)) query.Add(new Term("字段名", 關(guān)鍵詞2)) 類(lèi)似于:where 字段名 contains 關(guān)鍵詞 and 字段名 contais 關(guān)鍵詞。
調(diào)用TopScoreDocCollector的GetTotalHits()方法得到搜索結(jié)果條數(shù),調(diào)用Hits的TopDocs TopDocs(int start, int howMany)得到一個(gè)范圍內(nèi)的結(jié)果(分頁(yè)),TopDocs的scoreDocs字段是結(jié)果ScoreDoc數(shù)組, ScoreDoc 的doc字段為L(zhǎng)ucene.Net為文檔分配的id(為降低內(nèi)存占用,只先返回文檔id),根據(jù)這個(gè)id調(diào)用searcher的Doc方法就能拿到Document了(放進(jìn)去的是Document,取出來(lái)的也是Document);調(diào)用doc.Get("字段名")可以得到文檔指定字段的值,注意只有Store.YES的字段才能得到,因?yàn)镾tore.NO的沒(méi)有保存全部?jī)?nèi)容,只保存了分割后的詞。
搜索的代碼:
查看盤(pán)古分詞文檔找到高亮顯示:
- private string Preview(string body,string keyword)
- {
- PanGu.HighLight.SimpleHTMLFormatter simpleHTMLFormatter = new PanGu.HighLight.SimpleHTMLFormatter("<font color=\"Red\">","</font>");
- PanGu.HighLight.Highlighter highlighter = new PanGu.HighLight.Highlighter(simpleHTMLFormatter, new Segment());
- highlighter.FragmentSize = 100;
- string bodyPreview = highlighter.GetBestFragment(keyword, body);
- return bodyPreview;
- }
因?yàn)槲覀冺?yè)面剛進(jìn)入需要加載熱詞,為了減輕服務(wù)端壓力,緩存的使用能使我們解決這一問(wèn)題。
既然是熱詞,當(dāng)然是最近幾天搜索量最多的,故Sql語(yǔ)句需要考慮指定的時(shí)間之內(nèi)的搜索數(shù)量的排序。
- public IEnumerable<Model.SearchSum> GetHotWords()
- {
- //緩存
- var data=HttpRuntime.Cache["hotwords"];
- if (data==null)
- {
- IEnumerable<Model.SearchSum> hotWords = DoSelect();
- HttpRuntime.Cache.Insert("hotwords",hotWords,null,DateTime.Now.AddMilliseconds(30),TimeSpan.Zero );
- return hotWords;
- }
- return (IEnumerable<Model.SearchSum>)data;
- }
- private IEnumerable<Model.SearchSum> DoSelect()
- {
- DataTable dt = SqlHelper.ExecuteDataTable(@"
- select top 5 Keyword,count(*) as searchcount from keywords
- where datediff(day,searchdatetime,getdate())<7
- group by Keyword
- order by count(*) desc ");
- List<Model.SearchSum> list = new List<Model.SearchSum>();
- if (dt!=null&&dt.Rows!=null&&dt.Rows.Count>0)
- {
- foreach (DataRow row in dt.Rows)
- {
- Model.SearchSum oneModel=new Model.SearchSum ();
- oneModel.Keyword = Convert.ToString(row["keyword"]);
- oneModel.SearchCount = Convert.ToInt32(row["SearchCount"]);
- list.Add(oneModel);
- }
- }
- return list;
- }
搜索建議,類(lèi)似于Baidu搜索時(shí)下拉提示框,Jquery UI模擬,下面是獲取根據(jù)搜索數(shù)量最多的進(jìn)行排序,得到IEnumerable<Model.SearchSum>集合
- public IEnumerable<Model.SearchSum> GetSuggestion(string kw)
- {
- DataTable dt = SqlHelper.ExecuteDataTable(@"select top 5 Keyword,count(*) as searchcount from keywords
- where datediff(day,searchdatetime,getdate())<7
- and keyword like @keyword
- group by Keyword
- order by count(*) desc",new SqlParameter("@keyword","%"+kw+"%"));
- List<Model.SearchSum> list = new List<Model.SearchSum>();
- if (dt != null && dt.Rows != null && dt.Rows.Count > 0)
- {
- foreach (DataRow row in dt.Rows)
- {
- Model.SearchSum oneModel = new Model.SearchSum();
- oneModel.Keyword = Convert.ToString(row["keyword"]);
- oneModel.SearchCount = Convert.ToInt32(row["SearchCount"]);
- list.Add(oneModel);
- }
- }
- return list;
- }
最關(guān)鍵的搜索代碼,詳見(jiàn)注釋和上面Lucene.Net核心類(lèi)二:
- protected void Page_Load(object sender, EventArgs e)
- {
- //加載熱詞
- hotwordsRepeater.DataSource = new Dao.KeywordDao().GetHotWords();
- hotwordsRepeater.DataBind();
- kw = Request["kw"];
- if (string.IsNullOrWhiteSpace(kw))
- {
- return;
- }
- //處理:將用戶(hù)的搜索記錄加入數(shù)據(jù)庫(kù),方便統(tǒng)計(jì)熱詞
- Model.SerachKeyword model = new Model.SerachKeyword();
- model.Keyword = kw;
- model.SearchDateTime = DateTime.Now;
- model.ClinetAddress = Request.UserHostAddress;
- new Dao.KeywordDao().Add(model);
- //分頁(yè)控件
- MyPage pager = new MyPage();
- pager.TryParseCurrentPageIndex(Request["pagenum"]);
- //超鏈接href屬性
- pager.UrlFormat = "CreateIndex.aspx?pagenum={n}&kw=" + Server.UrlEncode(kw);
- int startRowIndex = (pager.CurrentPageIndex - 1) * pager.PageSize;
- int totalCount = -1;
- List<SearchResult> list = DoSearch(startRowIndex,pager.PageSize,out totalCount);
- pager.TotalCount = totalCount;
- RenderToHTML = pager.RenderToHTML();
- dataRepeater.DataSource = list;
- dataRepeater.DataBind();
- }
- private List<SearchResult> DoSearch(int startRowIndex,int pageSize,out int totalCount)
- {
- string indexPath = "C:/Index";
- FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory());
- IndexReader reader = IndexReader.Open(directory, true);
- //IndexSearcher是進(jìn)行搜索的類(lèi)
- IndexSearcher searcher = new IndexSearcher(reader);
- PhraseQuery query = new PhraseQuery();
- foreach (string word in CommonHelper.SplitWord(kw))
- {
- query.Add(new Term("body", word));
- }
- query.SetSlop(100);//相聚100以?xún)?nèi)才算是查詢(xún)到
- TopScoreDocCollector collector = TopScoreDocCollector.create(1024, true);//最大1024條記錄
- searcher.Search(query, null, collector);
- totalCount = collector.GetTotalHits();//返回總條數(shù)
- ScoreDoc[] docs = collector.TopDocs(startRowIndex, pageSize).scoreDocs;//分頁(yè),下標(biāo)應(yīng)該從0開(kāi)始吧,0是第一條記錄
- List<SearchResult> list = new List<SearchResult>();
- for (int i = 0; i < docs.Length; i++)
- {
- int docID = docs[i].doc;//取文檔的編號(hào),這個(gè)是主鍵,lucene.net分配
- //檢索結(jié)果中只有文檔的id,如果要取Document,則需要Doc再去取
- //降低內(nèi)容占用
- Document doc = searcher.Doc(docID);
- string number = doc.Get("number");
- string title = doc.Get("title");
- string body = doc.Get("body");
- SearchResult searchResult = new SearchResult() { Number = number, Title = title, BodyPreview = Preview(body, kw) };
- list.Add(searchResult);
- }
- return list;
- }
#p#
Jquery UI模擬Baidu下拉提示和數(shù)據(jù)的綁定
- <script type="text/javascript">
- $(function () {
- $("#txtKeyword").autocomplete(
- { source: "SearchSuggestion.ashx",
- select: function (event, ui) { $("#txtKeyword").val(ui.item.value); $("#form1").submit(); }
- });
- });
- </script>
- <div align="center">
- <input type="text" id="txtKeyword" name="kw" value='<%=kw %>'/>
- <%-- <asp:Button ID="createIndexButton" runat="server" onclick="searchButton_Click"
- Text="創(chuàng)建索引庫(kù)" />--%>
- <input type="submit" name="searchButton" value="搜索" style="width: 91px" /><br />
- </div>
- <br />
- <ul id="hotwordsUL">
- <asp:Repeater ID="hotwordsRepeater" runat="server">
- <ItemTemplate>
- <li><a href='CreateIndex.aspx?kw=<%#Eval("Keyword") %>'><%#Eval("Keyword") %></a></li>
- </ItemTemplate>
- </asp:Repeater>
- </ul>
- <br />
- <asp:Repeater ID="dataRepeater" runat="server" EnableViewState="true">
- <HeaderTemplate>
- <ul>
- </HeaderTemplate>
- <ItemTemplate>
- <li>
- <a href='http://localhost:8080/showtopic-<%#Eval("Number") %>.aspx'><%#Eval("Title") %></a>
- <br />
- <%#Eval("BodyPreview") %>
- </li>
- </ItemTemplate>
- <FooterTemplate>
- </ul>
- </FooterTemplate>
- </asp:Repeater>
- <br />
- <div class="pager"><%=RenderToHTML%></div>
原文鏈接:http://www.cnblogs.com/OceanEyes/archive/2012/07/31/2616178.html
【編輯推薦】