• <menu id="memm8"></menu>
    <nav id="memm8"><nav id="memm8"></nav></nav><nav id="memm8"></nav>
  • 億級數據的高并發通用搜索引擎架構設計

    億級數據的高并發通用搜索引擎架構設計

    億級數據的高并發通用搜索引擎架構設計[原創]

    [文章作者:張宴 本文版本:v1.0 最后修改:2008.12.09 轉載請注明原文鏈接:http://www.wz-lab.com/post/385.htm]

    曾經在七月,寫過一篇文章──《基于Sphinx+MySQL的千萬級數據全文檢索(搜索引擎)架構設計》,前公司的分類信息搜索基于此架構,效果明顯,甚至將很大一部分帶Where條件的MySQL SQL查詢,都改用了Sphinx+MySQL搜索。但是,這套架構仍存在局限:一是MySQL本身的并發能力有限,在200~300個并發連接下,查詢和更新就比較慢了;二是由于MySQL表的主鍵與Sphinx索引的ID一一對應,從而無法跨多表建立整站查詢,而且新增加類別還得修改配置文件,比較麻煩;三是因為和MySQL集成,無法發揮出Sphinx的優勢。

    最近,我設計出了下列這套最新的搜索引擎架構,目前已經寫出“搜索查詢接口”和“索引更新接口”的beta版。經測試,在一臺“奔騰四 3.6GHz 雙核CPU、2GB內存”的普通PC機,7000萬條索引記錄的條件下,“搜索查詢接口”平均查詢速度為0.0XX秒(查詢速度已經達到百度、谷歌、搜狗、中國雅虎等搜索引擎的水平,詳見文章末尾的“附2”),并且能夠支撐高達5000的并發連接;而“索引更新接口”進行數據分析、入隊列、返回信息給用戶的全過程,高達1500 Requests/Sec。

    “隊列控制器”這一部分是核心,它要控制隊列讀取,更新MySQL主表與增量表,更新搜索引擎數據存儲層Tokyo Tyrant,準實時(1分鐘內)完成更新Sphinx增量索引,定期合并Sphinx索引。我預計在這周寫出beta版。

    你可能喜歡

    • 推送技術
    • 大型網站架構
    • 淘寶技術
    • 垂直搜索引擎
    • 網站架構設計方案
    • 網站架構分析
    • 系統架構概述
    • 消息服務器

    億級數據的高并發通用搜索引擎架構設計相關文檔

    最新文檔

    返回頂部
    欧美牲交videossexeso
  • <menu id="memm8"></menu>
    <nav id="memm8"><nav id="memm8"></nav></nav><nav id="memm8"></nav>