第二版  前言

第一版  前言

第一章  引论

  第一节  搜索引擎的概念

  第二节  搜索引擎的发展历史

  第三节  一些著名的搜索引擎

  第四节  小结

    上篇  web搜索引擎基本原理和技术

第二章  Web搜索引擎工作原理和体系结构

  第一节  基本要求

  第二节  网页搜集

  第三节  预处理

  第四节  查询服务

  第五节  体系结构

  第六节  小结

第三章  web信息的搜集

  第一节  概述

    一、超文本传输协议

    二、一个小型搜索引擎系统

  第二节  网页搜集

    一、定义URL类和Page类

    二、与服务器建立连接

    三、发送请求和接收数据

    四、网页信息存储的天网格式

  第三节  多道搜集程序并行工作

    一、多线程并发工作

    二、控制对一个站点并发搜集线程的数目

  第四节  如何避免网页的重复搜集

    一、记录未访问、已访问URL和网页内容摘要信息

    二、域名与IP的对应问题

  第五节  搜集信息的类型

  第六节  小结

第四章  对搜集信息的预处理

  第一节  索引网页库

  第二节  网页编码识别

    一、基本而重要的概念

    二、常用字符编码

    三、常用字符编码算法

    四、字符的输入和显示

    五、编码识别

  第三节  中文自动分词

  第四节  分析网页和建立倒排文件

  第五节  小结

第五章  信息查询服务

  第一节  检索的定义

  第二节  查询服务的实现

    一、结果集合的形成

    二、查询结果显示

  第三节  小结

    中篇对质量和性能的追求

第六章  可扩展搜集子系统

  第一节  天网系统概述和集中式搜集系统结构

    一、天网系统结构

    二、集中式搜集系统

  第二节  利用并行处理技术高效搜集网页的一种方案

    一、节  点间15RI。的划分策略

    二、关于性能的讨论

    三、性能测试和评价

    四、系统的动态可配置性设计

  第三节  天网分布式搜集系统

  第四节  对Deep Web的认识

    一、Deep Web的成因

    二、搜索Deep Web的方法

  第五节  小结

第七章  网页净化与消重

  第一节  网页净化与元数据提取

    一、DocView模型

    二、网页的表示

    三、提取DocView模型要素的方法

    四、模型应用及实验研究

  第二节  网页消重算法

    一、消重算法

    二、算法评测

  第三节  小结

第八章  高性能检索子系统

  第一节  检索系统基本技术

    一、系统设计与结构

    二、索引创建

    三、检索过程

  第二节  适于查询的网页索引结构

    一、倒排索引结构

    二、平面位置索引

  第三节  倒排索引压缩

    一、倒排索引压缩技术

    二、词典与倒排表的压缩

  第四节  索引剪枝

    一、静态索引剪枝方法

    二、动态索引剪枝方法

  第五节  混合索引技术

    一、混合索引的原理

    二、混合索引的实现

  第六节  倒排文件缓存机制

    一、倒排文件缓存

    二、负载特性

    三、缓存策略的选择

  第七节  小结

第九章  相关排序与系统质量评估

  第一节  传统IR的相关排序技术

  第二节  链接分析与相关排序

    一、链接分析

    二、Web查询模式下的新信息

  第三节  相关排序的一种实现方案

    一、形成网页中词项的基本权重

    二、利用链接的结构

    三、收集用户反馈信息

    四、计算最终的权重

  第四节  信息检索技术评估

    一、信息检索技术评估指标

    二、TREC和CWlRF信息检索评估

    三、搜索引擎技术评估

  第五节  小结

    下篇  web信息资源的组织与应用服务

第十章  大规模web历史网页仓储系统的构建

  第一节  国外web历史网页保存现状

    一、Intemet Archive

    二、PANDORA

    三、其他相关Web保存项目

  第二节  中国web信息博物馆的系统设计

    一、Web  InfoMall的设计目标

    二、’Web  InfoMall的体系结构

  第三节  历史网页的存储

    一、数据的组织

    二、存储结构

    三、数据管理与压缩

    四、存储性能

  第四节  数据访问

    一、PageID的索引

    二、URL的索引

    三、数据服务

    四、性能与优化

  第五节  网页的格式保存

  第六节  小结

第十一章  大规模web非网页信息仓储系统的构建

  第一节  网络资源库藏相关工作

    一、Ibiblio

    二、Internet  Archive

    二、W1kimedia

    四、中国互联网数字资源财富库藏

  第二节  CDAL系统概况

  第三节  CDAL系统设计

    一、系统体系结构

    二、可扩展的存储组织方案

  第四节  网络资源描述信息获取

    一、0ntology概述

    二、描述信息获取机制

    三、改进查询的方法

    四、改进排序的方法

  第五节  基于局部聚类思想的共现词汇算法

    一、基本定义

    二、H)C共现词汇算法

  第六节  小结

第十二章  中文网页自动分类与聚类

  第一节  文档自动分类算法的类型

  第二节  实现中文网页自动分类的一般过程

  第三节  影响分类器性能的关键因素分析

    一、实验设置

    二、训练样本

    三、特征选取

    四、分类算法

    五、截尾算法

    六、中文网页分类器的设计方案

  第四节  天网目录导航服务

    一、问题的提出

    二、天网目录导航服务的体系结构

    三、天网目录的运行实例

  第五节  文本聚类方法

    一、文本聚类的一般过程

    二、文本间相似性的度量

    三、常用聚类算法

    四、聚类结果的评估

    五、搜索引擎返回结果的聚类

  第六节  小结

第十三章  开放域问答系统

  第一节  概述

    一、问答系统的历史

    二、著名开放域问答系统介绍

    三、开放域问答系统的通用体系结构

  第二节  问句的分析

    一、问句中的指代消解

    二、问句分类

    三、问句主题提取

  第三节  文档和段落检索

    一、检索模型的选用

    二、查询生成

    三、查询结果排序

    四、增强索引的功能

  第四节  答案提取和验证模块

    一、生成候选答案集合

    二、答案提取

  第五节  问答系统的改进方法

    一、问答系统中外部资源的利用

    二、寻找特殊类问题的解决方案

    三、通过系综方法构建问答系统

  第六节  问答系统的评测

    一、TREC问答系统评测

    二、问答系统评测指标

  第七节  实例：天网开放域问答系统

  第八节  小结

参考文献

附录术语