第1章  搜索引擎评价技术

1.1 目标、角度和方法

1.2 符号定义

1.3 Cranfield范式评价方法

1.4 评测指标

1.4.1 二值相关性指标

1.4.2 多值相关性指标

1.4.3 偏好性指标

1.4.4 分数综合方法

1.4.5 系统比较

1.4.6 指标分析

1.5 评测集

1.6 不完整的评测集

1.6.1 文档池方法

1.6.2 抽样方法

1.6.3 最小标注集方法

1.7 相关性之外的考虑

1.7.1 多样性和新颖性

1.7.2 评测方法

1.7.3 多样性指标

1.7.4 新颖性指标

1.7.5 归一化因子：一个NP难问题

1.8 Cranfield评测方法遇到的困难

1.9 用户研究

1.9.1 用户研究的指标

1.9.2 用户研究的顺序性

1.9.3 用户研究和Cranfield范式：比较和关联

1.10 搜索引擎的效率

1.10.1 在线指标和离线指标

1.10.2 吞吐率和响应时间

1.11 搜索引擎的界面评价

1.12 可检索性评价

1.13 小结

第2章  搜索引擎用户隐反馈建模

2.1 用户隐反馈的分类

2.2 用户点击行为

2.2.1 位置偏差

2.2.2 环境质量偏差

2.2.3 展示信息偏差

2.3 从点击行为中提取偏好关系

2.3.1 单用户点击行为中蕴涵的偏好关系

2.3.2 多次查询点击的融合

2.4 相关性标注

2.4.1 从偏好关系到相关性标注

2.4.2 监督学习获得相关性标注

2.5 用户行为建模：统计点击模型

2.5.1 用户搜索行为流程

2.5.2 用户点击行为

2.5.3 用户查看行为

2.5.4 用户点击模型

2.6 浏览时间

2.6.1 浏览时间和文档相关性

2.6.2 浏览时间模型

2.7 用户会话识别

2.7.1 超时会话切分

2.7.2 会话切换分类

2.7.3 全局的会话识别方法

2.8 其他用户隐反馈：眼动和鼠标移动

2.9 小结

第3章  搜索引擎结果归并—比较方法

3.1 问题的提出

3.2 现有的归并—比较方法

3.2.1 平衡归并法

3.2.2 参赛队归并法

3.2.3 上述两种归并—比较方法的缺陷

3.3 归并—比较方法评测体系

3.3.1 评测归并—比较方法的指标

3.3.2 测试用例的产生

3.4 实验设置和评测结果

3.4.1 实验设计

3.4.2 结果

3.4.3 两种方法的缺点分析

3.5 基于位置信息的归并—比较方法

3.6 小结

第4章  基于用户点击模型的搜索引擎评价方法

4.1 文档重排序框架

4.2 重排序函数

4.2.1 两种评价方式

4.2.2 影响重排序的因素

4.3 用户研究实验

4.3.1 实验设计

4.3.2 评测标准和指标

4.3.3 结果

4.4 TREC数据模拟实验和结果

4.4.1 基本的模拟评测

4.4.2 多情境分析

4.4.3 指标的影响

4.4.4 点击模型的影响

4.5 小结

第5章  有效时间比：一种新的搜索引擎评价指标

5.1 有效时间比的定义

5.1.1 精度：有效时间比的一种实现形式

5.1.2 包含文档展示信息的搜索引擎评价指标：有效时间比

5.2 有效时间比的性质

5.3 实验设置

5.4 实验结果和讨论

5.4.1 测试指标

5.4.2 基本结果

5.4.3 开放类问题和封闭类问题

5.5 小结

附录 一个基于归并比较的元搜索系统

参考文献

后记