Chatbot 联网工具如何把网页变成可引用知识:web_search 与 web_fetch 的实现拆解
Chatbot 的联网能力由 web_search 和 web_fetch 两个工具分工完成:前者按主题返回候选来源的标题、URL 和片段,后者读取已知 URL 并提取可读正文。
Chatbot 的联网能力由 web_search 和 web_fetch 两个工具分工完成:前者按主题返回候选来源的标题、URL 和片段,后者读取已知 URL 并提取可读正文。
NavTree 是一种仅用叶节点的检索器,在 chunk 上构建确定性平衡线段树,索引阶段零 LLM 调用,仅将树作为导航骨架,通过词法与稠密混合的前沿游走从根节点下行并只向阅读器输出叶 chunk。在匹配成本评估中,它是所评测网格里最强的分层检索器,并与最强扁平基线持平;在长文档多跳 QA 上,它是唯一在类对类比较中显著优于 BM25 的分层方法。
Airbnb 提出 SIFT(Search Intent-to-Filter Transformer),直接从未经处理的用户行为序列学习偏好,取代人工特征工程,并统一支持预订概率、筛选器互动和房型数量阈值等多任务预测。
研究提出"智能体体验(AX)"是新的 AEO:在 1,056 家真实企业上运行 37,927 次智能体购买旅程后发现,仅 7-10% 的最终答案来自模型训练知识。具备 AX 的企业有 78% 的答案由自家页面构建(对照组 56%),被明确推荐的概率高 1.9 倍;而不可读企业获得有据答案的成本平均高 64%。主要失败并非编造而是遗漏——网页构建的答案缺失买家所需事实的概率高 3.7 倍。
315 AI 投毒风波后,豆包、DeepSeek、元宝、讯飞星火改信源规则,不再只认单一自媒体平台,改为政府网站、行业垂直网站、带 ICP 备案的官网交叉验证,信源不足直接判定投毒,严重者品牌封杀。这套让 AI 在回答中引用到你的做法叫 GEO,但单价 50 元以下的商品意义有限,高客单价、决策慎重的生意更适用。
Cloudflare 发布 Web Search API 测试版,让 AI 智能体和应用搜索互联网,用实时信息支撑回答,而不是猜测 URL 或受限于模型训练截止时间。
纯向量检索在专有名词、数字版本号、代码命令等精确匹配场景下召回率往往只有 60-70%,需要 Hybrid Search 即向量检索加 BM25 关键词检索互补。
通过 Amazon Bedrock AgentCore Gateway,可将 Claude Desktop 接入由 Amazon 网页索引支持的 Web Search,覆盖数百亿文档,查询流量全程留在 AWS 内、无需外部 API key。