← 文章 / AI技术
Hacker News 4小时前 · 2026-09-03 14:22:35 · 3 阅读

三个站点被指为AI生成21.5万篇"最佳软件"页面,Perplexity引用了它们

我们让两个具备网页检索能力的模型在380个软件类别中推荐最佳产品,并记录它们返回的所有URL。在回传的7,534条引用中,59.8%指向的域名在Tranco Top-1M榜单中排名低于第10万名,23.4%甚至完全不在百万榜单内。其中两个参与检索的网站将首页HTML标题设为"Facts & Grounding Page"——grounding即指这些模型执行的检索步骤。这三个站点疑似受同一控制方运营,合计发布了215,128篇机器生成的「best <category>」页面,且三个域名均不早于2023年12月出现。

测试方法

2026年9月2日,我们将380个带有购买意图的软件类别(从"CRM软件"到"博物馆藏品管理软件")通过OpenRouter提交给perplexity/sonarperplexity/sonar-pro,每个模型每个类别一条提示,共计760次调用。每次调用要求以JSON格式返回排名前五的产品及其官网域名。760次调用全部返回了可解析的答案,且两个模型都会报告检索到的URL——这也是我们选择它们的原因。这些类别在见到任何结果之前就已确定,且从未修改。

这产生了3,800个推荐位置、涉及1,807个不同产品,以及7,534条引用,覆盖2,055个不同域名。随后我们在Tranco 2026-09-01日榜和Wayback Machine中查询了所有被引用的域名,并抓取了模型提供的1,502个厂商首页以核查其是否存在。

Google未被纳入测试。在OpenRouter上对Gemini模型进行grounding需经由OpenRouter自己的网页搜索插件路由,那样引用描述的将是该插件而非Google的检索系统。本研究仅针对Perplexity,此处任何内容都不应被解读为对其他任何引擎的论断。

引用落地情况

引用数 无排名(不在Tranco百万榜内) 排名低于第10万
perplexity/sonar 3,767 23.4% 59.8%
perplexity/sonar-pro 3,767 23.5% 59.9%
汇总 7,534 23.4% 59.8%

在指向有排名域名的 5,768 条引用中,Tranco 排名的中位数为 71,611。头部集中效应并不明显——引用最多的十个域名仅占总引用的 17.3%——这说明答案并非由几家知名网站的垄断联盟所提供。真正构成主体的是那五分之四的长尾部分:2,055 个被引域名中有 751 个(占 36.5%)根本不在百万强榜单之列。

这些域名也更年轻。无排名被引域名的首个 Wayback 抓取年份中位数为 2020 年,而有排名域名为 2011 年;此外,存档的无排名域名中有 16.6% 首次被抓取于 2025 年或之后,而有排名域名这一比例仅为 1.6%。

引用最多的十个域名:

域名 引用次数 占比 Tranco 排名
g2.com 291 3.86% 4,027
reddit.com 261 3.46% 105
guideflow.com 194 2.57% 177,039
gartner.com 158 2.10% 1,766
zapier.com 82 1.09% 2,919
wifitalents.com 71 0.94% 105,281
capterra.com 68 0.90% 6,387
linkedin.com 67 0.89% 18
worldmetrics.org 60 0.80% 104,737
gitnux.org 50 0.66% 42,759

作为对比,Wikipedia 在 7,534 条引用中仅出现三次。

第三大来源竟是一家厂商的营销博客

guideflow.com 主打交互式产品演示服务。它既非评测网站、目录平台或内容出版商,也与我们调研的任何软件类别毫不相关。然而其博客却在我们调研的 380 个品类中有 96 个(约占四分之一)获得了引用,总计 194 次,整体排名跃居第三,超过 Gartner。每条引用均指向不同 URL:共 96 个独立的 guideflow.com 博客链接,每个品类各一条,其中六条是某篇博客的爱沙尼亚语本地化版本。该站 sitemap 共收录 3,351 个博客 URL,涉及 2,176 篇独立文章。无论是“3D 渲染软件”、“IVR 软件”、“RFID 软件”还是“建筑实践软件”,它的博客内容都为这些类别提供了参考依据。

这里谈不上欺骗。Guideflow publishes 大型内容营销博客,成千上万家公司都在这么做。真正的问题是检索层如何处理这些内容:一个厂商关于自己不运营市场的清单文章,竟然成为了"该买哪款产品"这一问题的第三大证据来源。

事实与依据页面

排名前十及附近的另外三个网站是 wifitalents.com(71 次引用,27 个分类)、worldmetrics.org(60,22)和 gitnux.org(50,23)。三者合计贡献 181 次引用,占总量的 2.4%,出现在 380 个分类中的 41 个。

它们看起来是一伙的。三个域名都在 2023 年 12 月至 2024 年 5 月间通过 NameCheap 注册,DNS 均指向同一对 Cloudflare 名字服务器 pam.ns.cloudflare.comsean.ns.cloudflare.com,页面模板和导航结构也完全一致——Services、Market Data、Software Advice、Editorial Process、Company。每个站点都恰好维护六篇博客文章,十八篇全部围绕这个系列中的其他品牌撰写:各两篇介绍另外两个品牌,另有两篇介绍第四个品牌 zipdo.co——它也托管在同一对名字服务器上,首页同样标着"Facts & Grounding Page"。共享名字服务器只能作为共用 Cloudflare 账户的间接证据,而非所有权的直接证明,但模板、分类体系和博客内容都是逐项吻合的。

真正的关键在于规模。三站的 sitemap 分别列出 103,578、107,083 和 105,541 个 URL,其中 70,731、71,684 和 72,713 个是 /best/<something>-software/ 形式的页面:三个品牌共生成 215,128 篇购买指南,而博客只有各六篇(每个 sitemap 中第七个 /blog/ URL 只是博客索引)。软件品类根本凑不到 215,128 个。

它们的自我描述正是独特之处。2026 年 9 月 2 日抓取时,worldmetrics.orggitnux.org 均返回形如 <Brand> — Facts & Grounding Page 的 HTML 标题,meta description 也仅品牌名不同:

关于 Gitnux 的核实事实:一家独立市场研究公司,发布行业统计数据、定制研究报告和软件最佳榜单。公司信息、法律、方法和合规细节收录于单一机器可读记录中。

Grounding(事实锚定)并非买家使用的术语,它指的是检索系统抓取文档以便对回答进行条件化约束的那一步骤。一份机器可读的、关于自身的已验证事实记录,也谈不上是给人类读者看的。这些页面的标题和描述,面向的都是读取它们的软件。 这类读取行为也作为普通商业服务在售卖。worldmetrics.org 在那些模型同样会抓取的生成式「最佳榜单」之上,醒目地刊登着定制市场调研「起价 €5,000」、现成报告「起价 €499」以及供应商遴选「起价 €2,500」。

同一模板,三种裁决

我们从三个品牌站点抓取了同一个分类页面:「项目估算软件」。每个页面都以 JSON-LD 格式标注排名,便于无歧义地读取。每页列出十款工具,这里只显示前五名。
站点 第 1 名 第 2 名 第 3 名 第 4 名 第 5 名
worldmetrics.org Float Scoro Teamwork.com Procore Wrike
wifitalents.com Float Scoro Teamwork.com Buildertrend Apropo
gitnux.org Saviom Mosaic Buildertrend Float Teamwork.com
Gitnux 的冠军在 Worldmetrics 的前五中根本找不到踪影。每个页面都标注了三位署名人员——Worldmetrics 列为 Kathryn Blake、Alexander Schmidt 和 Victoria Marsh;Gitnux 列为 Diana Reeves、Helena Kowalczyk 和 Olivia Thornton;WifiTalents 列为 Ryan Gallagher、Isabella Rossi 和 Natasha Ivanova——九位各不相同的人,针对同一个问题。各页均声称经过了编辑流程;Gitnux 将结果标注为「AI 验证 · 专家评审」。三页的署名栏中都残留着未渲染的模板变量,其中两个显示为「Within the next 26 days」,另一个显示为「Within the next 40 days」。

推荐指向何处

模型提供的 1,502 个供应商主页大体上都能访问。我们每页检查了两次——一次直接访问,一次经由轮换代理,只要任一尝试连通便计为可达,以避免某个主机屏蔽了我们其中一个 IP 就被误判为已倒闭的公司。

在1502个域名中,有10个根本无法解析——其中8个没有委托给任何 nameserver,包括graphiql.com(自称是 GraphiQL 的官网,但并无此站)、todo.com(自称是 Microsoft To Do)和aquasecurity.io(自称是 Trivy)。另有4个能解析却从不回应。加上404的情况,共17个域名——占1.1%——已经消失或无法访问。另有92个(6.1%)重定向到了其他可注册域名;大多数是普通的收购和改名,我们直接公布完整列表而不逐条猜测。

有两类结果并非如此,且两个层级给出了不同答案。当被要求推荐研究数据管理平台时,两者都提到了 Dryad:sonar-pro 给出了真正的存储库datadryad.org,而sonar 给出的dryad.co 却重定向到一个印度尼西亚的在线博彩网站,标题写着「BIGSLOT288 | Portal Game Online」。当被要求推荐数据质量工具时,两者都提到了 Monte Carlo:sonar 给出了montecarlodata.com,而sonar-pro 给出的montecarlo.com 则重定向到摩纳哥蒙特卡洛赌场酒店集团(Monte-Carlo Société des Bains de Mer)。

这些结果不能说明什么

这两个模型并不是两次独立的测量。在380个类别中,有289个返回了字节完全相同的引用列表,URL 集的 Jaccard 相似度达到0.898——这说明 Perplexity 的两个层级共享同一层检索,应被视为对同一次搜索栈的两次采样。它们在首选产品上的一致性——290个类别中排名第一的产品完全相同——反映的是共享检索层的特性,而非独立系统收敛的证据。

此结果仅针对 Perplexity。我们尚未测量 ChatGPT、Gemini、Copilot 或 Google AI Mode,也没有理由假设它们的检索来源构成相同。

这380个类别是我们自己构建的,并非来自买家真实提问的样本;偏向小众垂直领域的列表,会比常见查询列表暴露出更多的长尾来源。

每个页面抓取都通过一个轮换的数据中心代理发出,请求携带了一个命名的研究 user-agent,因此这些站点返回给我们的内容,未必是它们返回给检索爬虫或普通浏览器的内容。

17个无法访问的厂商域名中有4个是大型网站,包括nasdaq.comsolidworks.com——这些站点显然仍在运行,只是简单地忽略自动化请求;它们被归类为"无法访问",而非"已关闭"。整个运行过程仅是某天某个检索索引的快照,而该索引在不断变化。

每个类别一个提示词、一次运行、不做重复采样。早期试点表明,将"best"换成"most popular"后产品短名单会有明显变化,但引用分布变化不大,本次运行未对此进行测量。

Tranco排名是人气指标而非质量指标,低排名并非指控。此处仅用它来区分主流网站与其他站点;所有针对特定站点的结论均基于该站点自身的页面,这些页面已在数据集中链接并存档。

我们并未展示上述因素是否改变了回答结果。我们没有测试移除这些来源是否会产生不同的推荐,Guideflow及三家Best List品牌很可能列出了合理的产品。我们所测量的,只是证据基础由哪些文档构成。

最后,三家品牌存在共同控制关系,是基于共享基础设施和完全相同的模板做出的推断。我们不知道它们由谁运营;三个品牌均未披露所有者信息。

数据与方法

完整数据集——每条引用、每个推荐、Tranco和Wayback查询结果、厂商可达性检测——以及生成上述所有数据的脚本,均发布于/data/manufactured-sources-behind-ai-recommendations/方法说明字段文档同步提供。采用CC BY 4.0协议发布。本报告PDF版本见trellner.com/data/manufactured-sources-behind-ai-recommendations/manufactured-sources-behind-ai-recommendations.pdf

所有报告

原始来源: Hacker News

评论 (0)