第36章 登录后抓取元数据

登录后抓取元数据

常规爬虫只能抓取对公众开放的网页。如果你想抓取需要登录或有付费墙保护的网页，就需要使用“可见 CDP”技术。 常规 CDP 抓取会启动无头 Chrome 浏览器，它不会显示任何用户交互。“可见 CDP”则将无头 Chrome 变成一个可见实例。

准备好爬虫的 .yml 文件，并确保其有效且可用。你的爬虫应包含以下设置： driver: useCDP: true

打开命令控制台。进入 Chrome 的二进制目录并运行 chrome.exe --remote-debugging-port=9222。这将启动一个特殊的 Chrome 实例，供 Stash 爬虫稍后控制。 在 Stash 中，确保 设置 > 元数据源 > 抓取 > Chrome CDP 路径 设置为 http://localhost:9222/json/version。 使用之前启动的特殊 Chrome 实例，访问你想抓取的网页，使用用户名和密码登录或通过各种人工验证，直到看到包含目标内容的页面。 将该网页的 URL 粘贴到 Stash 场景中并开始抓取。它应该会正确获取信息。