Web Crawler 控制台

图片/CSS/JS/视频/字体 · 并发下载 · 自适应限速 · 内容去重

并发 限速 去重 断点续传 清单 离线页面
只填你自己的授权 Cookie。
URL 含这些关键词则跳过。已内置常见广告和验证服务关键词。

抓取范围

下载行为

默认会下载资源；勾上则只在清单里登记地址（省磁盘、对目标站压力小）

内容处理

等待开始：填写网页 URL 后点「开始采集」（默认下载资源；想只要清单就勾上「只生成清单」）
运行日志会显示在这里。点击「开始采集」后，依次可以看到：
  1. 扫描到的页面与发现的资源
  2. 下载 / 去重 / 跳过的结果
  3. 清单与报告的输出路径
任务完成后，可到「任务历史」查看每次采集的结果。
步数 0/20 等待启动

执行轨迹 (Trace)

点击"启动 Agent"开始任务
截图预览

任务历史