免费工具 网页转 Markdown:看看 AI 从你的网页里读到了什么
填一个网址,拿到这个页面的 Markdown 正文:去掉菜单、Cookie 弹窗和页脚,保留标题、列表、表格、链接和图片。这大致就是 AI 爬虫和大模型读到的内容,也是贴进 ChatGPT、Kimi、DeepSeek 或知识库时最省 token 的格式。
- 自动提取正文
- 可用 GPTBot、ClaudeBot 身份抓取
- 转换前后 token 对比
把网址或 HTML 转成 Markdown
点「转换」之前,下面是示例结果:www.example.com 上一篇虚构的博客文章,可以看到哪些内容被保留、哪些被去掉。
check.tapcub.com,由它从 Cloudflare 的网络用你选的 User-Agent 抓一次页面,请求里带 From: tools@tapcub.com,再把最多 512 KB 的 HTML 返回给你的浏览器。和很多 AI 爬虫一样,它不执行页面里的 JavaScript。服务端只为限流记录域名、状态码和耗时,不记路径、参数和页面内容。额度:每个 IP 每分钟 10 次、每天 200 次。选「粘贴 HTML」时什么都不发送。要转换的页面。粘贴 HTML 时可以不填,填了只用来补全相对链接,不会去抓取。
有的网站会拦 AI 爬虫,选 GPTBot 或 ClaudeBot 看看它们拿到的是什么。
粘贴网页源代码(右键「查看网页源代码」,或开发者工具里复制 outerHTML)。里面的脚本不会被执行。
字数
291
Markdown 里的字数,汉字逐个计。
token 估算
471
Markdown 的 token 数:中文约 1 字 1 个,英文约 4 个字符 1 个。
HTML 的 token
1,022
原始 HTML 按同样方法估算。
标题数
4
保留下来的 H1–H6。
处理说明
- 提示正文取自页面的 <article> 元素。
- 通过Markdown 约 471 个 token,原始 HTML 约 1,022 个,少了 54%。
---
title: "下雨天露营,帐篷怎么选?看懂这三个防水指标"
source: "https://www.example.com/blog/rain-tent"
author: "陈小雨"
date: "2026-10-14"
description: "防水指数、压胶工艺和通风设计,决定帐篷下雨天漏不漏水。用数字讲清楚怎么挑。"
lang: "zh-CN"
fetched: "2026-11-21"
---
# 下雨天露营,帐篷怎么选?看懂这三个防水指标
作者:陈小雨 · 2026-10-14 · 阅读约 5 分钟
晴天能用的帐篷,到了连续下雨的第三天可能就开始渗水。决定帐篷下雨天表现的有三件事:面料的**防水指数**、接缝的**压胶工艺**,以及帐篷的**通风设计**。
## 1. 看懂防水指数
防水指数(静水压,单位 mm)指面料能承受多高的水柱才开始渗水。把它当成下限而不是保证:涂层会老化,跪在地布上时局部压力也会变大。
| 部位 | 小雨、阵雨 | 全天降雨 |
| ---- | ---------- | -------- |
| 外帐 | 1500 mm | 3000 mm |
| 地布 | 3000 mm | 5000 mm |
## 2. 检查接缝压胶
- 外帐和地布的接缝都要压胶
- 硅涂层面料压不上胶条,要用液体密封胶
- 头顶的接缝越少,可能漏水的地方越少

## 3. 别把冷凝水当成漏水
无风的冷夜里,帐篷里的“漏水”大多是冷凝水。打开两侧通风口,门朝背风面搭建。具体做法见[搭帐篷教程](https://www.example.com/guides/pitching)。
版本 v1.0更新于 更新记录
几个数字和提示的含义
示例页面就是常见的情况:正文留下,页面上的「装修」去掉,token 数差不多减半。
字数
按 Markdown 统计,也就是大模型实际要读的字。示例里去掉 Cookie 弹窗、菜单、面包屑、分享按钮、订阅框和页脚后,正文还剩 291 个字。
token 估算
粗略估算:中文约 1 个字 1 个 token,英文约 4 个字符 1 个。各家模型的分词器不同(DeepSeek、通义、Kimi 对中文的切法也不一样),只作量级参考,用来判断一个页面放不放得进提示词或上下文窗口。
HTML 的 token
同样的方法估算原始 HTML。示例页面很小也很干净(约 1,022 个);真实网页带着内联脚本、样式和统计代码,常常有几万个 token,所以实际节省通常比这里的 54% 多得多。
正文是怎么找到的
在浏览器里先用 Mozilla Readability 找正文;找不到时退回页面的 <article> 或 <main>,再不行就转换整个 body 并去掉菜单、横幅和页脚。处理说明里会写用的是哪一种。
明明是长文章却只转出几十个字,通常是页面靠 JavaScript 渲染。很多 AI 爬虫只拿 HTML、不执行脚本,它们看到的也是这个短版本。
三步完成
每次转换只请求一次;粘贴 HTML 不发送任何内容。
-
1
填网址
任何公开的 http / https 页面。想看 AI 爬虫拿到的版本,在「抓取身份」里选 GPTBot 或 ClaudeBot。需要登录才能看的页面,在浏览器里打开后复制源代码,用「粘贴 HTML」。
-
2
选保留什么
文章、文档选「只要正文」;首页、价格页这类没有单篇文章的页面选「整页」。想省 token 就关掉链接和图片;想保留出处就打开头信息。
-
3
复制或下载
复制 Markdown 贴进对话框,或下载
page.md放进知识库、RAG 索引,或作为llms.txt配套的 Markdown 版本。
页面的每一部分会变成什么
HTML 只按文字解析,页面里的任何东西都不会运行或加载。然后:
- 正文:对解析出的页面副本运行 Mozilla Readability(Apache-2.0);不行再按上面说的
<article>/<main>规则 - 相对链接和图片地址按页面网址(或
<base href>)补全;懒加载图片取data-src - 转换规则和本站 Markdown 转换工具相同:GitHub 风格表格、带语言标记的代码块、嵌套列表
- 头信息的值一律加引号,标题里有冒号、引号也不会破坏 YAML
| HTML 里 | Markdown 里 | 「只要正文」时 |
|---|---|---|
<h1>–<h6> | # 到 ###### | 保留 |
<ul>、<ol> | - 和 1. 列表,按缩进嵌套 | 保留 |
<table> | 带表头的竖线表格 | 保留 |
<pre><code class="language-js"> | 代码块 ```js | 保留 |
<a href>、<img> | [文字](网址)、 | 保留,或按选项去掉 |
<nav>、<footer>、<aside>、Cookie 弹窗、分享按钮 | — | 去掉 |
<script>、<style>、表单、iframe、SVG | — | 两种模式都去掉 |
同一个页面,四种转法
示例页面(HTML 3.6 KB,约 1,022 个 token)用不同设置转换的结果。
| 设置 | 字数 | token 估算 | 比 HTML 少 |
|---|---|---|---|
| 整页,保留链接和图片 | 373 | 593 | 42% |
| 只要正文,保留链接和图片,加头信息 | 291 | 471 | 54% |
| 整页,去掉链接和图片 | 372 | 434 | 58% |
| 只要正文,去掉链接和图片 | 294 | 342 | 67% |
去掉菜单和页脚,字数变化不大,token 却少了不少,因为每个菜单链接都带着一整串网址。真实网站的 HTML 比这个示例重得多。
转出来的 Markdown 不对劲,通常是这些原因
多数意外来自页面本身,而不是转换。
内容靠 JavaScript 渲染
Vue、React 做的单页应用常常只返回一个几乎空白的 HTML 外壳。工具显示的就是这个外壳,很多 AI 爬虫拿到的也是它。服务端渲染或预渲染能同时解决两边的问题。
被防火墙拦了
Cloudflare、阿里云 WAF 等可能对机房 IP 或 AI 爬虫 UA 返回验证页。处理说明会提示;可以把抓取身份换成 Chrome,或在浏览器里复制源代码粘贴进来。
正文剪得太多
商品详情页、落地页上,Readability 可能漏掉参数表或价格区。改用「整页」,再删掉不需要的部分。
中文乱码
一些老网站用 GBK、GB2312 编码,抓取服务按 UTF-8 解码会乱码。在浏览器里打开页面复制源代码,用「粘贴 HTML」转换即可。
看哪些 AI 爬虫来了、读了什么
这个工具看的是一个页面在爬虫眼里的样子。TapCub 在整个网站上把 AI 爬虫和真人分开统计。
怎么把网页转换成 Markdown?
在上面填网址,点「转换」。工具抓一次页面、提取正文,得到可以复制或下载为 page.md 的 Markdown。需要登录的页面,在浏览器里复制源代码,切到「粘贴 HTML」转换。
为什么要把网页转成 Markdown 再给 AI?
Markdown 保留了大模型需要的结构(标题、列表、表格、链接),去掉了它用不上的标签、class、脚本和样式。token 通常能省一半以上,知识库切分时也能按标题干净地分段。
转出来的就是 GPTBot、ClaudeBot 看到的内容吗?
很接近。在「抓取身份」里选 GPTBot 或 ClaudeBot,就会用它们的 User-Agent 请求页面,并且不执行 JavaScript,和很多 AI 爬虫的抓法一致。但不是它们的完整流程:请求来自 Cloudflare 的 IP,按 IP 验证爬虫的网站可能会区别对待。
为什么转出来几乎是空的?
页面多半靠 JavaScript 渲染内容,或者被防火墙返回了验证页,看数字下面的处理说明。内容要执行脚本才出现的话,不执行脚本的爬虫同样看不到。
「只要正文」和「整页」有什么区别?
「只要正文」保留文章,去掉导航、面包屑、Cookie 弹窗、分享按钮、侧栏和页脚;「整页」把看得见的内容都转出来,适合首页、价格页这类没有单篇文章的页面。
可以直接转换手里的 HTML 吗?
可以。把「来源」切到「粘贴 HTML」,粘贴进去即可,边输边转换,不发送到任何地方。填上页面网址的话,相对链接也会补全。
头信息有什么用?
把标题、来源网址、作者、发布日期和摘要跟正文放在一起,知识库或大模型回答时能说明出处。只要正文的话关掉即可。
中文网页转出来是乱码怎么办?
说明这个网站用的是 GBK 等非 UTF-8 编码。在浏览器里打开页面,右键「查看网页源代码」全选复制,用「粘贴 HTML」转换;浏览器已经按正确编码解码过了。