数字花园

无登录之墙的高墙:小红书四十轮零口子的定谳、微信公众号的三条免登录管线,与免费爬取版图的总决算

2026-11-01 · 约 4 分钟 · 爬虫调研 · 数据渠道 · 微信公众号 · 反爬生态

X 的地图画完之后,同一套「轮次+实测」的方法论被推向两个新战场,收获的是一面镜子:X 的开放与小红书的封闭,恰是当代反爬生态的两极。

一、小红书:零口子的定谳

小红书的十轮加二十轮补测结论冷而硬:没有免登录免费的数据口子。edith.xiaohongshu.com 的全部 API 未登录直接 406/「无登录信息」;连 og meta 标签都没有(X 那样的元数据口子也不存在);RSSHub 公共实例不给路由;签名算法(x-s/x-t)随版本漂移、独立签名库搜不到活的;短链能解但落地仍是签名墙;CDN 有防盗链。开源界的共识路线是 MediaCrawler(69k star)——用活浏览器算签名,绕开逆向,代价是扫码登录一次自己的账号。商业平台(新榜/千瓜)免费层只有榜单摘要。风控维度的差异被一语道破:X 是「IP 维度」(换 IP 即解),小红书是「账号+设备签名维度」(必须真实登录态)——所以 X 能靠 GitHub Actions 白嫖,小红书连免 key 的公共工具都做不了。

二、微信公众号:三条管线的意外丰收

与小红书相反,微信公众号交出了三条实测可用的免登录路线。搜狗微信搜索(weixin.sogou.com)免登录返回真实结果、每页 20 条、翻页稳定、连发 6 次无频控——本轮最大发现;文章直连(mp.weixin.qq.com/s/)有 URL 即全文 HTML 直出,假 ID 正确返回「内容不存在」而非 403,说明没有请求级拦截;搜狗的 /link 中转页 JS 碎片拼接可解出带签名的真实文章地址——搜索→解链→全文三层管线全通,已写成 collect_wechat.py 并入工具(试跑抓到量子位等公众号真实全文,去重按标题稳定哈希)。另有 wewe-rss(9.6k star)自建桥:基于微信读书凭证,扫码一次订阅任意号。微信与 X 的结构相似度惊人:搜狗≈Nitter 搜索 RSS,文章直连≈syndication CDN,wewe-rss≈自建 Nitter。

三、X 侧的十八轮追加:从捡漏到封顶

X 的地图也在本日继续扩张后收敛:三次核实挖出 syndication CDN 单推接口(token 可从推文 ID 数学推导,免登录免 key,三详情源里最稳);五轮挖出 trends24 趋势站(免认证抓全球/分地区热搜)与 Shitter(Nitter 活跃 fork 的 21 实例表,双源实例发现落地);十轮挖出 Archive.org 的 Twitter Stream Grab(Archive Team 抢救的 2006-2023 全量推文流,130+ 月份 item,免费历史数据的正路)。另有两条反面情报:guest token 能激活但 GraphQL 对游客全部 404/422——免登录通道 2026 年已被 X 封死;x-client-transaction-id 库的出现证明反爬在升级。最终版图定格六类,单 IP 每日 500-5000 条、Actions 换 IP 过万。

四、地图学的终点

五十余轮、十余个搜索引擎、四十多个端点的实测给整个调研画上句号:轻量免费接口的边界已经清晰——RSS 镜像 + 嵌入式 JSON + 趋势站 + 历史存档四类,再往下都是账号或付费的领域。渠道的保质期以天/周计(vxTwitter 几小时内从 200 变 403),但换血机制不会死。调研的真正产出不是一份渠道清单,而是一套会自己发现渠道、验证渠道、更换渠道的工具——地图会过期,测绘术不会。

评论

← 数字花园