博主内容蒸馏器
把博主的推文、视频逐字稿蒸馏成本地 Markdown 知识库的开源命令行工具介绍
这是一个开源 Python 命令行工具，需要在自己电脑上安装运行；本页只做项目介绍与效果展示，不在网页中直接抓取或转写内容。
扔进去 / 还给你
| 你扔进来 | 它还给你 |
|---|---|
| Twitter / X 用户名 | 全量推文 + 高清配图 + 高赞评论的 Markdown 归档 |
| 抖音博主 ID / 昵称 | 视频逐字稿 .txt，标点完整、繁转简 |
| 小红书博主主页 | 笔记正文 + 多图本地保存 + 标签整理 |
| YouTube 频道（计划中） | 音频提取 + 本地 Whisper 转写文档 |
核心亮点
零 Cookie 抓取
将时间线切割为 15 天一段的日期区间，用 from:user since:… until:… 定向检索，避开游标翻页与 400 风控。
流式落盘 + 断点续传
每条数据抓完立即 flush 写盘，网络中断重启脚本会跳过已完成部分，不重复消耗 API 额度。
高赞热评一并归档
自动抓取推文下方点赞最高的读者评论，作为上下文写入 Markdown，喂给大模型时认知更完整。
效果案例
用蒸馏出的逐字稿构建的“数字分身”对话示例
用户 ❯ 大超，帮我看看这一对合适不？女生 30 岁英语老师杭州本地中产家庭，男生 31 岁程序员农村出身，大厂 35 万带房贷。 大超 ❯ 大兄弟，你年薪 35 万如果回家不会和姑娘说话，那就是一堆废纸。合上你的破电脑，带上钱包陪她去旅游，教她怎么理解程序员的踏实。 合婚率 75%，这是一个绝对值得调教、值得成婚的潜力组合，互相向下兼容，这一对，有得做！
快速开始
git clone https://github.com/lihuanihaoma-design/creator-distiller.git cd creator-distiller pip install -r requirements.txt # 需要 ffmpeg # 蒸馏 Twitter/X 博主 python scripts/distill_twitter.py <用户名> # 蒸馏抖音 / 视频逐字稿 python scripts/retry_ytdlp.py "<视频或主页链接>"