博主内容蒸馏器
把博主的推文、视频逐字稿蒸馏成本地 Markdown 知识库的开源命令行工具介绍
博主内容蒸馏器是一款免费在线AI 工具。把博主的推文、视频逐字稿蒸馏成本地 Markdown 知识库的开源命令行工具介绍常见相关词:creator-distiller · 博主 · 蒸馏 · rag · 知识库 · twitter。本页可直接使用,不必注册。
这是一个开源 Python 命令行工具,需要在自己电脑上安装运行;本页只做项目介绍与效果展示,不在网页中直接抓取或转写内容。
扔进去 / 还给你
| 你扔进来 | 它还给你 |
|---|---|
| Twitter / X 用户名 | 全量推文 + 高清配图 + 高赞评论的 Markdown 归档 |
| 抖音博主 ID / 昵称 | 视频逐字稿 .txt,标点完整、繁转简 |
| 小红书博主主页 | 笔记正文 + 多图本地保存 + 标签整理 |
| YouTube 频道(计划中) | 音频提取 + 本地 Whisper 转写文档 |
核心亮点
零 Cookie 抓取
将时间线切割为 15 天一段的日期区间,用 from:user since:… until:… 定向检索,避开游标翻页与 400 风控。
流式落盘 + 断点续传
每条数据抓完立即 flush 写盘,网络中断重启脚本会跳过已完成部分,不重复消耗 API 额度。
高赞热评一并归档
自动抓取推文下方点赞最高的读者评论,作为上下文写入 Markdown,喂给大模型时认知更完整。
效果案例
用户 ❯ 大超,帮我看看这一对合适不?女生 30 岁英语老师杭州本地中产家庭,男生 31 岁程序员农村出身,大厂 35 万带房贷。 大超 ❯ 大兄弟,你年薪 35 万如果回家不会和姑娘说话,那就是一堆废纸。合上你的破电脑,带上钱包陪她去旅游,教她怎么理解程序员的踏实。 合婚率 75%,这是一个绝对值得调教、值得成婚的潜力组合,互相向下兼容,这一对,有得做!
快速开始
git clone https://github.com/lihuanihaoma-design/creator-distiller.git cd creator-distiller pip install -r requirements.txt # 需要 ffmpeg # 蒸馏 Twitter/X 博主 python scripts/distill_twitter.py <用户名> # 蒸馏抖音 / 视频逐字稿 python scripts/retry_ytdlp.py "<视频或主页链接>"
使用说明
本工具是一个需要在自己电脑本地运行的开源 Python 命令行脚本,不在网页上直接执行抓取或转写,这里仅作项目介绍与效果展示。
- 克隆仓库并安装依赖:pip install -r requirements.txt(需 ffmpeg)
- 注册 TikHub 获取 API Token,写入本地配置文件
- 运行 python scripts/distilltwitter.py <用户名 蒸馏 Twitter/X 博主
- 运行 python scripts/retryytdlp.py <链接 转写抖音 / 视频逐字稿
- 产出的 Markdown(含 YAML Front-Matter、配图、热评)可直接喂给本地大模型做 RAG
常见问题
- 需要 Cookie 或登录吗? Twitter/X 采集通过日期切片的高级搜索语法完成,零 Cookie、免登录
- 语音转写要花钱吗? 使用本地 Whisper 模型转写,免费但依赖本机算力
- 中途断网怎么办? 采用流式落盘 + 断点续传,重启脚本会跳过已完成部分
- 能在这个网站里直接用吗? 不能,这是一个本地 CLI 工具,需要克隆仓库到自己电脑运行
更多AI 工具
查看全部关于 博主内容蒸馏器 的常见问题
博主内容蒸馏器能做什么?
博主内容蒸馏器属于AI 工具。把博主的推文、视频逐字稿蒸馏成本地 Markdown 知识库的开源命令行工具介绍你可以直接在本页完成操作。
谁适合使用博主内容蒸馏器?
需要处理与creator-distiller · 博主 · 蒸馏 · rag · 知识库 · twitter相关任务、又不想安装桌面软件的用户,可以把博主内容蒸馏器当作即开即用的网页工具。
使用博主内容蒸馏器安全吗?数据会上传吗?
该工具在浏览器本地运行。我们不会因为你使用博主内容蒸馏器而收集你输入的内容。
还有哪些同类工具?
本页底部列出了同属AI 工具的相关工具,方便对比选择。