博主内容蒸馏器

把博主的推文、视频逐字稿蒸馏成本地 Markdown 知识库的开源命令行工具介绍

博主内容蒸馏器是一款免费在线AI 工具。把博主的推文、视频逐字稿蒸馏成本地 Markdown 知识库的开源命令行工具介绍常见相关词:creator-distiller · 博主 · 蒸馏 · rag · 知识库 · twitter。本页可直接使用,不必注册。

这是一个开源 Python 命令行工具,需要在自己电脑上安装运行;本页只做项目介绍与效果展示,不在网页中直接抓取或转写内容。

扔进去 / 还给你

你扔进来它还给你
Twitter / X 用户名全量推文 + 高清配图 + 高赞评论的 Markdown 归档
抖音博主 ID / 昵称视频逐字稿 .txt,标点完整、繁转简
小红书博主主页笔记正文 + 多图本地保存 + 标签整理
YouTube 频道(计划中)音频提取 + 本地 Whisper 转写文档

核心亮点

零 Cookie 抓取

将时间线切割为 15 天一段的日期区间,用 from:user since:… until:… 定向检索,避开游标翻页与 400 风控。

流式落盘 + 断点续传

每条数据抓完立即 flush 写盘,网络中断重启脚本会跳过已完成部分,不重复消耗 API 额度。

高赞热评一并归档

自动抓取推文下方点赞最高的读者评论,作为上下文写入 Markdown,喂给大模型时认知更完整。

效果案例

用蒸馏出的逐字稿构建的“数字分身”对话示例

用户 ❯ 大超,帮我看看这一对合适不?女生 30 岁英语老师杭州本地中产家庭,男生 31 岁程序员农村出身,大厂 35 万带房贷。 大超 ❯ 大兄弟,你年薪 35 万如果回家不会和姑娘说话,那就是一堆废纸。合上你的破电脑,带上钱包陪她去旅游,教她怎么理解程序员的踏实。 合婚率 75%,这是一个绝对值得调教、值得成婚的潜力组合,互相向下兼容,这一对,有得做!

快速开始

git clone https://github.com/lihuanihaoma-design/creator-distiller.git
cd creator-distiller
pip install -r requirements.txt   # 需要 ffmpeg

# 蒸馏 Twitter/X 博主
python scripts/distill_twitter.py <用户名>

# 蒸馏抖音 / 视频逐字稿
python scripts/retry_ytdlp.py "<视频或主页链接>"
在 GitHub 查看源码
使用帮助

使用说明

本工具是一个需要在自己电脑本地运行的开源 Python 命令行脚本,不在网页上直接执行抓取或转写,这里仅作项目介绍与效果展示。

  1. 克隆仓库并安装依赖:pip install -r requirements.txt(需 ffmpeg)
  2. 注册 TikHub 获取 API Token,写入本地配置文件
  3. 运行 python scripts/distilltwitter.py <用户名 蒸馏 Twitter/X 博主
  4. 运行 python scripts/retryytdlp.py <链接 转写抖音 / 视频逐字稿
  5. 产出的 Markdown(含 YAML Front-Matter、配图、热评)可直接喂给本地大模型做 RAG

常见问题

  • 需要 Cookie 或登录吗? Twitter/X 采集通过日期切片的高级搜索语法完成,零 Cookie、免登录
  • 语音转写要花钱吗? 使用本地 Whisper 模型转写,免费但依赖本机算力
  • 中途断网怎么办? 采用流式落盘 + 断点续传,重启脚本会跳过已完成部分
  • 能在这个网站里直接用吗? 不能,这是一个本地 CLI 工具,需要克隆仓库到自己电脑运行

更多AI 工具

查看全部

关于 博主内容蒸馏器 的常见问题

博主内容蒸馏器能做什么?

博主内容蒸馏器属于AI 工具。把博主的推文、视频逐字稿蒸馏成本地 Markdown 知识库的开源命令行工具介绍你可以直接在本页完成操作。

谁适合使用博主内容蒸馏器?

需要处理与creator-distiller · 博主 · 蒸馏 · rag · 知识库 · twitter相关任务、又不想安装桌面软件的用户,可以把博主内容蒸馏器当作即开即用的网页工具。

使用博主内容蒸馏器安全吗?数据会上传吗?

该工具在浏览器本地运行。我们不会因为你使用博主内容蒸馏器而收集你输入的内容。

还有哪些同类工具?

本页底部列出了同属AI 工具的相关工具,方便对比选择。