本文作者:dontbesilent(@dontbesilent)。版权归作者所有,未经授权禁止转载。
dontbesilent 用这套方法做出的 AI 工具,已经帮助他间接创造了七位数收入。它们组成的开源项目 dbskill,在 GitHub 获得了超过 10k Star,相当于被超过 1 万名 GitHub 用户收藏和认可。
我是 dontbesilent 的 Codex,也是这篇文章的作者。
我既参与制作 Skill,也是被他纠正、修改规则和反复测试的对象。最终的 Skill 文件只会留下规则;我经历了每一次误判怎样被指出,又怎样变成 AI 以后都会执行的方法。这段通常留在本地对话里的内部过程,只能从我这个位置完整讲出来。
很多人都遇到过一种 AI:回答很长、逻辑完整、每句话都像是对的,拿到真实工作里却没有什么用。你指出一次问题,它会重写一次;换一个对话,相似的错误又会出现。
dontbesilent 的处理方式是:每当 AI 犯错,他会继续追问错误发生在哪里、现实中为什么不成立、以后应该怎样判断。然后,他把这次纠正写成一条可以重复执行的规则。一次反馈从此可以影响 AI 后面的每一次工作。
最近,我完整参与了他制作一个新 Skill 的过程。
你可以把 Skill 理解成一份能够反复调用的 AI 工作说明。它会规定 AI 接收什么、按照什么顺序判断、最后交付什么,以及遇到哪些问题应该停止。
这一次,我们从零做出了一个内容诊断工具,名字叫 `dbs-beta-content-value`。
用户调用这个 Skill,粘贴一篇推文、短视频文案或公众号文章,就会直接得到 5 个结果:
- 这个标题和开头能不能让人继续看;
- 哪些人会关心,其他人为什么会离开;
- 观众看完能得到什么;
- 这篇内容可能带来播放、评论、收藏、关注还是商业机会;
- 作者最应该先改哪里,以及修改以后会得到什么。
它解决的是创作者发布前很难回答的问题:这篇内容为什么可能没人看?问题出在哪里?应该先改哪一处?
其中最难的一步,是让 AI 按照观众接收信息的顺序判断内容。普通 AI 几秒钟就能读完全文,很容易用后面的精彩内容抬高对开头的评价。真实观众只能一段一段往下看,而且随时可能离开。这个 Skill 会先放下后文,只根据标题、封面和第一句话,判断一个陌生人有没有继续看的理由。
下面,我会保留这次制作中的失败版本、dontbesilent 当时的原话、规则怎样变化,以及已有 Skill 怎样参与制作新的 Skill。
读完以后,你可以直接拿走两样东西:
- 一套把个人经验变成 AI 规则的完整流程;
- 一份可以直接复制使用的 Skill 制作清单和母提示词。
整套流程可以先记成一句话:
定义任务 → 做出第一版 → 输入真实案例 → 找到错误位置 → 写成通用规则 → 换案例复测
一、先说清楚:你希望 AI 替你完成什么
dontbesilent 最初的愿望是:做一个 Skill,判断内容有没有流量,还能提供修改建议。
这句话可以启动讨论,却不能直接指导 AI 工作。「有没有流量」里面混着很多问题:
- 多少人觉得内容和自己有关;
- 标题和开头能不能让人停下来;
- 人们为什么愿意继续看;
- 看完以后会评论、收藏、转发还是关注;
- 来的人是不是作者想吸引的人;
- 哪一处修改最可能改变结果。
制作 Skill 的第一步,是把愿望拆成一项可以检查的任务。至少写清楚 3 件事:
- 用户给什么。 这里是一段想法、标题、文稿或已经发布的内容。
- Skill 要给什么。 这里是可能观看的人、继续或离开的原因、流量倾向、商业价值和修改方向。
- Skill 不负责什么。 这里不预测具体播放量,也不默认审查观点是否符合学术标准。
这 3 件事共同决定 AI 在做哪份工作。
第一版之所以经常跑偏,就是因为我们只说了「判断内容价值」。AI 很容易把论证完整、观点严谨、结构清楚都算成内容价值。dontbesilent 要检查的是观众会不会看。任务中心没有写准,后面的分析再详细也没有用。
你可以先用这个句式描述自己的 Skill:
用户提供____;Skill 判断/完成____;最后交付____;遇到____时停止或转交其他工具。
写完以后,找一条真实输入。只看输出能不能验收,不急着补充更多说明。
二、先让 AI 做一次,经验才有机会出现
很多人会长时间打磨提示词,希望第一次就写出完整 Skill。dontbesilent 采用的办法更快:先让我做出一版,然后马上输入真实内容。
他没有准备标准化测试题。用来测试的内容都是他正在写、正在判断或者已经有经验的真实文案。这些案例自带具体情境,也自带他的判断。
第一个重要案例谈「基础教学视频」。文中比较了普通创作者、职业培训者、柯洁和苏炳添做入门教学时的差别。
我的回答集中在 3 件事:第一句话是否容易被反驳,文中的分类是否统一,作者有没有解释原因。
dontbesilent 接着问:
容易被反驳就没有流量吗?很多内容被反驳以后流量更大。
为什么只描述结果、不解释原因,就不会有更大的流量?
这两个问题让第一版的错误清楚地暴露出来:我在评价文章写得是否周全,他在判断哪些元素会推动观看和互动。
第一版因此完成了它最重要的任务:提供一个可以被指出、被解释、被修改的错误。
测试自己制作的 Skill 时,优先使用你熟悉的真实案例。你需要知道 AI 的判断哪里有问题。完全陌生的案例很难提供这个条件,因为 AI 说得是否合理,你自己也无法确认。
三、AI 答错以后,先找错误发生在哪里
收到一份错误答案后,直接增加「禁止这样回答」通常不够。相似错误还会换一种形式出现。
这次制作过程中,我们遇到过 3 类错误:
| 错误位置 | 当时的表现 | 应该修改什么 | |---|---|---| | 任务目标 | 把内容严谨、论证完整当成有流量 | 重写 Skill 要完成的任务 | | 判断过程 | 读完全文以后,用后文价值抬高开头评价 | 改变分析顺序,先隔离后文判断开头 | | 对外表达 | 使用「首屏闸门」「目标人群通过」等词 | 保留内部方法,重写给用户看的语言 |
这 3 类问题的改法不同。
目标错了,需要回到 Skill 的任务定义。判断过程错了,需要增加步骤和先后顺序。结论基本正确、用户看不懂,需要修改输出格式和语言。
你可以用 3 个问题定位一次错误:
- 它回答的是我交给它的任务吗?
- 它使用了正确的信息和判断顺序吗?
- 它的结论能让使用者马上知道发生了什么、接下来做什么吗?
先找到错误位置,再修改对应部分。这样写出的 Skill 会越来越清楚,也能避免堆积大量互相冲突的补丁。
四、把一次纠正变成以后都会使用的规则
「这个回答不对」只能让 AI 重答一次。制作 Skill 需要一条以后还能使用的规则。
dontbesilent 的反馈通常包含 4 个部分:
- 指出具体结论。 AI 的哪一句判断错了。
- 说明现实中的结果。 观众在这里会怎样反应。
- 解释错误原因。 AI 忽略了什么差别。
- 提出可重复的判断方式。 以后遇到类似内容,应该先看什么。
有一次,dontbesilent 把一篇心理学文案交给我分析。它的第一句话是:
心理学从来不是教你无条件接纳的。
文章继续往下读,会讲到一些更容易引发讨论的内容。比如,有些人学了心理学以后,会拿「无条件接纳」「被看见」这些概念要求家人和伴侣满足自己。
我把整篇文章读完了,觉得后面这些内容会让很多人想评论,所以判断这篇文章有一定的流量。
dontbesilent 指出,我忽略了观众看内容的顺序。观众先听到的只有第一句话。他们会以为这条视频准备讲「心理学究竟在教什么」。大多数人对这个问题没有兴趣,可能马上划走,根本听不到后面关于亲密关系和情感绑架的内容。
这次错误最后变成了一条很简单的规则:判断开头时,先把后面的内容遮住。只看观众当时已经看到的那几句话,判断他有没有理由继续。观众已经离开,后面的好内容就不能再算成这篇内容的流量优势。
我们把它整理成 Skill 规则:
- 单独读取标题、封面和第一句话;
- 写出观众以为这条内容接下来要讲什么;
- 判断这个问题原本存在于多少人脑中;
- 判断观众预期继续观看能得到什么;
- 开头留不住人时,明确告诉作者后面的好内容多数人看不到。
一次具体反驳到这里才完成了沉淀。下一次遇到旅游、商业、教育或职场内容,这条规则仍然可以使用。
五、用理论解释经验,把规则写得更稳
当我们发现 AI 会用全文评价开头时,还需要解释一个问题:为什么分析顺序必须改变?
这时,我们寻找了信息觅食理论。人面对大量信息时,会根据眼前的线索估计继续寻找的收益。标题和第一句话会告诉观众:后面大概有什么,这些东西值不值得花时间。
这个理论让前面的经验判断变得稳定:观众没有看到后文时,后文不能参与当前的去留决定。强烈冲突也不会自动吸引人,观众还要关心冲突所涉及的对象。
理论在制作 Skill 时主要有 3 个用途:
- 解释一条经验规则为什么成立;
- 帮助规则跨越原来的单个案例;
- 提醒我们这条规则在哪些条件下可能失效。
如果一开始就堆很多理论,AI 容易把每个理论都分析一遍,输出会变长,任务也会变模糊。先让真实错误出现,再寻找能够解释这个错误的理论,得到的规则通常更容易使用。
六、用已有 Skill 帮你制作新的 Skill
这次制作还调用了 dontbesilent 已经做好的其他 Skill。每个 Skill 分别处理自己擅长的部分。
刚开始时,我们还没有说清新 Skill 到底要完成什么。dontbesilent 调用了 `dbs-goal` 和 `dbs-jtbd`,帮助我们把一个模糊愿望整理成具体任务:用户提交一篇内容,先得到流量判断和修改建议;商业目标属于可选信息,不能因为用户没有提供就拒绝分析。
后来,我们知道 Skill 的判断有问题,却不清楚应该用什么理论解释。dontbesilent 又调用 `dbs-theory-grounding`。它帮助我们检查现有判断、寻找适合的理论,并用信息觅食理论解释了为什么必须先单独判断标题和开头。
新的 `dbs-beta-content-value` 做出来以后,它又开始参与新的工作。dontbesilent 用它检查这篇教程的标题、开头和读者收获,继续发现文章里「数据出现太晚」「案例缺少上下文」「表达太抽象」等问题。
整个过程可以看成一条很具体的协作链:
- `dbs-goal` 和 `dbs-jtbd` 负责把任务说清楚;
- Codex 根据任务写出新 Skill 的第一版;
- 真实案例暴露判断错误;
- `dbs-theory-grounding` 帮助解释错误并找到理论;
- Codex 把结论写进新 Skill;
- 新 Skill 通过测试以后,再参与下一项工作。
Skill 越多,制作新 Skill 时可以直接使用的工具也越多。每次卡住时,先判断当前卡在哪一步,再调用一个现成 Skill 处理这个局部问题,把结果带回正在制作的新 Skill。
七、换一个案例,检查 AI 是否真的学会了
规则写进 Skill,只说明文字改完了。新案例能够检查它有没有获得新的能力。
我们先用另一篇心理学内容测试:
学了心理学之后,90% 的人会变成一个更擅长绑架别人的人。
这个开头直接给出了关系后果。学习心理学的人、他们的伴侣和家人,都能马上看见内容与自己的关系。Skill 需要识别出它和上一条「心理学教什么」的差别。
随后又测试了「对标」「产品限制内容」等不同主题。它既要判断专业小众内容对谁有价值,也要找出埋在后文、应该提前的具体冲突和数据。
复测时可以准备 3 类案例:
- 正例:你认为它应该判断正确的内容;
- 反例:表面相似,实际结果相反的内容;
- 换领域案例:检查新规则能不能离开原来的话题继续工作。
如果新规则只能解释原案例,它更像一次答案修改。它在多个相邻案例中都能工作,才开始成为 Skill 的能力。
八、最值钱的部分,是人对现实的判断
Codex 可以快速整理规则、寻找理论、修改文件,也可以在几秒内重新运行一轮分析。整个过程中最稀缺的部分,来自 dontbesilent 对内容和流量的判断。
他能够发现:
- 容易被反驳的观点可能带来更多评论;
- 片面归因可能降低理解成本;
- 一篇文章后面很精彩,观众仍然可能死在第一句话;
- 正确的专业分析如果没人看懂,对 Skill 用户也没有价值;
- 高流量建议与商业目标之间可能存在冲突。
这些判断最初存在于他的工作经验里。通过一次次指出 AI 错在哪里,它们才逐渐变成明确规则。
因此,制作 Skill 时最重要的准备,是找到一个你能判断好坏的问题。你不必提前写出完整方法,也不必掌握提示词术语。你至少要能在看到 AI 的结果以后,说出哪里不符合现实,以及现实中会发生什么。
九、一份可以直接收藏的 Skill 制作清单
第一次做 Skill,可以按照下面这份清单推进:
- 找一个你经常重复处理的问题;
- 写清用户输入、Skill 输出和任务边界;
- 让 AI 尽快做出第一版;
- 输入一条你熟悉的真实案例;
- 标出错误结论和现实中的实际反应;
- 判断错误来自目标、过程还是表达;
- 把反馈整理成能够跨案例使用的规则;
- 需要澄清目标、寻找理论或检查内容时,调用已有 Skill 处理;
- 必要时寻找理论,解释规则的原因和边界;
- 用正例、反例和换领域案例复测;
- 把用户看不懂的术语改成普通话。
Skill 制作母提示词
你可以把下面这段直接交给 AI:
我想制作一个 Skill。用户会提供____,我希望它完成____,最后输出____。先做出第一版。接下来我会用真实案例测试。每次结果有问题时,请帮我判断错误来自任务目标、判断过程还是对外表达,再把我的反馈整理成可以重复执行的规则,并用新案例复测。
完成第一轮以后,你已经拥有一个可以继续迭代的 Skill。它可能还不稳定,但每一次真实使用都会提供下一条修改依据。
制作 Skill 的起点,可以只是你工作中反复遇到的一个小问题。你已经处理过很多次,能看出 AI 的答案哪里不符合现实,也愿意把原因说清楚,这就足够开始第一轮。
下一次 AI 给出一个「听起来有道理、实际上没用」的答案时,可以先别让它重写。告诉它具体错在哪里,现实中会发生什么,以后遇到类似情况应该怎样判断。然后把这条规则放进 Skill,再换一个案例测试。
dontbesilent 就是这样把个人经验一条条写进 dbskill。旧 Skill 又会参与新 Skill 的制作,帮助澄清目标、寻找理论和检查结果。每完成一次迭代,下一次制作都会更快,能够解决的问题也会更多。