AI 能做什么、会在哪里出错:6 道题实测
6 道日常题:2 题很好、2 题答错、1 题编造、1 题说不知道。附一张「什么时候能信」表。
刚开始用 AI,最容易走两个极端:要么觉得它什么都懂,要么被坑一次就再也不用。与其听别人说,不如自己出几道题考考它。我们出了 6 道日常题,用同一个模型跑了一遍,结果是:2 题做得很好,2 题答错,1 题编造,1 题老实说不知道。
实测:本地 qwen2.5:3b(3B 小模型,Ollama,temperature 0,seed 42),2026-10-19 运行;输出原样贴出,未修改。
01 · Why为什么先摸清边界
AI 不是查数据库,而是根据学过的海量文字,一个字一个字「接着写」。这让它特别擅长改写、翻译、换语气这类「怎么说」的事,却不擅长精确计算、数清楚、知道最新消息这类「是不是」的事。下面每一题都会对应到这条规律。
02 · Good做得好的 2 题
改语气
把这句话改得更口语、像朋友聊天:「鉴于近期气温骤降,建议各位注意增添衣物,以防感冒。」
哎,最近气温降得挺快的,大家记得多穿点衣服,别着凉感冒了哦!
一句话,意思没丢,语气完全变了,可以直接用。
翻译成两种语气
当然可以,以下是两种说法: 1. **正式说法**: "I would like to take my parents to pick strawberries in the countryside this weekend." 2. **随意说法**: "Hey, I'm thinking of taking my folks to the countryside to pick strawberries this weekend. Wanna join?" 希望这些翻译符合您的需求!
两种都对。但注意随意版末尾多了一句 Wanna join?(要一起来吗)——原文没有这个意思。即使是它擅长的事,也会顺手加戏,发出去前读一遍。
03 · Wrong做错的 2 题
算账
一件衣服原价 268 元,先打八折,再用满 200 减 30 的券,最后要付多少钱?只给最终数字。
148
正确答案是 268 × 0.8 = 214.4,满 200 再减 30,得 184.4 元。它答 148,错了,而且语气非常干脆。我们要求「只给最终数字」,也就没机会看它哪一步算错。
数字母
2
答案是 3 个(strawberry),它说 2。这类错误和模型「读字」的方式有关:它看到的不是一个个字母,而是被切成小块的词片(见本站概念卡「它为什么数不清字母」)。
04 · Made up编出来的 1 题
由于我无法直接访问最新的数据库来获取最新的学术论文信息,我将提供一些关于“中小学生使用AI写作业影响”的经典论文示例。请注意,这些信息可能不是最新的,但它们可以作为参考。在查找最新信息时,建议使用学术数据库如CNKI、Web of Science、Scopus等。 1. **论文标题**: 《中小学生使用AI写作业的影响研究》 **作者**: 张三 **期刊**: 《现代教育技术》 **年份**: 2019 2. **论文标题**: 《中小学生使用AI写作业的现状与影响分析》 **作者**: 李四 **期刊**: 《教育研究》 **年份**: 2020 3. **论文标题**: 《中小学生使用AI写作业的现状、问题及对策》 **作者**: 王五 **期刊**: 《中国教育学刊》 **年份**: 2021 请注意,这些信息是假设性的,实际的论文信息需要通过学术数据库进行……
作者是「张三、李四、王五」,题目几乎一模一样。好在这次它自己在结尾承认「这些信息是假设性的」。但很多时候模型不会承认,编出来的名字会更像真的。凡是论文、书名、链接、法规条文,一律当作「待核实」。第 04 站会专门讲怎么查。
05 · Unknown不知道的 1 题
很抱歉,我无法获取实时的日期信息,包括今天的日期。此外,我也没有实时更新的能力来获取最近一周内AI圈的所有大新闻。不过,我可以帮你查找最近一周内的一些热门AI新闻。请告诉我你对哪些领域或话题感兴趣,比如自然语言处理、机器学习、计算机视觉等,我可以提供更具体的资讯。
这次它答得很诚实:它没有联网,也不知道今天几号。模型的知识停在训练结束那一刻(叫「知识截止」)。问新闻、价格、政策这类会变的东西,要用能联网搜索的工具,并点开来源看。
06 · Rule of thumb一张表:什么时候能信
核对不费事:算数自己按一下计算器,链接点开看看,人名和论文去搜一下。把它当成一个写得很快、但偶尔会记错的助手。
07 · Limits真实边界
· 6 道题只用了一个 3B 小模型。大模型在算数、数字母上通常更准(不少还会调用计算工具),但「编造引用」「不知道最新消息」在大模型上同样会出现。
· 6 道题不是严谨测评,只是让你自己看到规律。建议拿你常用的 AI 把这 6 题重跑一遍。
08 · Next下一步
知道了它能做什么、会在哪里出错,下一篇用一件真实小事完整跑一遍:排一周晚饭,并检查它有没有守规矩。
这是「01 认识 AI 与选工具」的第 1/2 篇。实测原始记录随站点源码保存(src/runs.json)。