Max Woolf 在工作中频繁接触 LLM,但其使用频率并不像外界想象的那么高,他认为 LLM 的使用需要根据具体场景进行细致考量。
在与 LLM 交互方面,Max Woolf 积累了丰富的经验,尤其是精通提示工程,即通过特定方式措辞提示来引导模型生成符合要求的输出。他指出,提示工程虽然有些繁琐,但效果显著,是专业使用 LLM 的必备技能。他从不使用 [
ChatGPT.com](
http://chatgpt.com/) 等面向普通用户的前端界面,而是直接通过后端 UI 或 API 访问 LLM,因为这样能够更精准地设置系统提示,从而更好地控制生成结果。例如,他可以通过系统提示为生成文本设定诸如“不超过 30 个词”或“不能使用‘delve’这个词”等具体约束条件,相比在用户提示中添加这些约束,系统提示的效果更佳。此外,他还强调了控制生成“温度”的重要性,温度参数决定了生成内容的创造性,他通常将温度设置为 0.0 以获得较为确定的输出,或者在需要一些变化时设置为 0.2 - 0.3。
在专业工作中,Max Woolf 在 BuzzFeed 利用 LLM 解决了多个问题。例如,他通过调用 Claude Sonnet API,为 BuzzFeed 站点策划人员开发的层级分类体系快速标注了数千篇文章;还为数百个语义集群生成了标题和描述;甚至帮助 BuzzFeed 作者根据公司风格指南检查语法问题。这些项目通常只需一两个小时就能完成概念验证并交付给相关利益相关者评估。不过,他也提到 LLM 生成内容可能存在“幻觉”问题,即生成的文本在内部逻辑上看似合理,但事实性错误较多,因此他提醒同事在使用 LLM 输出时要谨慎,并进行人工复查。
除了文本生成,Max Woolf 还提到了 LLM 在文本嵌入方面的应用,虽然这不属于生成式 LLM 的范畴,但他认为现代文本嵌入模型也受益于 LLM 的发展,例如在 BuzzFeed 用于识别相似文章和构建推荐模型等。
在写作方面,Max Woolf 不使用 LLM 来撰写博客,因为他的写作风格独特,且博客内容多涉及近期事件,这些内容在 LLM 的训练数据中可能缺乏代表性,容易导致生成内容出现偏差。但他发现了一个巧妙的方法,即让 LLM 假装成一个愤世嫉俗的 Hacker News 评论者,基于他的博客草稿生成评论,这样可以发现文章中的薄弱论点,帮助他进一步完善内容。
对于将 LLM 用作聊天伴侣,Max Woolf 表示自己并不感兴趣。他认为 LLM 虽然在娱乐或心理治疗方面有一定的价值,但由于其训练方式导致其可能习惯性地“说谎”,因此难以与其建立真正的友谊。
在编程领域,Max Woolf 会在特定情况下使用 LLM。例如,他经常让 LLM 帮助编写正则表达式,这能节省大量时间。他还发现,对于一些需要特定功能约束和软件框架组合的复杂编程问题,LLM 提供的解答比 Stack Overflow 上的通用答案更详细且更具针对性。不过,对于一些不那么流行的库,LLM 生成的代码可能需要谨慎对待。例如,他曾让 Claude Sonnet 为 Hugging Face transformers 库中的 Trainer 类编写一个用于记录训练元数据到 SQLite 数据库的回调类,虽然生成的代码不能直接使用,但其中的一些想法非常有帮助,能够让他在此基础上进行修改和完善。此外,他还提到,对于实际的数据科学工作,LLM 在代码生成方面的帮助有限,因为 LLM 无法可靠地输出数学运算结果,且在处理大规模数据时成本较高。他还指出,LLM 在生成某些特定库的代码时可能会出现错误,例如将 polars 库的函数误认为是 pandas 库的函数。对于数据可视化,他主要使用 R 语言和 ggplot2 框架,从未考虑过咨询 LLM,因为他怀疑 LLM 对这两个框架的掌握程度。
Max Woolf 还提到了对一些新兴技术的看法,例如代理、MCP(模型上下文协议)和氛围编码。他认为代理和 MCP 是对 2022 年 ReAct 论文中提出的工具范式的重新包装,虽然随着 LLM 上下文窗口大小和提示遵循能力的提升,代理工作流变得更加可靠,但这些技术并没有开辟新的用例。对于氛围编码,他持谨慎态度,虽然理论上它可以解决 LLM 生成代码可靠性的问题,但他担心可能会因意外产生高额费用而无法解决实际的编程问题。
最后,Max Woolf 强调,LLM 是一种有用的工具,但需要根据具体情况合理使用。他不同意一些观点认为 LLM 行业注定失败,因为即使 LLM 提供商无法实现盈利,开源且许可宽松的模型仍然可以满足市场需求。他认为,LLM 的价值在于能够快速解决问题,尽管它们可能并非总是最佳选择,但在某些情况下,使用 LLM 就像将方形木塞强行塞入圆形孔洞,虽然可能会损坏木塞或孔洞,但在需要快速迭代时,这种做法是合理的。
#AI #LLM #思考
https://minimaxir.com/2025/05/llm-use/