AI 项目真正困难的地方,通常不是“调用哪个模型”,而是如何把现实世界里的数据整理成模型能够持续理解、 检索和使用的知识。业务数据库、历史文本、日志、附件、人工备注往往都存在缺字段、语义混杂、重复和口径不一致。
我更倾向把整个过程看作一条长期运行的 knowledge pipeline:
ingest → normalize → enrich → deduplicate → chunk → index → evaluate。
它不是一次性的 ETL,而是 Agent 系统的一部分。
Structure before intelligence.
当数据字段不明确时,LLM 很适合做“语义整理器”,但不应该直接承担最终事实来源。 一个更稳定的方案是:保留原始数据、生成标准化结构、记录模型推断结果与置信度,再通过规则、人工抽检和自动评估建立闭环。
def build():
# learn from real data
learn()
experiment()
evaluate()
ship()
while True:
build()
对 Agent 来说,知识库不是“搜索框后面的向量数据库”。它更像系统记忆的一层: 必须知道信息来自哪里、何时更新、是否冲突、哪种场景可用,以及回答失败时如何回退。
Engineering still matters.
AI-native 并不意味着传统技术栈失效。稳定的权限、事务、数据模型、接口设计、缓存、队列、 可观测性与部署体系依然需要传统工程能力。AI 只是把系统多了一层“会理解语义、会调工具、会做计划”的运行时。
这也是我持续研究的方向:让 Java / Spring / Web / Mobile 这些成熟工程能力,与模型和 Agent 的动态能力形成一个真正可维护的整体。