type
status
date
slug
summary
tags
category
icon
password
Created time
Apr 24, 2025 09:19 AM
Link
区域等
Status
文章写在大模型盛行之前，在这个时间点，大家还在乎因果挖掘这个词，现在几乎可以盖棺定论了，大家不在乎
十年前当我第一次学习机器学习时，因果推理感觉就像是一个缺失的拼图。当我把数据技术应用到制造业时，一个问题不断浮现：我们如何区分真正的因果关系和单纯的关联？
这种好奇心引导我经历了六个学习阶段：
- 建立词汇 - 从”因果发现”和”DoWhy”等术语开始
- 历史基础 - 研究Judea Pearl的《为什么之书》
- 专家对话 - 向以下人士学习：
- Matheus Facure（Python因果推断作者）
- Aleksander Molak（因果AI研究员）
- 微软因果团队（Chang Zhang、Greg Lewis、Amit Sharma）
- 行业地图 - 追踪投资：
- 科技巨头：微软、华为（PCIC会议主办方）
- 初创公司：英国的CausalLens、德国的ExplainData、美国的Geminus
- 工具实验 - 测试：
- 算法：PC、GES、Notears
- 框架：DoWhy、EconML
- 竞赛验证 - 通过因果推断挑战应用技能
关键见解
- 因果理解需要将统计方法与领域知识相结合
- 当前的工具感觉像是原型锤子，而我们需要的是手术器械
- 随着AI研究转向LLM，该领域的发展停滞了
我的学习历程：
建立词汇
我的学习始于关键术语：
- 因果关系vs相关性
- 因果发现方法
- 推断框架
- DoWhy等工具
历史基础
我发现了Judea Pearl的《为什么之书》- 这是因果推理的罗塞塔石碑。这部杰作解释了：
- 因果阶梯（观察vs行动vs想象）
- 反事实思维
- 贝叶斯网络在因果分析中的作用
概念扩展
这本书帮助我理解：
1. do-演算基础
2. 结构因果模型
3. 中介vs混杂
4. Pearl的”因果革命”框架
塑造我理解的关键对话
这些实践者给了我重要的现实检验：
- Matheus Facure（构建了Python因果推断生态系统）
- Aleksander Molak（因果AI架构的先驱）
- 郭（数据专家）
- 李博士（上海因果AI小组负责人）
我关注的重要研究者：
- 微软的因果前沿团队：
- Chang Zhang（企业因果应用）
- Greg Lewis（计量经济学因果模型）
- Amit Sharma（推荐系统因果关系）
资金流向：企业vs初创公司策略
企业投资：
- 微软的端到端因果堆栈
- 华为的年度PCIC挑战（太平洋因果推断会议）
初创创新者：
1. CausalLens（英国）- 企业决策引擎
2. ExplainData（德国）- 自动化因果报告
3. Geminus（美国）- 物理信息数字孪生
工具箱要点
在调查了人和公司之后，我开始研究这些方法/框架/工具。
关键算法：
- PC（基于约束的发现）
- GES（基于分数的结构学习）
- LiNGAM（非高斯定向）
- Notears（令人难忘的名字，被作者放弃）
- GOLEM（以准确性为重点的优化）
- DECI（神经因果发现）
实用框架：
- DoWhy（Python因果图分析）
- EconML（微软的异质性效应）
总的来说，我感受到了工具的巨大多样性以及人们使用它们的不同方式（不像现在每个人都使用pytorch）。有些人甚至告诉我他们从不使用这些框架，而是自己编写所有方法。
同时，我在寻找使用这些工具的正确方法时感到沮丧。几乎所有的教程都已过时，如果出现bug，我几乎找不到任何答案。
最后，当我在一些随机数据集上运行算法时，我看到了极低的性能（对于只有几千条记录的数据，一些方法在M1 Mac上运行了几个小时）。
实践学习：为什么竞赛有效
就像通过Kaggle掌握机器学习基础一样，当我参加华为的PCIC挑战赛时，因果发现对我来说变得清晰起来。比赛的工业制造重点与我日常工作中的挑战相匹配。
我通过以下方式攻克它：
1. 逆向工程往年获胜解决方案
2. 从头实现条件独立性测试
3. 将NOTEARS与传统PC算法进行基准测试
4. 可视化设备故障数据中的混杂路径
实践中的试错暴露了我对碰撞偏差和最优传输理论理解的不足。凌晨3点醒来查看排行榜更新成为一种仪式。当我的混合方法进入前15%时，我终于理解了因果假设如何影响现实世界模型的性能。
总结
经过长时间的学习，我最初过高的期望使得随后阅读Judea Pearl的《为什么之书》时的失望更加深刻。虽然因果关系的基本概念仍然很出色，但缺乏完整的理论和工具/框架阻止了它变得有意义。它就像一个3岁的婴儿，没有长大。
考虑到AI研究转向LLM，它也不会成长。
对于任何理论，都需要大学-巨头-初创公司多年的工作和合作。这就像一个婴儿的成长。它需要父亲、母亲、老师等等才能成熟。
随着LLM变得越来越容易获取，“人们如何学习”将变得与人们想象的完全不同。我们的孩子还会学习编程吗？他们还会学习历史吗？当学习和参加AI能做得更好的考试时，他们会感到无意义吗？