本文的作者 Hoberg 在 2016年的 Journal of Political Economy 提出了一种新的对公司进行分类的方法. 作者通过网络爬虫收集了许多年份美国上市公司的 10-K 披露文件中的产品描述(里面包含了产品的细节, 对公司之间计算相似度, 进一步进行行业分类.

根据公司面向市场提供的产品来进行行业分类.

根据产品描述中的文本信息, 每个公司都被投影到一个向量空间. 显然, 在这个向量空间中, 可以计算两家公司的距离. 一家公司附近的竞争对手公司, 则是和其有着相似产品描述的公司.

根据公司被表征出来的向量, 可以计算公司之间的相似度. 两家公司之间的相似度越大, 则说明它们更像是处于同一个行业, 竞争关系越紧密.

而两家公司之间的距离越大, 则意味着两家公司的产品面向不同的细分市场, 或者它们根本就不在一个行业.

此外, 由于公司每年都会更新它们的产品描述, 所以公司向量、公司之间的相似度都是随时间变化的。

那么如何在高维向量空间内分出行业呢? 用的最多的办法就是聚类.

文中提到了两种聚类的思想，区别在于有无竞争关系的传导。

如果使用固定的行业分类定义来聚类, 那么公司的行业属性是可以传导的.

考虑 3 家公司 A, B, C, 如果 B 和 C 都在 A的行业里, 那么 B 和 C 属于同一个行业

此时, 聚类算法的目标则是最大化

而如果