人工智能AI面试题-3.2 树形结构的特征归一化问题

**3.2 树形结构的特征归一化问题 🌲** 为啥树结构不必担心归一化呢？让我们来揭开这个秘密！😎 🌳 **树形结构与特征归一化** 在树形结构（如决策树和随机森林）中，不需要对特征进行归一化的原因是，数值的缩放并不会改变分裂点的位置，也不会影响树模型的结构。 🌟 **排序的稳定性** 树模型中的特征排序是基于特征值的，而这个排序在数值缩放前后是不会改变的。因此，特征所属的分支和分裂点位置都保持不变。 🌳 **树模型的特性** 树模型是一种阶跃函数，不可导。在构建树模型时，寻找最优分裂点是通过寻找最优点完成的，因此不需要进行导数计算，也就不需要归一化。 既然树形结构不用归一化，那为何其他模型（如Adaboost、SVM、LR、Knn、KMeans）需要呢？让我们深入了解一下。🔍 📈 **线性模型与特征归一化** 对于线性模型（例如逻辑回归LR），当特征之间的差异很大时，比如一个特征范围在(0,1)，另一个在(0,10000)，使用梯度下降时，损失等高线呈椭圆形，需要多次迭代才能达到最优点。 但如果进行了归一化，等高线将呈现圆形，促使梯度下降更快地接近原点，从而减少所需的迭代次数。 📏 **标准化和归一化** 除了归一化，我们还经常提到标准化。那它们究竟是啥？ 🤔 **标准化：** 特征的均值为0，方差为1。这可以通过以下公式表示：  **归一化：** 将每个特征向量的值缩放到相同的数值范围，如[0,1]或[-1,1]。最常见的归一化形式是将特征向量调整为L1范数，即确保特征向量中的数值之和为1。 这两种方法用于确保数据点不因特征的规模而产生显著差异，从而提高不同特征数据的可比性。 所以，记住，树形结构不需要特征归一化，但对于线性模型等其他算法，特征归一化是为了提高训练的效率和模型性能。 Happy coding! 🚀💻🌳