深度学习面试题专栏06
01 什么是交叉验证，优点有什么
02 常见的交叉验证方法包括
03 如何在K折交叉验证中选择K？
04 什么是准确率,精准率,召回率和F1分数
05 P-R曲线显示了什么内容
06 什么是AUC？
07 什么是正则化？如何理解正则化？
08 归一化和标准化的区别
09 特征工程有哪些步骤
10 什么是组合特征
01 什么是交叉验证，优点有什么
交叉验证（Cross-Validation）是一种用于评估机器学习模型性能和减少过拟合的技术。它将数据集分成多个子集，然后多次训练和测试模型，以便充分地评估模型的泛化性能。
交叉验证的步骤如下：
数据集分割：首先，将原始数据集分成K个相似大小的子集，其中K通常被称为“折叠”（Folds）的数量。
模型训练和测试：接下来，重复K次训练和测试的过程。在每一次迭代中，其中一个子集被用作测试集，而其余K-1个子集被用作训练集。模型在训练集上进行训练，并在测试集上进行测试。
性能度量：在每一次迭代中，可以计算模型在测试集上的性能指标，如准确率、均方误差、F1分数等。
性能汇总：将K次迭代的性能指标进行平均或合并，以获得最终的性能评估结果。这可以用于评估模型的性能和泛化能力。
交叉验证的主要优点包括：
充分利用了有限的数据，提供了对模型性能的可靠估计。
可以检测模型是否出现过拟合或欠拟合的问题。
提供了对模型性能的稳健评估，减少了随机性的影响。
02 常见的交叉验证方法包括
k折交叉验证（k-Fold Cross-Validation）：将数据分成K个折叠，依次使用其中一个折叠作为测试集，其余折叠作为训练集。
留一交叉验证（Leave-One-Out Cross-Validation，LOOCV）：每个样本单独作为一个测试集，其余样本作为训练集。适用于小数据集。
分层k折交叉验证（Stratified k-Fold Cross-Validation）：确保每个折叠中的类别分布与整个数据集中的类别分布相似，通常在分类问题中使用。
时间序列交叉验证（Time Series Cross-Validation）：适用于时间序列数据，保持时间顺序，避免未来信息泄漏。
03 如何在K折交叉验证中选择K？
选择K值（K-Fold数）对于K折交叉验证是一个重要的决策，因为它会影响交叉验证的评估结果和计算成本。选择合适的K值取决于你的数据集和问题的性质。以下是一些关于如何选择K值的一些建议：
数据集大小：如果你的数据集很小，K可以选择较小的值，如5或10。较小的K值可以更充分地利用有限的数据。对于大型数据集，可以选择较大的K值，如10或更大。
计算资源：较大的K值意味着需要进行更多的训练和测试迭代。如果计算资源有限，你可能需要选择较小的K值，以减少计算成本。
模型复杂度：如果你的模型非常复杂，可能需要更多的训练数据来充分拟合模型。在这种情况下，可以选择较大的K值，以确保每个训练集都足够大。
数据分布：考虑数据的分布和特性。如果数据存在不平衡类别或具有特定的时间序列结构，分层k折交叉验证可能更合适。
稳定性：对于某些问题，不同的K值可能导致评估结果的变化。可以尝试不同的K值并比较它们的结果，以确保评估的稳定性。
等等
04 什么是准确率,精准率,召回率和F1分数
准确率（Accuracy）：
定义：准确率是指模型正确分类的样本数量占总样本数量的比例。它是最常用的分类性能指标之一。
计算公式：Accuracy=正确分类的样本数总样本数/总样本数正确分类的样本数
优点：简单易懂，适用于平衡类别分布的问题。
缺点：在不平衡类别分布下，准确率可能会产生误导。
精确率（Precision）：
定义：精确率是指模型预测为正类别并且实际为正类别的样本数量占所有预测为正类别的样本数量的比例。
计算公式：Precision=True Positives /（True Positives + False Positives）
用途：用于衡量模型的预测正类别的准确性，关注的是模型的假阳性率。
召回率（Recall）：
定义：召回率是指模型预测为正类别并且实际为正类别的样本数量占所有实际正类别的样本数量的比例。
计算公式：Recall=True Positives/（ False Negatives + False Negatives）
用途：用于衡量模型能够捕获实际正类别的能力，关注的是模型的假阴性率。
F1分数（F1 Score）：
定义：F1分数是精确率和召回率的调和平均，综合考虑了模型的精确性和召回能力。
计算公式：F1 Score=2⋅Precision⋅Recall/（Precision+Recall）
用途：F1分数是一个综合性能指标，对于不平衡类别分布的问题很有用，它平衡了精确率和召回率之间的权衡。
05 P-R曲线显示了什么内容
P-R（Precision-Recall）曲线显示了在不同分类阈值下模型的精确率（Precision）和召回率（Recall）之间的权衡关系。P-R曲线是评估二分类模型性能的有用工具，特别是在类别不平衡的情况下。
P-R曲线的主要内容如下：
精确率（Precision）：P-R曲线的横轴通常表示精确率。
召回率（Recall）：P-R曲线的纵轴通常表示召回率。
曲线形状：P-R曲线的形状可以告诉你在不同分类阈值下模型精确率和召回率之间的权衡情况。曲线通常从（0,0）开始，然后随着分类阈值的增加而上升。曲线越接近左上角，模型的性能越好，因为它在保持高精确率的同时实现了高召回率。
面积下的积分（AUC-PR）：P-R曲线下的面积（Area Under the P-R Curve，AUC-PR）是一个常用的性能评估指标。AUC-PR越大，模型的性能越好，因为它表示了模型在不同阈值下维持高精确率和高召回率之间的平衡能力。
P-R曲线通常在类别不平衡的问题中使用，因为在这些问题中，准确率可能会受到不平衡类别分布的影响，而P-R曲线能够更全面地反映模型的性能。根据实际问题和需求，可以选择不同的分类阈值来获得适合任务的精确率和召回率权衡。
06 什么是AUC？
AUC（Area Under the Curve）是一种用于评估分类模型性能的常见指标之一。它通常用于衡量二分类模型（例如，逻辑回归、支持向量机、随机森林等）在不同阈值下的性能表现。
AUC是一个介于0和1之间的数值，表示模型在不同阈值下的真正例率（True Positive Rate，也称为召回率）与假正例率（False Positive Rate）之间的权衡关系。
AUC的计算涉及绘制ROC曲线，ROC曲线以FPR为横轴，TPR为纵轴，通常以不同的阈值绘制。AUC则表示ROC曲线下的面积，通常在0到1之间，数值越接近1表示模型性能越好，0.5表示模型性能等于随机猜测。
一般来说，AUC越高，表示模型在不同阈值下的性能越稳定，更能区分正例和负例。因此，AUC是评估分类模型性能的有用指标之一，特别适用于处理类别不平衡的数据集。
07 什么是正则化？如何理解正则化？
正则化是一种用于机器学习和统计建模的技术，旨在防止模型过拟合（overfitting）训练数据，从而提高其泛化能力。正则化通过向模型的损失函数中添加一个附加项（通常是正则化项）来实现，这个附加项对模型参数的大小或复杂度进行惩罚。
在线性回归、逻辑回归、神经网络等各种机器学习模型中，正则化通常采用以下两种常见的形式：
L1 正则化（Lasso 正则化）：L1 正则化向损失函数中添加模型参数的绝对值之和（L1范数），这通常表示为λ * Σ|θ_i|，其中λ是正则化强度的超参数，θ_i是模型参数。L1 正则化有助于稀疏特征选择，因为它倾向于将一些参数压缩为零，从而减少了模型的复杂性。
L2 正则化（Ridge 正则化）：L2 正则化向损失函数中添加模型参数的平方之和（L2范数），这通常表示为λ * Σ(θ_i^2)，其中λ是正则化强度的超参数，θ_i是模型参数。L2 正则化有助于防止模型参数过大，从而降低了模型对训练数据的敏感性，通常有助于减轻过拟合。
正则化的目标是找到一个平衡点，既能够拟合训练数据，又能够控制模型的复杂性，以便模型能够在新的、未见过的数据上表现良好。正则化的重要性在于它有助于避免模型对训练数据的过度拟合，提高了模型的泛化能力。选择适当的正则化强度（通过调整λ值）通常需要进行交叉验证或其他模型选择技术。正则化是许多机器学习算法和深度学习模型中常用的技术，有助于改进模型的性能和稳定性。
08 归一化和标准化的区别
归一化（Normalization）和标准化（Standardization）都是数据预处理的技术，用于调整数据的尺度或分布，以便更好地适应各种机器学习算法。
归一化（Normalization）：
归一化是将数据缩放到固定的范围，通常是[0, 1]或[-1, 1]。它的目标是将数据映射到一个特定的范围，以便所有特征都具有相似的尺度。
常见的归一化方法包括最小-最大缩放（Min-Max Scaling）和区间缩放（Range Scaling）。最小-最大缩放将数据映射到[0, 1]范围内，区间缩放将数据映射到[-1, 1]范围内。
归一化对于需要将特征尺度归一化的算法（例如，支持向量机和K均值聚类）非常有用，因为这些算法对特征的尺度非常敏感。
标准化（Standardization）：
标准化的目标是将数据转化为均值为0，标准差为1的标准正态分布（也称为Z分数分布）。标准化不会限定数据的范围，而是调整数据的分布，使其具有零均值和单位方差。
常见的标准化方法是Z-score标准化，即将每个特征的值减去其均值，然后除以其标准差。
标准化通常用于对数据分布形状不做假设的算法，例如线性回归、逻辑回归、神经网络等。标准化有助于确保不同特征具有相似的尺度，但不强制将它们映射到特定的范围。
总结来说，归一化主要关注于调整数据的尺度，以确保特征在相似的范围内，而标准化主要关注于调整数据的分布，以确保均值和标准差都满足特定要求。
09 特征工程有哪些步骤
数据预处理：
数据预处理是特征工程的第一步，旨在准备原始数据以供后续特征选择和提取使用。
通常包括处理缺失值、处理异常值、数据标准化或归一化、数据清洗和处理重复值等。
数据预处理确保数据在进行特征工程之前是干净、一致和适合建模的。
特征选择：
特征选择是从所有可用特征中选择最相关和最有价值的特征的过程。
旨在降低维度、减少模型的复杂性，并提高模型的性能和泛化能力。
特征选择方法可以包括过滤方法（如相关性、方差阈值等）、包装方法（如递归特征消除）、嵌入方法（如L1正则化）、特征重要性评估等。
特征提取：
特征提取是创建新特征或从原始数据中抽取有用信息的过程。
旨在构建更具信息量的特征，以帮助模型更好地理解数据。
特征提取方法可以包括从文本中提取关键词、对时间序列进行分解、降维技术（如主成分分析、t-SNE等）等。
10 什么是组合特征
组合特征（Composite Features）是由原始特征组合而成的新特征，这些新特征通常以某种方式汇总或结合了原始特征的信息，以提供更有信息量的特征。组合特征的目的是通过考虑特征之间的关系和交互来改进机器学习模型的性能。
以下是一些常见的组合特征的示例：
数值特征的组合：
可以通过对两个或多个数值特征进行加法、减法、乘法、除法等操作来创建新的数值组合特征。例如，可以将身高和体重结合成BMI指数，或将两个时间戳相减以计算时间间隔。
类别特征的组合：
对类别特征进行组合可以创建新的特征，通常使用one-hot编码或嵌入技术来表示类别特征的组合。例如，在自然语言处理中，可以将两个单词的词向量相加以获得它们的语义组合。
交互特征：
交互特征是指在模型中考虑两个或多个特征之间的相互作用。这通常涉及到将特征相乘或采用其他非线性函数，以捕捉特征之间的关系。例如，在推荐系统中，可以将用户的评分与物品的热度相乘以获得用户对物品的兴趣程度。
特征组合的统计汇总：
可以对一组特征进行统计汇总，如平均值、总和、方差等，以创建新的特征，用于表示原始特征的集合信息。
文本特征的N-gram表示：
在自然语言处理中，N-gram表示是通过考虑文本中连续的N个单词或字符来创建新的特征。这可以捕捉文本中的局部信息和语法结构。
等等！
