10本电子书放文末，自取~

1、为什么self-attention可以堆叠多层，有什么作用？

Self-attention（自注意力）能够捕捉输入序列中的长距离依赖关系，通过堆叠多层self-attention，模型可以学习序列中更深层次的模式和依赖关系。多层self-attention就像神经网络中的多个隐藏层一样，使模型能够学习和表示更复杂的函数。

2、多头有什么作用？如果想让不同头之间有交互，可以怎么做？

多头注意力（Multi-head attention）的设计是为了让模型同时学习到输入序列的不同表示。每个“头”都有自己的参数，可以学习到不同的注意力分布，这样可以让模型同时关注不同的特征或信息。至于不同头之间的交互，这通常在所有头的输出被拼接和线性转换之后自然实现。如果你希望在这之前增加交互，你可能需要设计新的结构或者机制，例如引入跨头的信息交流模块。

3、讲一讲多目标优化，MMoE怎么设计？如果权重为1,0,0这样全部集中在某一个专家上该怎么办？

多目标优化是指优化多个目标函数，通常需要在不同目标间找到一个权衡。多门专家混合网络（MMoE, Multi-gate Mixture-of-Experts）是一种处理多目标优化的方法，其中每个目标都由一个专家网络来处理，而门网络则决定每个专家对最终输出的贡献。如果权重全部集中在某一个专家上，那么模型的输出就完全由那个专家决定。这可能在某些情况下是合理的，但在大多数情况下，你可能希望各个专家都能对输出有所贡献，这需要通过训练和调整权重来实现。

4、介绍一下神经网络的优化器有哪些。

常见的神经网络优化器有梯度下降（GD）、随机梯度下降（SGD）、带动量的随机梯度下降（Momentum SGD）、Adagrad、RMSProp、Adam、Adadelta、Nadam等。

5、介绍一下推荐算法的链路流程。

推荐系统通常包括以下步骤：数据收集（用户行为、物品信息等）、特征工程、模型选择和训练、推荐列表生成、排序等。基于这些步骤，推荐系统可以根据用户的历史行为和物品的特性来预测用户可能感兴趣的物品，并生成推荐列表。

6、介绍一下神经网络的初始化方法。

常见的神经网络初始化方法有：零初始化（所有权重设为0，但这通常会导致训练问题）、随机初始化（权重随机设定，如高斯初始化或均匀分布初始化）、Xavier/Glorot 初始化（权重初始化为均值为0，方差为1/n（n为输入神经元的数量）的正态分布或均匀分布）、He 初始化（类似于Xavier，但方差为2/n，适用于ReLU激活函数）等。

7、讲一讲推荐算法序列建模的模型。

推荐算法中的序列建模通常使用序列模型来捕捉用户行为的时间依赖性。常见的序列模型有：RNN（如LSTM和GRU）、序列到序列模型（Seq2Seq）、注意力模型（如Transformer）、以及最近的预训练模型（如BERT、GPT等）。这些模型可以处理用户行为序列，学习用户的历史行为对他们未来行为的影响，并据此进行推荐。

看完本篇如果对你有用请三连，你的支持是我持续输出的动力，感谢，笔芯~
↓ ↓ ↓以下10本书电子版免费领，直接送 ，想要哪本私我下说声，我发你↓ ↓ ↓

以上8本+《2022年Q3最新大厂面试题》+《2022年Q4最新大厂面试题》电子书，部分截图如下：