假设x为n维向量，在微分多元函数时经常使用以下规则: 对于所有A∈Rm×n，都有∇xAx=A⊤ 对于所有A∈Rn×m，都有∇xx⊤A=A 对于所有A∈Rn×n，都有∇xx⊤Ax=(A+A⊤)x ∇x‖x‖2=∇xx⊤x=2x 同样，对于任何矩阵X，都有∇X‖X‖F2=2X。 正如我们之后将看到的，梯度对于设计深度学习中的优化算法有很大用处。