数值计算

机器学习或人工智能中会使用大量的数值计算，使用迭代算法计算估计值来解决既定约束的数学问题，而非使用严格的解析过程推导出公式来解决数据问题。

数值上溢和数值下溢

通过有限位宽的数字存储器存储无限多的实数，无可避免的导致舍入精度的问题。如果系统反复迭代工作，如何系统没有考虑舍入误差的累积，最终会出现输入误差的上溢或下溢。必须对上溢和下溢进行数值稳定的典型案例是: softmax函数，softmax函数经常应用于预测与Multinouli分布相关联的概率，定义为: $softmax(x)_i= exp(x_i)/\sum_{n=1}^Nexp(x_i)$

基于梯度下降法

大多数的深度学习算法都涉及某种形式的优化，优化目标是最大化或最小化f(x)。我们将最大化或最小化的函数称为目标函数或准则。当我们对其进行最小化时，也将其称为代价函数、损失函数或误差函数。

最小二乘法

假设我们希望最小化下面方程式的x值 $f(x)=1/2||Ax-b||_2^2$