神经网络
神经网络是指用大量的简单计算单元构成的非线性系统，它在一定程度上模仿了人脑神经系统的信息处理、存储和检索功能，是对人脑神经网络的某种简化、抽象和模拟。
1943年心理学家McCulloch和数学家Pitts合作提出了神经元的数学模型M-P神经元模型，证明了单个神经元能执行逻辑功能，从此开创了神经科学理论研究的时代。
M-P模型，是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的神经元模型。
权重
当输入进入神经元时，它会乘以一个权重。例如，如果一个神经元有两个输入，则每个输入都将具有分配给它的一个关联权重。随机初始化权重，并在模型训练过程中更新这些权重。
偏置
除了权重之外，另一个被应用于输入的线性分量被称为偏置。它被加到权重与输入相乘的结果中。添加偏置的目的是改变权重与输入相乘所得结果的范围。
激活函数
激活函数的主要作用是加入非线性因素，以解决线性模型表达能力不足的缺陷，在整个神经网络中至关重要。常用的激活函数有Sigmoid、Tanh、ReLU。
