一: AIGC的历史发展
前文章我们介绍了AIGC的早期阶段,AIGC的起源,以及AIGC的理论和概念。那么这篇文章我们就简单的介绍下AIGC历史上发展的第二个阶段:沉淀积累阶段。
1.1 沉淀积累阶段
AIGC的沉淀积累阶段主要是指:20世纪90年代~21世纪10年代中期,为什么会这么划分呢?因为这期间在AI领域,发生了几件影响世界的大事。并且在这个阶段内,AIGC也开始从实验性质转向实用性,但这个时期的算法,还是有一定的瓶颈,导致实用性很差,无法直接内容生成。
1.1.1 深度神经网络
在2006年时,当时的深度学习算法、图形处理器以及张量处理器等都取得了重大的突破。2007年,世界第一部完全由人工智能创作的小说《I The Road》问世。
在几年后的,2012年微软展示全自动同声传译系统,主要基于“深度神经网络”(DeepNeural Network,DNN)自动将英文讲话内容通过语音识别等技术生成中文。
那么什么是深度神经网络呢?它又为什么可以做到内容生成呢?
其实呀,主要是靠深度神经网络,也就是DNN的监督学习算法,来实现AI学习的逻辑。在这个阶段内,2006年,,hinton提出了在非监督数据上建立多层神经网络的一个有效方法,简单的说,分为两步,一是每次训练一层网络,二是调优使原始表示x向上生成的高级表示r和该高级表示r向下生成的x’尽可能一致。
- 每个连接都有个权值
- 同一层神经元之间没有连接
- 最后的输出结果对应的层也称之为
全连接层
FC
什么意思呢?就是每层网络的预训练均采用无监督学习,然后再利用无监督学习逐层训练每一层,然后把上一层的输出结果,作为下一层的输入,然后最后再使用有监督学习来微调所有层(加上一个用于分类的分类器)
DNN模型如下:
它总共包括三层,Layer1、Layer2、Layer3,从x1到第二层,需要一个激活函数(如下所示)。假设这个激活函数为z(x),我们给它加上一些权重参数w1,w2,w3,w0,以及一个x0并且x0=1。
那么训练模型的过程又是如何的呢?正确的一个训练模型的过程如下:当然前期肯定要先创建好先用newff函数建立网络,再用train函数训练即可。
正向传播:输入样本->输入层->各隐层(处理)->输出层注1:若输出层实际输出与期望输出(教师信号)不符,则转入2)(误差反向传播过程)2)误差反向传播:输出误差(某种形式)->隐层(逐层)->输入层其主要目的是通过将输出误差反传,将误差分摊给各层所有单元,从而获得各层单元的误差信号,进而修正各单元的权值(其过程,是一个权值调整的过程)。
在这个过程中,神经网络通过不断调整网络的权值和阈值,达到学习、训练的目的,当网络输出的误差减少到可以接受的程度,或者预先设定的学习次数后,学习就可以停止了。