机器学习
在吴恩达老师的课程中，有过对机器学习的定义：
ml：<p t e>
p即performance，t即task，e即experience，机器学习是对一个task，根据experience，去提升performance；
在机器学习中，神经网络的地位越来越重要，实践发现，非线性的激活函数有助于神经网络拟合分布，效果明显优于线性分类器：
y=wx+b
常用激活函数有relu，sigmoid，tanh；
sigmoid将值映射到(0,1)：
tanh会将输入映射到(-1,1)区间：
开源框架
当神经网络层数加深，可以加强捕捉分布的效果，可以简单认为深度学习指深层神经网络的学习；
当前有两大主流的深度学习框架：pytorch和tensorflow；
pytorch支持动态计算图，使用起来更接近python；
tensorflow是静态计算图，使用起来就像一门新语言，据说简单易用的keras已经无人维护，合并到tensorflow；
一个深度学习项目的运行流程一般是：
v
深度学习计算重复且体量巨大，所以需要将模型部署到gpu上，gpu的设计很适合加速深度学习计算，为了便于在gpu上开展深度学习实验，人们开发了cuda架构，现在大部分dl模型都是基于cuda加速的
关于cuda
1.什么是cuda？
cuda(computeunified device architecture)，是显卡厂商nvidia推出的运算平台。 cuda是一种由nvidia推出的通用并行计算架构，该架构使gpu能够解决复杂的计算问题。
2.什么是cudnn？
nvidia cudnn是用于深度神经网络的gpu加速库。它强调性能、易用性和低内存开销。nvidia cudnn可以集成到更高级别的机器学习框架中。
方向概览
当前计算机视觉的发展相对于自然语言处理更加成熟，nlp的训练比cv更耗费资源，cv模型相对较小；
在cv方向：
1.图像分类（resnet，densenet）
- 目标检测objectdetection
- 风格迁移styletransfer
- cyclegan：比如图像中马到斑马，也可以从斑马返回马
- imagecaptioning：从图像生成描述文本，一般用cnn获得feature，再输入rnn获得文本
2.在nlp方向
- 情感分析：分类影评数据
- questionanswering：一段问题->给出答案
- translation：可以用opennmt-py，opennmt-py是开源的seq->seq模型
- chatbot聊天机器人，基于questionanswering，目前刚起步
另外还有强化学习deep reinforcement learning，从简单的打砖块游戏到著名的阿尔法go；
以及预训练语言模型：给一段话，让机器继续说下去，比如bert，gpt2；
迁移学习
在cv中，nn的低层可以提取位置信息（边，角等精细信息），高层提取抽象信息，所以低层的网络可以反复使用，更改高层再训练以适用其他任务
到此这篇关于深度学习简介的文章就结束了,以后还会不断更新深度学习的文章，更多相关深度学习文章请搜索www.887551.com以前的文章或继续浏览下面的相关文章，希望大家以后多多支持www.887551.com！
