MyException - 我的异常网
当前位置:我的异常网» 人工智能 » 学习笔记TF045:人工智能、深度学习、TensorFlow、赛

学习笔记TF045:人工智能、深度学习、TensorFlow、赛事、公司

www.MyException.Cn  网友分享于:2013-09-10  浏览:0次
学习笔记TF045:人工智能、深度学习、TensorFlow、比赛、公司

人工智能,用计算机实现人类智能。机器通过大量训练数据训练,程序不断自我学习、修正训练模型。模型本质,一堆参数,描述业务特点。机器学习和深度学习(结合深度神经网络)。

传统计算机器下棋,贪婪算法,Alpha-Beta修剪法配合Min-Max算法。
AlphaGo,蒙特卡洛树搜索法(Monte Carlo tree search,MCTS)和深度卷积神经网络(deep convolutional neural network,DCNN)。估值网络(value network,盘面评估函数),计算盘面分类。策略网络(policy network),计算每个棋概率、胜率。训练模型过程,分类方法得到直接策略,直接策略对历史棋局资料库进行神经网络学习(深度卷积神经网络)得到习得策略,强化学习自我对局(蒙特卡洛树状搜寻法)得到改良策略,回归整体统计得到估值网络。谷歌《Nature》论文,《Mastering the game of Go with deep neural networks and tree search》。

深度学习。前身 是人工神经网络(artificial neural network,ANN),模仿人脑神经元传递、处理信息模式。输入层(input layer)输入训练数据,输出层(output layer)输出计算结果,中间隐藏层(hidden layer)向前传播数据。

数据预处理,图片,图像居中、灰度调整、梯度锐化、去除噪声、倾斜度调整。输入神经网络第一层,第一层提取图像特征,有用向下传递,最后一层输出结果。前向传播(forword propagation)。分类概率向量,前5概率值。

深度学习,利用已知数据学习模型,在未知数据做出预测。神经元特性,激活函数(activation function),非线性函数,输入非线性变化,前向传播;成本函数(cost function),定量评估预测值和真实值差距,调整权重参数,减少损失,反向传播(backword propagation)。

神经网络算法核心,计算、连接、评估、纠错、训练。深度学习增加中间隐藏层数和神经元数,网络变深变宽,大量数据训练。

分类(classification)。输入训练数据特征(feature)、标记(label),找出特征和标记映射关系(mapping),标记纠正学习偏差,提高预测率。有标记学习为监督学习(supervised learning)。无监督学习(unsuperVised learning),数据只有特征没有标记。训练不指定明确分类,数据聚群结构,相似类型聚集一起。没有标记数据分组合,聚类(clustering);成功激励制度,强化学习(reinforcement learning,RL)。延迟奖赏与训练相关,激励函数获得状态行动映射,适合连续决策领域。半监督学习(semi-supervised learning),训练数据部分有标记,部分没有,数据分布必然不完全随机,结合有标记数据局部特征,大量无标记数据整体分布,得到较好分类结果。有监督学习(分类、回归)-半监督学习(分类、回归)-半监督聚类(标记不确定)-无监督学习(聚类)。

深度学习入门,算法知识、大量数据、计算机(最好GPU)。
学习数学知识,训练过程涉及过程抽象数学函数,定义网络结构,定义线性非线性函数,设定优化目标,定义损失函数(loss function),训练过程求解最优解次优解,基本概率统计、高等数学、线性代数,知道原理、过程,兴趣涉猎推导证明。

经典机器学习理论、基本算法,支持向量机、逻辑回归、决策树、朴素贝叶斯分类器、随机森林、聚类算法、协同过滤、关联性分析、人工神经网络、BP算法、PCA、过拟合、正则化。

编程工具(语言),Python解释型、面向对象、动态数据类型高级程序设计语言,线性代数库、矩阵操作,Numpy、Pandas第三方库,机器学习库sklearn,SVM、逻辑回归,MATLAB,R,C++,Java,Go。

经典论文,最新动态研究成果,手写数据字识别,LeNet,物体目标检测,MSCNN,博客、笔记、微信公众号、微博、新媒体资讯,新训练方法,新模型。

自己动手训练神经网络,选择开源深度学习框架,主要考虑用的人多,方向主要集中视觉、语音,初学最好从计算机视觉入手,用各种网络模型训练手写数字(MNIST)、图像分类(CIFAR)数据集。

学入兴趣工作领域,计算机视觉,自然语言处理,预测,图像分类、目标检测、视频目标检测,语音识别、语音合成、对话系统、机器翻译、文章摘要、情感分析,医学行业,医学影像识别,淘宝穿衣,衣服搭配,款式识别,保险、通信客服,对话机器人智能问答系统,智能家居,人机自然语言交互。

工作问题,准确率、坏案例(bad case)、识别速度,可能瓶颈,结合具体行业领域业务创新,最新科研成果,调整模型,更改模型参数,贴近业务需求。

传统基于规则,依赖知识。统计方法为核心机器学习,重要的是做特征工程(feature engineering),调参,根据领域经验提取特征,文字等抽象领域,特征相对容易提取,语音一维时域信号、图像二维空域信号等领域,提取特征困难。深度学习,神经网络每层自动学习特征。TensorFlow深度学习开源工具。

TensorFlow支持异构设备分布式计算(heterogeneous distributed computing)。异构,包含不同成分,异构网络、异构数据库。异构设备,CPU、GPU核心协同合作。分布式架构调度分配计算资源、容错。TensorFlow支持卷积神经网络(convolutional neural network,CNN)、循环神经网络(recurrent neural network,RNN),长短期记忆网络(long short-term memory,LSTM,RNN特例)。

《The Unreasonable Effectiveness of Recurrent Neural Networks》。Tensor库对CPU/GPU透明,不同设备运行由框架实现,用户指定什么设置做什么运算。完全独立代码库,脚本语言(Python)操作Tensor,实现所有深度学习内容,前向传播、反向传播、图形计算。共享训练模型,TensorFlow slim模块。没有编译过程,更大更复杂网络,可解释性,有效日志调试。

研究人群。学者,深度学习理论研究,网络模型,修改参数方法和理论,产耱科研前沿,理论研究、模型实验,新技术新理论敏感。算法改进者,现有网络模型适配应用,达到更好立人日木,模型改进,新算法改进应用现有模型,为上层应用提供优良模型。工业研究者,掌握各种模型网络结构、算法实现,阅读优秀论文,复现成果,应用工业,主流人群。

TensorFlow工业优势,基于服务端大数据服务(谷歌云平台、搜索),面向终端用户移动端(Android)和嵌入式。模型压缩、8位低精度数据存储。

TensorFlow特性。高度灵活性(deep flexibility),数据流图(data flow graph)数值计算,只需要构建图,书写计算内部循环,自定义上层库。真正可移植性(true portability),CPU、GPU、台式机、服务器、移动端、云端服务器、Docker容器。产研结合(connect research and production),快速试验框架,新算法,训练模型。自动求微分(auto-differentiation),只需要定义预测模型结构、目标函数,添加数据。多语言支持(language options),Python、C++、Java接口,C++实现核心,Jupyter Notebook,特征映射(feature map),自定义其他语言接口。优化性能(maximize performance),线程、队列、分布式计算支持,TensorFlow数据流图不同计算元素分配不同设备,最大化利用硬件资源。

应用公司。谷歌、京东、小米、Uber、eBay、Dropbox、Airbnb。

2016.4,0.8版支持分布式、多GPU。2016.6,0.9版支持移动设备。2017.2,1.0版Java、Go实验API,专用编译器XLA、调试工具Debugger,tf.transform数据预处理,动态图计算TensorFlow Fold。

机器学习赛事。
ImageNet ILSVRC(ImageNet Large Scale Visual Recognition Challenge,大规模视觉识别挑战赛),对象检测、图像识别算法。2010年开始,最大图像识别数据库,1500万张有标记高分辨率图像数据集,22000类别,比寒用1000类别各1000图像,120万训练图像,5万验证图像,15万测试图像。每年邀请知名IT公司测试图片分类系统。Top-1,预测输出概率最高类别错误率。Top-5,预测输出概率前五类别错误率。2016,CUImage目标检测第一,商汤科技、香港中文大学;CUvideo视频物体检测子项目第一,商汤科技、香港中文大学;SenseCUSceneParsing场景分析第一,商汤科技、香港中文大学;Trimps-Soushen目标定位第一,公安部三所NUIST视频物体探测两个子项目第一,南京信息工程大学;Hikvvision场景分类第一,海康威视;
Kaggel,2010年成立,数据发掘、数据分析预测竞赛在线平台。公司出数据出钱,计算机科学家、数学家、数据科学家领取任务,提供解决方案。3万到25万美元奖励。
天池大数据竞赛,阿里,穿衣搭配、微博互动预测、用户重复购买行为预测,赛题攻略。

国内人工智能公司。腾讯优图、阿里云ET、百度无人驾驶,搜狗、云从科技、商汤科技、昆仑万维、格灵深瞳。
陌上花科技,衣+(dress+),图像识别、图像搜索、特体追踪检测是、图片自动化标记、图像视频智能分析、边看边买、人脸识别分析。旷视科技,Face++,人脸识别精度,美颜,支付。科大讯飞,语音识别、语音合成、语言云、分词、词性标注、命名实体识别、依存句法分析、语义角色标注。地平线,嵌入式。

参考资料:
《TensorFlow技术解析与实战》

欢迎付费咨询(150元每小时),我的微信:qingxingfengzi

文章评论

程序员都该阅读的书
程序员都该阅读的书
十大编程算法助程序员走上高手之路
十大编程算法助程序员走上高手之路
程序员眼里IE浏览器是什么样的
程序员眼里IE浏览器是什么样的
中美印日四国程序员比较
中美印日四国程序员比较
什么才是优秀的用户界面设计
什么才是优秀的用户界面设计
Google伦敦新总部 犹如星级庄园
Google伦敦新总部 犹如星级庄园
那些争议最大的编程观点
那些争议最大的编程观点
Web开发者需具备的8个好习惯
Web开发者需具备的8个好习惯
那些性感的让人尖叫的程序员
那些性感的让人尖叫的程序员
老程序员的下场
老程序员的下场
漫画:程序员的工作
漫画:程序员的工作
我的丈夫是个程序员
我的丈夫是个程序员
60个开发者不容错过的免费资源库
60个开发者不容错过的免费资源库
为什么程序员都是夜猫子
为什么程序员都是夜猫子
做程序猿的老婆应该注意的一些事情
做程序猿的老婆应该注意的一些事情
Java 与 .NET 的平台发展之争
Java 与 .NET 的平台发展之争
2013年美国开发者薪资调查报告
2013年美国开发者薪资调查报告
初级 vs 高级开发者 哪个性价比更高?
初级 vs 高级开发者 哪个性价比更高?
如何成为一名黑客
如何成为一名黑客
我是如何打败拖延症的
我是如何打败拖延症的
聊聊HTTPS和SSL/TLS协议
聊聊HTTPS和SSL/TLS协议
程序员和编码员之间的区别
程序员和编码员之间的区别
代码女神横空出世
代码女神横空出世
一个程序员的时间管理
一个程序员的时间管理
旅行,写作,编程
旅行,写作,编程
如何区分一个程序员是“老手“还是“新手“?
如何区分一个程序员是“老手“还是“新手“?
我跳槽是因为他们的显示器更大
我跳槽是因为他们的显示器更大
鲜为人知的编程真相
鲜为人知的编程真相
老美怎么看待阿里赴美上市
老美怎么看待阿里赴美上市
程序员的鄙视链
程序员的鄙视链
当下全球最炙手可热的八位少年创业者
当下全球最炙手可热的八位少年创业者
程序员周末都喜欢做什么?
程序员周末都喜欢做什么?
程序猿的崛起——Growth Hacker
程序猿的崛起——Growth Hacker
亲爱的项目经理,我恨你
亲爱的项目经理,我恨你
每天工作4小时的程序员
每天工作4小时的程序员
程序员应该关注的一些事儿
程序员应该关注的一些事儿
总结2014中国互联网十大段子
总结2014中国互联网十大段子
Java程序员必看电影
Java程序员必看电影
看13位CEO、创始人和高管如何提高工作效率
看13位CEO、创始人和高管如何提高工作效率
为啥Android手机总会越用越慢?
为啥Android手机总会越用越慢?
编程语言是女人
编程语言是女人
Web开发人员为什么越来越懒了?
Web开发人员为什么越来越懒了?
“肮脏的”IT工作排行榜
“肮脏的”IT工作排行榜
程序员的一天:一寸光阴一寸金
程序员的一天:一寸光阴一寸金
程序员最害怕的5件事 你中招了吗?
程序员最害怕的5件事 你中招了吗?
要嫁就嫁程序猿—钱多话少死的早
要嫁就嫁程序猿—钱多话少死的早
 程序员的样子
程序员的样子
10个调试和排错的小建议
10个调试和排错的小建议
程序员必看的十大电影
程序员必看的十大电影
软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有