MyException - 我的异常网
当前位置:我的异常网» 行业应用 » 【简易形式采集】京东商品评论采集方法

【简易形式采集】京东商品评论采集方法

www.MyException.Cn  网友分享于:2018-04-04  浏览:1次
【简易模式采集】京东商品评论采集方法

本文演示无需代码可视化的方法收集京东内容的的方法,十分钟即可上手制作完成,抓取到的数据可以直接导入到数据库或网站。。



在开始之前,可以先参考一下这些文章,希望有帮助:
小白30分钟学会网页爬虫
网页爬虫真实案例记录

 

文中以不需要代码的方法实现,使用到了八 爪鱼(了解详情),只作为演示使用,替换成自己拿手的工具也一样的。

 

 

放大看>>

 

 

 

收集京东商品评论(下图所示)即打开京东主页输入关键词进行搜索,收集搜索到的内容。

 

1、找到京东商品评论规则然后点选立即使用

 

 

放大看>>

 

 

2、简易模式中京东商品评论的任务界面

查看详情:点开可以看到示例网址

任务名:自定义任务名,默认为京东商品评论

任务组:给任务划分一个保存任务的组,如果不设置会有一个默认组

商品评论URL列表: 要收集的网页网址,即商品评论页的链接。每个商品的链接必须以#comment结束,这个链接可以在商品列表点评论数打开 行复制。或者自己打开商品链接后手动添加,如果没有这个后缀可能会报错。多个商品评论输入多个商品网址即可。

将鼠标移动到?号图标可以查看详细的注释信息。

示例数据:这个规则收集的所有字段信息。

 

 

放大看>>

 

 

 

 

3、 任务设置示例

例如要收集格力空调KFR-35GW/(35592)FNhDa-A3 和小米6 全网通 6GB 128GB

的评论信息。

在设置里如下图所示:

任务名:自定义任务名,也可以不设置按照默认的就行

任务组:自定义任务组,也可以不设置按照默认的就行

商品评论URL列表:https://item.jd.com/1993092.html#comment

https://item.jd.com/4957824.html#comment

一行一个,使用回车(Enter)进行换行。

注:URL列表中建议不超过2万条,大量的URL可以 先从商品列表页批量获取。少量的URL可以直接在京东官网搜索后复制黏贴到中。

如京东首页https://www.jd.com/搜索“小米6”后,点选列表中的一个商品进入详情页,找到评论后点选“商品评价”,然后复制网址https://item.jd.com/4099139.html到URL列表中,最后在https://item.jd.com/4099139.html后面加上#comment。

设置好之后点选保存

 

放大看>>

 

保存之后会出现开始收集的按钮

 

放大看>>

 

 

4、 选择开始收集之后系统将会弹出运行任务的界面

可以选择启动本地收集(本地执行收集流程)或者启动云收集(由云 器执行收集流程),这里以启动本地收集为例,我们选择启动本地收集按钮

 

放大看>>

 

 

 

5、选择本地收集按钮之后,系统将会在本地执行这个收集流程来收集数据,下图为本地收集的效果(示例中商品评论数据较多,为方便展示故先行停止收集,诸位可以根据需求决定是否收集完。此外由于京东网站自身问题,评论数据在采到一定量后会出现整页整页的重复。实测在浏览器中翻到一定页数后,网站就只给返回重复数据,目前无解决方案。)

 

放大看>>

 

6、收集完毕之后选择导出数据按钮即可,这里以导出excel2007为例,选择这个选项之后点选确定

 

放大看>>

 

 

7、然后选择文件存放在电脑上的路径,路径选择好之后选择保存

 

放大看>>

 

8、这样数据就被完整的导出到自己的电脑上来了

 

放大看>>

 

 

文中以不需要代码的方法实现,使用到了八 爪鱼(了解详情),只作为演示使用,替换成自己拿手的工具也一样的。

文章评论

旅行,写作,编程
旅行,写作,编程
当下全球最炙手可热的八位少年创业者
当下全球最炙手可热的八位少年创业者
团队中“技术大拿”并非越多越好
团队中“技术大拿”并非越多越好
十大编程算法助程序员走上高手之路
十大编程算法助程序员走上高手之路
程序员应该关注的一些事儿
程序员应该关注的一些事儿
Java程序员必看电影
Java程序员必看电影
10个帮程序员减压放松的网站
10个帮程序员减压放松的网站
看13位CEO、创始人和高管如何提高工作效率
看13位CEO、创始人和高管如何提高工作效率
程序员周末都喜欢做什么?
程序员周末都喜欢做什么?
 程序员的样子
程序员的样子
程序猿的崛起——Growth Hacker
程序猿的崛起——Growth Hacker
为啥Android手机总会越用越慢?
为啥Android手机总会越用越慢?
Java 与 .NET 的平台发展之争
Java 与 .NET 的平台发展之争
为什么程序员都是夜猫子
为什么程序员都是夜猫子
老美怎么看待阿里赴美上市
老美怎么看待阿里赴美上市
老程序员的下场
老程序员的下场
亲爱的项目经理,我恨你
亲爱的项目经理,我恨你
Web开发者需具备的8个好习惯
Web开发者需具备的8个好习惯
不懂技术不要对懂技术的人说这很容易实现
不懂技术不要对懂技术的人说这很容易实现
总结2014中国互联网十大段子
总结2014中国互联网十大段子
代码女神横空出世
代码女神横空出世
做程序猿的老婆应该注意的一些事情
做程序猿的老婆应该注意的一些事情
Web开发人员为什么越来越懒了?
Web开发人员为什么越来越懒了?
要嫁就嫁程序猿—钱多话少死的早
要嫁就嫁程序猿—钱多话少死的早
编程语言是女人
编程语言是女人
写给自己也写给你 自己到底该何去何从
写给自己也写给你 自己到底该何去何从
10个调试和排错的小建议
10个调试和排错的小建议
初级 vs 高级开发者 哪个性价比更高?
初级 vs 高级开发者 哪个性价比更高?
2013年美国开发者薪资调查报告
2013年美国开发者薪资调查报告
“懒”出效率是程序员的美德
“懒”出效率是程序员的美德
程序员眼里IE浏览器是什么样的
程序员眼里IE浏览器是什么样的
程序员的鄙视链
程序员的鄙视链
聊聊HTTPS和SSL/TLS协议
聊聊HTTPS和SSL/TLS协议
Google伦敦新总部 犹如星级庄园
Google伦敦新总部 犹如星级庄园
中美印日四国程序员比较
中美印日四国程序员比较
“肮脏的”IT工作排行榜
“肮脏的”IT工作排行榜
程序员最害怕的5件事 你中招了吗?
程序员最害怕的5件事 你中招了吗?
一个程序员的时间管理
一个程序员的时间管理
程序员必看的十大电影
程序员必看的十大电影
鲜为人知的编程真相
鲜为人知的编程真相
那些性感的让人尖叫的程序员
那些性感的让人尖叫的程序员
程序员和编码员之间的区别
程序员和编码员之间的区别
漫画:程序员的工作
漫画:程序员的工作
那些争议最大的编程观点
那些争议最大的编程观点
如何成为一名黑客
如何成为一名黑客
程序员的一天:一寸光阴一寸金
程序员的一天:一寸光阴一寸金
如何区分一个程序员是“老手“还是“新手“?
如何区分一个程序员是“老手“还是“新手“?
科技史上最臭名昭著的13大罪犯
科技史上最臭名昭著的13大罪犯
我是如何打败拖延症的
我是如何打败拖延症的
软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有