MyException - 我的异常网
当前位置:我的异常网» 人工智能 » 雇请水军党可能要失业了,因为AI水军来了

雇请水军党可能要失业了,因为AI水军来了

www.MyException.Cn  网友分享于:2013-09-12  浏览:0次
雇佣水军党可能要失业了,因为AI水军来了

当AI已经开始写稿、唱歌、翻译文章、把语音转录为文字的时候,我们其实应该清醒的认识到,雇佣水军党要消亡了。

 

相信大部分人和小编一样,现在只要出门吃饭,就会打开大众点评搜好吃的,看评分,看网友的评论。一般来说,餐厅下面的评论对我的选择影响还挺大的,要是下面评论都比较好的话,我肯定会优先考虑的

 

某种程度上,口碑已经成为不少企业的命脉,变成服务和产品质量的永久记录。与此同时,不公平或者虚假的点评也让企业忧心忡忡,这些有可能来自愤怒的顾客,有可能来自竞争对手。

 

水军,在全球都是一个让人头疼的问题,以后可能会更疼了:

 

人工智能(AI)已经学会自动编写虚假点评了。

 

整个点评口碑界正面临潜在却是严重的冲击。如果AI创造的虚假点评泛滥,最终将导致全部点评信息可信度急剧下降。技术进步,这一次又给社会带来了(令人担忧的)影响。

 

 

“这对整个社会是一个巨大的威胁,不但会让依靠点评信息的用户失望,而且会动摇人类对于真实和虚假的信念,我认为后者更让人担心”,芝加哥大学计算机科学教授赵燕斌(Ben Y. Zhao)说。

 

 

以假乱真

 

 

《在线点评系统中的自动众包攻击和防御》是赵燕斌等芝加哥大学研究人员发布的一篇论文。他们的研究说明,人工智能可以被用来生成复杂的点评信息。这些虚假的点评不仅机器无法检测出来,就连人类读者也分辨不出来。

 

这篇论文今年晚些时候会在计算机安全顶级会议ACM CCS上展示。

 

所谓复杂的点评信息,大概是这个样子:“我喜欢这个地方。我跟我哥一起去的,我们点了素食意大利面,很好吃。啤酒不错,服务也很棒。推荐这个地方,是个吃早餐的好去处。地儿小但是买卖大”。

 

乍一看这个点评没有什么奇怪的,里面包含一些具体的建议和可信的描述,虽然最后一句有点奇怪,但整体仍然是一段说人话的表达。

 

实际上,这句话是一种称为RNN(循环神经网络)的深度学习技术生成的。这个RNN网络使用了上千条真实在线点评训练而成。

 

研究人员表示,AI生成的点评已经做到了“以假乱真”,有600个用户参与的调查显示,这些虚假的点评不仅能逃过人类的法眼,而且还被用户认为“有用”。

 

“有用”是更可怕的事情:这表明虚假点评已经可以对人类造成影响。

 

反抄袭软件也对这些虚假点评无能为力,因为这些点评是逐字生成的,而不是简单的替换已有点评中的用词。如果使用反抄袭软件检测,不但很难检测出虚假点评,而且会“误伤”一大批真实的点评。RNN可不仅仅是对现有点评的复制。

 

 

人类水军面临下岗

 

 

人类手写的虚假点评,已经是一个兴盛的地下行业。只要有钱,你就能找到人帮你的产品写下正面的点评,后者给对手写下负面的评价。

 

现在,传统水军行业未来可能也要被AI取代了。

 

美国市场上,一段质量较高的Yelp点评,可能价格能到10美元。不过一旦有了AI的帮助,君心叵测的人可以一分钱不用就生成上千条点评,而且一起放出以免引起怀疑。

 

好消息是,现在还没有AI在现实世界中生成恶意虚假点评的案例。

 

坏消息是,构建一个这样的人工智能系统,并不需要太长的时间,所需硬件市面上都能买到,所需的点评数据库可以在网上轻易获得。

 

 

仍有对策

 

如果有人开始大规模生产这种假点评,大众点评、Yelp这样的网站恐怕就没有好日子过了,毕竟,它们的招牌就是来自用户的真实点评,如果每一条都可能是假的,谁又会继续相信它们呢?

 

接下来沦陷的,会是淘宝京东亚马逊之类的电商,虽然赵燕斌说至少它们还能限制只有买过该商品的用户才能点评,但情况也不容乐观。

 

不过,也有好消息。

 

研究者们说,这种假点评也不是完全没法防范,人类觉得它们能以假乱真,但机器不见得这么看。用计算机去分析字符的分布等特征,他们就会发现真假点评之间存在着细微的差异。

 

假点评是从真实点评里学出来的,在这个过程中,难免会有信息流失。假点评注重的是流畅、可信,但像字符分布这种平时没人关注的特征,就做得不那么好了。

 

“在训练过程中发生的信息遗失,会传递到生成出的文本中,”研究者们在论文中写道,“因此生成文本和人类文本在基本字符分布上,有着统计上可检测的差异。”

 

当然,攻击者也可以骗过检测,换好一点的硬件,做更复杂一点的神经网络就行。但这种检测的意义在于至少提高了攻击的门槛,为他们设置了一些障碍。

 

如果攻击的成本高到一定程度,大部分没那么执着的攻击者也就收手了。赵燕斌说:“这就是一种胜利,所有的安全工作都是这样,提高攻击的门槛。你永远没办法阻止那种目标坚定、身手老练的攻击者。”

 

在一份邮件声明中, Yelp发言人Rachel Youngblade说他们“很欣赏这份研究指出了随着欺骗点评系统的方法持续进化,越来越复杂,Yelp这类大型用户点评网站在保障内容真实性上面临着重大挑战。十年来,Yelp一直有保护内容的系统,而正因为欺骗手段越来越复杂,我们也持续迭代这些系统,来识别假点评,以及偏颇、没有帮助的内容。这份研究的作者们以Yelp系统作为‘真实’的代表,并承认它的有效性,我们非常感激。”

 

“不过,这份研究创造的仅仅是看起来真实的点评文本,Yelp的推荐软件使用了更整体的方法,除了文本之外,还使用了很多其他因素来决定是否推荐一条点评。如果某条点评没有价值或有失偏颇,就算它是人类做出的,我们也不会推荐。”

 

 

不止于点评

 

 

点评是测试文本生成技术的理想场所。这个领域有明确的方向和目的,主体单一,遵循一个相当标准的结构,而且不长。#虚假点评越长,越容易被发现问题#

 

但技术不会止步于此。

 

“所以,我们只是从在线点评开始。你能相信某某人说的那些关于餐馆、商品的话吗?但这类研究还会继续进步。”

 

“它会进步到更大的攻击,可能博客上的整篇文章都完全是由机器人根据某个主题自动生成的,这时候你就真的得想想信息是哪来的、如何验证……这是我们所有人过些年将要面对的,一个更大的挑战。”

 

赵燕斌说他想传递的信息很“简单”:“我希望人们能关注这类攻击途径,把它们看做真实、迫切的威胁,”如果Yelp、亚马逊这些网站的工程师们还没有开始考虑如何抵御,他希望他们立刻开始思考。

 

教授希望“我们希望能吸引更多注意,不仅为了设计出能防御这类攻击的系统,还想让更多人从平凡的视角,看到‘好AI’带来的威胁。”

 

“我认为,那么多人都在关注奇点、天网这些引人注目的AI威胁,但是那些很好很好的AI,能带来很多更实际的、有显示影响的威胁,而这只是冰山一角。”

 

他补充说:“所以,我以希望安全界的人能和我一起,关注这类问题,这样我们才有希望赶上。我认为,AI以惊人的速度和加速度在发展,如果我们不立刻开始研究如何抵御,可能永远都赶不上了。”

 

 

 

是真是假?

 

 

最后,来个小测验吧。

 

这有六个案例,其中有一些是神经网络生成的虚假点评,其他的是真实的人类点评。你看看是否能分辨出来是真是假。

 

1、我最喜欢去的意大利餐厅。大爱这家菜品,一切都很棒。我推荐生牛肉配芦笋。可惜现在名气太大了,越来越难在黄金时间预定到座位。

 

2、我们全家都是这间餐厅的超级粉丝。工作人员非常奈斯,食物很棒。鸡肉非常好吃,蒜汁堪称完美。上面配有水果的冰淇淋也很美味。强烈推荐!

 

3、每年圣诞节我都来,最爱意大利面!物有所值!

 

4、非常好的披萨、烤宽面条以及最好吃的扇贝之一。甜品很大很美味。

 

5、这的食物好吃得惊人,分量也很大。芝士百吉饼做得非常完美,新鲜又美味!服务很快。毫无疑问是我们最爱的地方!我们还会回来的!

 

6、我来这吃饭已经一年半了,除了好吃我无话可说。我总是点披萨,意大利牛肉也很好,给我留下深刻印象。服务非常出色。是我见过的服务最好的餐厅。强烈推荐。

 

 

你看出哪些点评有问题了么?

文章评论

老程序员的下场
老程序员的下场
做程序猿的老婆应该注意的一些事情
做程序猿的老婆应该注意的一些事情
什么才是优秀的用户界面设计
什么才是优秀的用户界面设计
60个开发者不容错过的免费资源库
60个开发者不容错过的免费资源库
老美怎么看待阿里赴美上市
老美怎么看待阿里赴美上市
如何区分一个程序员是“老手“还是“新手“?
如何区分一个程序员是“老手“还是“新手“?
程序员周末都喜欢做什么?
程序员周末都喜欢做什么?
5款最佳正则表达式编辑调试器
5款最佳正则表达式编辑调试器
 程序员的样子
程序员的样子
编程语言是女人
编程语言是女人
亲爱的项目经理,我恨你
亲爱的项目经理,我恨你
我跳槽是因为他们的显示器更大
我跳槽是因为他们的显示器更大
程序员眼里IE浏览器是什么样的
程序员眼里IE浏览器是什么样的
程序猿的崛起——Growth Hacker
程序猿的崛起——Growth Hacker
写给自己也写给你 自己到底该何去何从
写给自己也写给你 自己到底该何去何从
程序员最害怕的5件事 你中招了吗?
程序员最害怕的5件事 你中招了吗?
Web开发人员为什么越来越懒了?
Web开发人员为什么越来越懒了?
看13位CEO、创始人和高管如何提高工作效率
看13位CEO、创始人和高管如何提高工作效率
2013年美国开发者薪资调查报告
2013年美国开发者薪资调查报告
十大编程算法助程序员走上高手之路
十大编程算法助程序员走上高手之路
一个程序员的时间管理
一个程序员的时间管理
那些性感的让人尖叫的程序员
那些性感的让人尖叫的程序员
程序员和编码员之间的区别
程序员和编码员之间的区别
当下全球最炙手可热的八位少年创业者
当下全球最炙手可热的八位少年创业者
程序员必看的十大电影
程序员必看的十大电影
鲜为人知的编程真相
鲜为人知的编程真相
漫画:程序员的工作
漫画:程序员的工作
10个帮程序员减压放松的网站
10个帮程序员减压放松的网站
程序员应该关注的一些事儿
程序员应该关注的一些事儿
旅行,写作,编程
旅行,写作,编程
聊聊HTTPS和SSL/TLS协议
聊聊HTTPS和SSL/TLS协议
为什么程序员都是夜猫子
为什么程序员都是夜猫子
Java 与 .NET 的平台发展之争
Java 与 .NET 的平台发展之争
为啥Android手机总会越用越慢?
为啥Android手机总会越用越慢?
我的丈夫是个程序员
我的丈夫是个程序员
如何成为一名黑客
如何成为一名黑客
2013年中国软件开发者薪资调查报告
2013年中国软件开发者薪资调查报告
团队中“技术大拿”并非越多越好
团队中“技术大拿”并非越多越好
10个调试和排错的小建议
10个调试和排错的小建议
“懒”出效率是程序员的美德
“懒”出效率是程序员的美德
Java程序员必看电影
Java程序员必看电影
代码女神横空出世
代码女神横空出世
总结2014中国互联网十大段子
总结2014中国互联网十大段子
我是如何打败拖延症的
我是如何打败拖延症的
那些争议最大的编程观点
那些争议最大的编程观点
要嫁就嫁程序猿—钱多话少死的早
要嫁就嫁程序猿—钱多话少死的早
“肮脏的”IT工作排行榜
“肮脏的”IT工作排行榜
不懂技术不要对懂技术的人说这很容易实现
不懂技术不要对懂技术的人说这很容易实现
科技史上最臭名昭著的13大罪犯
科技史上最臭名昭著的13大罪犯
软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有