久久AV高清无码|欧美一区二区三区在线|欧美国产一卡二在线播放|日韩国产精品一区二区三区|91亚洲精品无码久久久久|色五月婷婷五月天激情四射|一级毛片完整版免费播放一区|99热国产这里只有精品无卡顿

您好!歡迎進(jìn)入陜西祥云平臺(tái)網(wǎng)絡(luò)科技有限公司,西安全網(wǎng)推廣,西安網(wǎng)站建設(shè),西安網(wǎng)站優(yōu)化,西安網(wǎng)絡(luò)公司,!
你的低價(jià)機(jī)票可能被“爬蟲吃了”
作者:網(wǎng)絡(luò)    點(diǎn)擊次數(shù):3875次    發(fā)布時(shí)間:2018-01-02

不到一個(gè)月,2018年春節(jié)要來了。
    “今年我得早下手,搶張回家的低價(jià)機(jī)票!痹诒本┐蚬さ男⊥鯇萍既請(bào)記者說,由于老家在云南,春節(jié)機(jī)票太貴,他都選擇坐兩天兩夜的火車回去,長途跋涉,苦不堪言。
    然而,就在小王摩拳擦掌,準(zhǔn)備使出“洪荒之力”搶張便宜機(jī)票時(shí),看到網(wǎng)上曝出這樣一則消息:航空公司放出的低價(jià)機(jī)票,80%以上被票務(wù)公司的“爬蟲”搶走,普通用戶很少能買到。
小王傻眼了,“爬蟲”究竟是什么鬼?它又是怎么搶機(jī)票的?難道就沒有辦法治理嗎?
    借助超鏈接信息抓取網(wǎng)頁
    “‘爬蟲’技術(shù)是實(shí)現(xiàn)網(wǎng)頁信息采集的關(guān)鍵技術(shù)之一,通俗來說,‘爬蟲’就是一段用來批量、自動(dòng)化采集網(wǎng)站數(shù)據(jù)的程序,幾乎不需要人工干預(yù)!北本├砉ご髮W(xué)網(wǎng)絡(luò)科學(xué)與技術(shù)研究院副教授閆懷志告訴科技日報(bào)記者。
閆懷志介紹,“爬蟲”又稱網(wǎng)頁“蜘蛛”、網(wǎng)絡(luò)機(jī)器人,它是一種按照規(guī)則自動(dòng)抓取網(wǎng)頁信息的程序或者腳本,通常駐留在服務(wù)器上。在Web網(wǎng)頁中,既包含可供用戶閱讀的文字、圖片等信息,還包含一些超鏈接信息。網(wǎng)絡(luò)“爬蟲”正是借助這些超鏈接信息來不斷抓取網(wǎng)絡(luò)上的其他網(wǎng)頁。
    “這種信息采集過程很像一個(gè)爬蟲或蜘蛛在網(wǎng)絡(luò)上漫游,網(wǎng)絡(luò)‘爬蟲’或網(wǎng)頁‘蜘蛛’因此得名!遍Z懷志說,“爬蟲”最早應(yīng)用在搜索引擎領(lǐng)域,比如谷歌、百度、搜狗等搜索引擎工具每天需要抓取互聯(lián)網(wǎng)上數(shù)百億的網(wǎng)頁,它們需要借助龐大的“爬蟲”集群來實(shí)現(xiàn)搜索功能。
當(dāng)前,“爬蟲”已被廣泛用于電子商務(wù)、互聯(lián)網(wǎng)金融等諸多領(lǐng)域。比如,“爬蟲”可以抓取航空公司官網(wǎng)的機(jī)票價(jià)格,發(fā)現(xiàn)低價(jià)或緊俏機(jī)票后,“爬蟲”可以利用虛假客源的真實(shí)身份信息實(shí)現(xiàn)搶先預(yù)訂。再有,很多互聯(lián)網(wǎng)瀏覽器都推出了自己的搶票插件,以高訂票成功率來推廣瀏覽器。
    根據(jù)抓取任務(wù)和目標(biāo)的不同,網(wǎng)絡(luò)“爬蟲”可大致分為批量型、增量型和垂直型。批量型“爬蟲”的抓取范圍和目標(biāo)較為明確,可以是網(wǎng)頁的設(shè)定數(shù)量,也可以是消耗時(shí)間的設(shè)定。增量型“爬蟲”主要用于持續(xù)抓取更新的網(wǎng)頁,以適應(yīng)網(wǎng)頁的不斷變化。垂直型“爬蟲”主要是用于特定主題內(nèi)容或特定行業(yè)的網(wǎng)頁。
“爬蟲”究竟是如何搶票的
    此前,在線票務(wù)服務(wù)公司攜程的“反爬蟲”專家在技術(shù)分享中透露,某網(wǎng)站的一個(gè)頁面,每分鐘的瀏覽量是1.2萬,真實(shí)用戶只有500個(gè),“爬蟲”流量占比為95.8%。
    采訪中,很多業(yè)內(nèi)人士也表示,即使在“爬蟲”活動(dòng)的淡季,虛假流量也占到訂票網(wǎng)站總流量的50%,高峰期更是在90%以上。
那么,“爬蟲”究竟是如何實(shí)現(xiàn)搶票的呢?對此,閆懷志解釋,主要是機(jī)票代理公司利用“爬蟲”技術(shù),不斷抓取航空公司售票官網(wǎng)網(wǎng)頁信息,如果發(fā)現(xiàn)該航空公司有低價(jià)票放出,“爬蟲”即刻利用虛假客源身份進(jìn)行批量預(yù)定但不實(shí)際支付,以達(dá)到搶占低價(jià)票源的目的。由于“爬蟲”的效率遠(yuǎn)遠(yuǎn)超過正常的手動(dòng)操作,導(dǎo)致通過正常操作幾乎無法搶到票。
    隨后,機(jī)票代理公司會(huì)通過其自身銷售渠道(包括公司網(wǎng)站、在線旅行社、客戶電話訂購等)找到真正的客源,在航空公司允許的賬期內(nèi),退訂此前使用虛假客源身份預(yù)定的低價(jià)票,然后使用真實(shí)身份信息進(jìn)行訂購,實(shí)現(xiàn)該低價(jià)票的加價(jià)轉(zhuǎn)售。
如果未在航空公司規(guī)定的賬期內(nèi)找到真正客源,機(jī)票代理公司會(huì)在訂單失效前再追加虛假身份訂單,繼續(xù)“霸占”該低價(jià)票,如此反復(fù),直至找到真正客源售出為止。
    “上面的操作流程就構(gòu)成了完整的機(jī)票銷售鏈條。在這個(gè)過程中,航空公司售票系統(tǒng)允許在賬期內(nèi)反復(fù)訂、退票的規(guī)定為機(jī)票代理公司利用‘爬蟲’搶票并加價(jià)獲利提供便利。這種搶票方式,被稱為技術(shù)‘黃!!遍Z懷志強(qiáng)調(diào)。
    的確,有業(yè)內(nèi)人士表示,這些“爬蟲”流量消耗了大量的機(jī)器資源,卻不產(chǎn)生任何消費(fèi),這是每個(gè)公司最痛恨的東西。但是,因?yàn)榕抡`傷真實(shí)用戶,各家公司的“反爬蟲”策略做得非常謹(jǐn)慎。
    采用手段 “爬蟲”可防可控
    任何事情都有兩面,“爬蟲”技術(shù)也不例外。
    在閆懷志看來,“爬蟲”既可為正常的數(shù)據(jù)批量獲取提供有效的技術(shù)手段,也可被惡意使用以獲取不當(dāng)利益。如果“爬蟲”技術(shù)被不正當(dāng)利用,就會(huì)帶來的危害。
首先,威脅數(shù)據(jù)。航空公司售票網(wǎng)站數(shù)據(jù)被惡意爬取,數(shù)據(jù)可能會(huì)被機(jī)票代理公司惡意利用,而且還存在被同業(yè)競爭對手獲取的風(fēng)險(xiǎn)。
    其次,導(dǎo)致系統(tǒng)性能下降,影響用戶體驗(yàn)!芭老x”大量的抓取請求會(huì)導(dǎo)致航空公司售票網(wǎng)站服務(wù)器資源負(fù)載上升、性能下降,網(wǎng)站響應(yīng)變慢甚至無法提供服務(wù),對用戶搜索和交易體驗(yàn)造成負(fù)面影響。但由于存在巨大的灰色利益空間,同時(shí)“反爬蟲”技術(shù)在與“爬蟲”對抗中作用有限,使得這種顯失公平的“作弊”方式成為擾亂機(jī)票市場秩序的技術(shù)“頑疾”。
    “從技術(shù)角度來看,阻擊‘爬蟲’可以通過網(wǎng)站流量統(tǒng)計(jì)系統(tǒng)和服務(wù)器訪問日志分析系統(tǒng)!遍Z懷志說,通過流量統(tǒng)計(jì)和日志分析,如果發(fā)現(xiàn)單個(gè)IP訪問、單個(gè)session訪問、User-Agent信息超出設(shè)定的正常頻度閾值,則判定該訪問為惡意“爬蟲”所為,將該“爬蟲”的IP列入黑名單以拒絕其后續(xù)訪問。
    再就是設(shè)置各種訪問驗(yàn)證環(huán)節(jié)。比如,在可疑IP訪問時(shí),返回驗(yàn)證頁面,要求訪問者通過填寫驗(yàn)證碼、選取驗(yàn)證圖片或者字符等方式實(shí)現(xiàn)驗(yàn)證。如果是惡意“爬蟲”爬取,顯然很難完成上述驗(yàn)證操作,進(jìn)而可以封鎖該“爬蟲”的訪問,防止其惡意爬取信息。
互聯(lián)網(wǎng)空間不能有“灰色地帶”
    當(dāng)前,云計(jì)算、大數(shù)據(jù)等為代表的新一代信息技術(shù)處在高速發(fā)展階段。
    “上述新技術(shù)如果被非法或者不當(dāng)應(yīng)用,則會(huì)產(chǎn)生嚴(yán)重的危害;ヂ(lián)網(wǎng)空間需要建立健全完善的保護(hù)體系,絕不能‘裸奔’!遍Z懷志說。
    2017年6月1日,我國《網(wǎng)絡(luò)安全法》正式實(shí)施,明確了各方在網(wǎng)絡(luò)保障中的權(quán)利與責(zé)任。這是中國網(wǎng)絡(luò)空間治理和法制建設(shè)從量變到質(zhì)變的重要里程碑,這部法律作為依法治網(wǎng)、化解網(wǎng)絡(luò)風(fēng)險(xiǎn)的法律重器,成為我國互聯(lián)網(wǎng)在法治軌道上健康運(yùn)行的重要保障。
然而,目前對于高科技“黃!钡蛊毙袨椋形从忻鞔_規(guī)定,使得惡意爬取信息并不當(dāng)獲利行為處在法律法規(guī)監(jiān)管的“灰色地帶”。
閆懷志介紹,針對“爬蟲”應(yīng)用,專門制訂了Robots協(xié)議(即“爬蟲”協(xié)議、網(wǎng)絡(luò)機(jī)器人協(xié)議等)。該協(xié)議全稱為“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”,網(wǎng)站可通過該協(xié)議告知“爬蟲”可以爬取哪些頁面及其信息,不能爬取哪些頁面及其信息。該協(xié)議作為網(wǎng)站和“爬蟲”的溝通方式,用來規(guī)范“爬蟲”行為,限制不正當(dāng)競爭。
    作為互聯(lián)網(wǎng)界通行的道德規(guī)范,該協(xié)議的原則是:“爬蟲”及搜索技術(shù)應(yīng)服務(wù)于人類,同時(shí)尊重信息提供者的意愿,并維護(hù)其隱私權(quán);網(wǎng)站有義務(wù)保護(hù)其使用者的個(gè)人信息和隱私不被侵犯。這就規(guī)定了爬取者和被爬取者雙方的權(quán)利和義務(wù)。
一位不愿具名的法律專家也表示,“反爬蟲”不僅要依靠技術(shù)防范和業(yè)界自律,還應(yīng)該通過完善管理和法律法規(guī)手段來約束這種行為,尤其是法律手段才能彰顯懲治力和震懾力。航空公司也要完善賬期管理,不給“爬蟲”搶票提供機(jī)會(huì)。



·上一篇:網(wǎng)信辦:群主實(shí)名制,誰建群誰負(fù)責(zé)管理
·下一篇:盜竊網(wǎng)絡(luò)域名,網(wǎng)站劫持可能獲刑
打印本篇文章    關(guān)閉窗口

您可以在線咨詢...

029-88258663

18629546790

陜西省西安市雁塔區(qū)雁展路曲江會(huì)展國際H座

關(guān)注有驚喜

Copyright © 2008-2018 陜西祥云平臺(tái)網(wǎng)絡(luò)科技有限公司,西安全網(wǎng)推廣,西安網(wǎng)站建設(shè),西安網(wǎng)站優(yōu)化,西安網(wǎng)絡(luò)公司, 版權(quán)所有 陜ICP備17022562號-1  陜公網(wǎng)安備 61011302001143號

獲取同行營銷方案,10秒填寫,急速獲取
獲取方案,走向成功!
涿鹿县| 淳化县| 九龙县| 乌鲁木齐县| 都兰县| 莆田市| 富锦市| 钦州市| 西林县| 义马市| 沛县| 兴安盟| 瑞丽市| 泸州市| 巴青县| 巢湖市| 加查县| 广河县| 林甸县| 阳谷县| 彭山县| 正镶白旗| 万全县| 贞丰县| 抚顺县| 鄂温| 临夏市| 泽州县| 正镶白旗| 勃利县| 威信县| 濮阳市| 盈江县| 永平县| 西畴县| 淮阳县| 隆昌县| 平安县| 靖安县| 阳朔县| 平乡县|