久久AV高清无码|欧美一区二区三区在线|欧美国产一卡二在线播放|日韩国产精品一区二区三区|91亚洲精品无码久久久久|色五月婷婷五月天激情四射|一级毛片完整版免费播放一区|99热国产这里只有精品无卡顿

您好!歡迎進(jìn)入陜西祥云平臺網(wǎng)絡(luò )科技有限公司,西安全網(wǎng)推廣,西安網(wǎng)站建設,西安網(wǎng)站優(yōu)化,西安網(wǎng)絡(luò )公司,!
你的低價(jià)機票可能被“爬蟲(chóng)吃了”
作者:網(wǎng)絡(luò )    點(diǎn)擊次數:3425次    發(fā)布時(shí)間:2018-01-02

不到一個(gè)月,2018年春節要來(lái)了。
    “今年我得早下手,搶張回家的低價(jià)機票!痹诒本┐蚬さ男⊥鯇萍既請笥浾哒f(shuō),由于老家在云南,春節機票太貴,他都選擇坐兩天兩夜的火車(chē)回去,長(cháng)途跋涉,苦不堪言。
    然而,就在小王摩拳擦掌,準備使出“洪荒之力”搶張便宜機票時(shí),看到網(wǎng)上曝出這樣一則消息:航空公司放出的低價(jià)機票,80%以上被票務(wù)公司的“爬蟲(chóng)”搶走,普通用戶(hù)很少能買(mǎi)到。
小王傻眼了,“爬蟲(chóng)”究竟是什么鬼?它又是怎么搶機票的?難道就沒(méi)有辦法治理嗎?
    借助超鏈接信息抓取網(wǎng)頁(yè)
    “‘爬蟲(chóng)’技術(shù)是實(shí)現網(wǎng)頁(yè)信息采集的關(guān)鍵技術(shù)之一,通俗來(lái)說(shuō),‘爬蟲(chóng)’就是一段用來(lái)批量、自動(dòng)化采集網(wǎng)站數據的程序,幾乎不需要人工干預!北本├砉ご髮W(xué)網(wǎng)絡(luò )科學(xué)與技術(shù)研究院副教授閆懷志告訴科技日報記者。
閆懷志介紹,“爬蟲(chóng)”又稱(chēng)網(wǎng)頁(yè)“蜘蛛”、網(wǎng)絡(luò )機器人,它是一種按照規則自動(dòng)抓取網(wǎng)頁(yè)信息的程序或者腳本,通常駐留在服務(wù)器上。在Web網(wǎng)頁(yè)中,既包含可供用戶(hù)閱讀的文字、圖片等信息,還包含一些超鏈接信息。網(wǎng)絡(luò )“爬蟲(chóng)”正是借助這些超鏈接信息來(lái)不斷抓取網(wǎng)絡(luò )上的其他網(wǎng)頁(yè)。
    “這種信息采集過(guò)程很像一個(gè)爬蟲(chóng)或蜘蛛在網(wǎng)絡(luò )上漫游,網(wǎng)絡(luò )‘爬蟲(chóng)’或網(wǎng)頁(yè)‘蜘蛛’因此得名!遍Z懷志說(shuō),“爬蟲(chóng)”最早應用在搜索引擎領(lǐng)域,比如谷歌、百度、搜狗等搜索引擎工具每天需要抓取互聯(lián)網(wǎng)上數百億的網(wǎng)頁(yè),它們需要借助龐大的“爬蟲(chóng)”集群來(lái)實(shí)現搜索功能。
當前,“爬蟲(chóng)”已被廣泛用于電子商務(wù)、互聯(lián)網(wǎng)金融等諸多領(lǐng)域。比如,“爬蟲(chóng)”可以抓取航空公司官網(wǎng)的機票價(jià)格,發(fā)現低價(jià)或緊俏機票后,“爬蟲(chóng)”可以利用虛假客源的真實(shí)身份信息實(shí)現搶先預訂。再有,很多互聯(lián)網(wǎng)瀏覽器都推出了自己的搶票插件,以高訂票成功率來(lái)推廣瀏覽器。
    根據抓取任務(wù)和目標的不同,網(wǎng)絡(luò )“爬蟲(chóng)”可大致分為批量型、增量型和垂直型。批量型“爬蟲(chóng)”的抓取范圍和目標較為明確,可以是網(wǎng)頁(yè)的設定數量,也可以是消耗時(shí)間的設定。增量型“爬蟲(chóng)”主要用于持續抓取更新的網(wǎng)頁(yè),以適應網(wǎng)頁(yè)的不斷變化。垂直型“爬蟲(chóng)”主要是用于特定主題內容或特定行業(yè)的網(wǎng)頁(yè)。
“爬蟲(chóng)”究竟是如何搶票的
    此前,在線(xiàn)票務(wù)服務(wù)公司攜程的“反爬蟲(chóng)”專(zhuān)家在技術(shù)分享中透露,某網(wǎng)站的一個(gè)頁(yè)面,每分鐘的瀏覽量是1.2萬(wàn),真實(shí)用戶(hù)只有500個(gè),“爬蟲(chóng)”流量占比為95.8%。
    采訪(fǎng)中,很多業(yè)內人士也表示,即使在“爬蟲(chóng)”活動(dòng)的淡季,虛假流量也占到訂票網(wǎng)站總流量的50%,高峰期更是在90%以上。
那么,“爬蟲(chóng)”究竟是如何實(shí)現搶票的呢?對此,閆懷志解釋?zhuān)饕菣C票代理公司利用“爬蟲(chóng)”技術(shù),不斷抓取航空公司售票官網(wǎng)網(wǎng)頁(yè)信息,如果發(fā)現該航空公司有低價(jià)票放出,“爬蟲(chóng)”即刻利用虛假客源身份進(jìn)行批量預定但不實(shí)際支付,以達到搶占低價(jià)票源的目的。由于“爬蟲(chóng)”的效率遠遠超過(guò)正常的手動(dòng)操作,導致通過(guò)正常操作幾乎無(wú)法搶到票。
    隨后,機票代理公司會(huì )通過(guò)其自身銷(xiāo)售渠道(包括公司網(wǎng)站、在線(xiàn)旅行社、客戶(hù)電話(huà)訂購等)找到真正的客源,在航空公司允許的賬期內,退訂此前使用虛假客源身份預定的低價(jià)票,然后使用真實(shí)身份信息進(jìn)行訂購,實(shí)現該低價(jià)票的加價(jià)轉售。
如果未在航空公司規定的賬期內找到真正客源,機票代理公司會(huì )在訂單失效前再追加虛假身份訂單,繼續“霸占”該低價(jià)票,如此反復,直至找到真正客源售出為止。
    “上面的操作流程就構成了完整的機票銷(xiāo)售鏈條。在這個(gè)過(guò)程中,航空公司售票系統允許在賬期內反復訂、退票的規定為機票代理公司利用‘爬蟲(chóng)’搶票并加價(jià)獲利提供便利。這種搶票方式,被稱(chēng)為技術(shù)‘黃!!遍Z懷志強調。
    的確,有業(yè)內人士表示,這些“爬蟲(chóng)”流量消耗了大量的機器資源,卻不產(chǎn)生任何消費,這是每個(gè)公司最痛恨的東西。但是,因為怕誤傷真實(shí)用戶(hù),各家公司的“反爬蟲(chóng)”策略做得非常謹慎。
    采用手段 “爬蟲(chóng)”可防可控
    任何事情都有兩面,“爬蟲(chóng)”技術(shù)也不例外。
    在閆懷志看來(lái),“爬蟲(chóng)”既可為正常的數據批量獲取提供有效的技術(shù)手段,也可被惡意使用以獲取不當利益。如果“爬蟲(chóng)”技術(shù)被不正當利用,就會(huì )帶來(lái)的危害。
首先,威脅數據。航空公司售票網(wǎng)站數據被惡意爬取,數據可能會(huì )被機票代理公司惡意利用,而且還存在被同業(yè)競爭對手獲取的風(fēng)險。
    其次,導致系統性能下降,影響用戶(hù)體驗!芭老x(chóng)”大量的抓取請求會(huì )導致航空公司售票網(wǎng)站服務(wù)器資源負載上升、性能下降,網(wǎng)站響應變慢甚至無(wú)法提供服務(wù),對用戶(hù)搜索和交易體驗造成負面影響。但由于存在巨大的灰色利益空間,同時(shí)“反爬蟲(chóng)”技術(shù)在與“爬蟲(chóng)”對抗中作用有限,使得這種顯失公平的“作弊”方式成為擾亂機票市場(chǎng)秩序的技術(shù)“頑疾”。
    “從技術(shù)角度來(lái)看,阻擊‘爬蟲(chóng)’可以通過(guò)網(wǎng)站流量統計系統和服務(wù)器訪(fǎng)問(wèn)日志分析系統!遍Z懷志說(shuō),通過(guò)流量統計和日志分析,如果發(fā)現單個(gè)IP訪(fǎng)問(wèn)、單個(gè)session訪(fǎng)問(wèn)、User-Agent信息超出設定的正常頻度閾值,則判定該訪(fǎng)問(wèn)為惡意“爬蟲(chóng)”所為,將該“爬蟲(chóng)”的IP列入黑名單以拒絕其后續訪(fǎng)問(wèn)。
    再就是設置各種訪(fǎng)問(wèn)驗證環(huán)節。比如,在可疑IP訪(fǎng)問(wèn)時(shí),返回驗證頁(yè)面,要求訪(fǎng)問(wèn)者通過(guò)填寫(xiě)驗證碼、選取驗證圖片或者字符等方式實(shí)現驗證。如果是惡意“爬蟲(chóng)”爬取,顯然很難完成上述驗證操作,進(jìn)而可以封鎖該“爬蟲(chóng)”的訪(fǎng)問(wèn),防止其惡意爬取信息。
互聯(lián)網(wǎng)空間不能有“灰色地帶”
    當前,云計算、大數據等為代表的新一代信息技術(shù)處在高速發(fā)展階段。
    “上述新技術(shù)如果被非法或者不當應用,則會(huì )產(chǎn)生嚴重的危害;ヂ(lián)網(wǎng)空間需要建立健全完善的保護體系,絕不能‘裸奔’!遍Z懷志說(shuō)。
    2017年6月1日,我國《網(wǎng)絡(luò )安全法》正式實(shí)施,明確了各方在網(wǎng)絡(luò )保障中的權利與責任。這是中國網(wǎng)絡(luò )空間治理和法制建設從量變到質(zhì)變的重要里程碑,這部法律作為依法治網(wǎng)、化解網(wǎng)絡(luò )風(fēng)險的法律重器,成為我國互聯(lián)網(wǎng)在法治軌道上健康運行的重要保障。
然而,目前對于高科技“黃!钡蛊毙袨,尚未有明確規定,使得惡意爬取信息并不當獲利行為處在法律法規監管的“灰色地帶”。
閆懷志介紹,針對“爬蟲(chóng)”應用,專(zhuān)門(mén)制訂了Robots協(xié)議(即“爬蟲(chóng)”協(xié)議、網(wǎng)絡(luò )機器人協(xié)議等)。該協(xié)議全稱(chēng)為“網(wǎng)絡(luò )爬蟲(chóng)排除標準”,網(wǎng)站可通過(guò)該協(xié)議告知“爬蟲(chóng)”可以爬取哪些頁(yè)面及其信息,不能爬取哪些頁(yè)面及其信息。該協(xié)議作為網(wǎng)站和“爬蟲(chóng)”的溝通方式,用來(lái)規范“爬蟲(chóng)”行為,限制不正當競爭。
    作為互聯(lián)網(wǎng)界通行的道德規范,該協(xié)議的原則是:“爬蟲(chóng)”及搜索技術(shù)應服務(wù)于人類(lèi),同時(shí)尊重信息提供者的意愿,并維護其隱私權;網(wǎng)站有義務(wù)保護其使用者的個(gè)人信息和隱私不被侵犯。這就規定了爬取者和被爬取者雙方的權利和義務(wù)。
一位不愿具名的法律專(zhuān)家也表示,“反爬蟲(chóng)”不僅要依靠技術(shù)防范和業(yè)界自律,還應該通過(guò)完善管理和法律法規手段來(lái)約束這種行為,尤其是法律手段才能彰顯懲治力和震懾力。航空公司也要完善賬期管理,不給“爬蟲(chóng)”搶票提供機會(huì )。



·上一篇:網(wǎng)信辦:群主實(shí)名制,誰(shuí)建群誰(shuí)負責管理
·下一篇:盜竊網(wǎng)絡(luò )域名,網(wǎng)站劫持可能獲刑
打印本篇文章    關(guān)閉窗口

關(guān)注有驚喜

Copyright © 2008-2018 陜西祥云平臺網(wǎng)絡(luò )科技有限公司,西安全網(wǎng)推廣,西安網(wǎng)站建設,西安網(wǎng)站優(yōu)化,西安網(wǎng)絡(luò )公司, 版權所有 陜ICP備17022562號-1  陜公網(wǎng)安備 61011302001143號

獲取同行營(yíng)銷(xiāo)方案,10秒填寫(xiě),急速獲取
獲取方案,走向成功!
虞城县| 鄯善县| 板桥市| 华池县| 榆社县| 襄城县| 西丰县| 财经| 当阳市| 合肥市| 和林格尔县| 柳林县| 岑巩县| 宜兴市| 南部县| 舒城县| 太仆寺旗| 施甸县| 紫云| 正宁县| 攀枝花市| 保德县| 闽清县| 深泽县| 平陆县| 特克斯县| 旬邑县| 林州市| 隆林| 铁力市| 壤塘县| 榆社县| 屏南县| 江津市| 庆城县| 长沙市| 巴林左旗| 遵义县| 承德市| 庆云县| 出国|