[問題]請教有關處理spider的問題

文章由 **進藤光** » 2007-01-23 23:29

喔～～ .htaccess 啊～～我讓那些爛蜘蛛，連爬到 .htaccess 的機會都沒有！直接在我的 Firewall 上就全部幹掉～～
現在看 access_log 記錄，上面都是只有 Googlebot、Yahoo 與 msnbot 這幾隻而已～當然還有亂跑來的什麼爛 gigabot，由於我只開放給上面這三種，所以他不但只能爬到【一片空白】的畫面，被我發現之後，就給我等著直接在 Firewall 上關門、放狗～～～ XDDD

文章由 **linjunan** » 2007-01-24 09:34

進藤光寫:喔～～ .htaccess 啊～～我讓那些爛蜘蛛，連爬到 .htaccess 的機會都沒有！直接在我的 Firewall 上就全部幹掉～～
現在看 access_log 記錄，上面都是只有 Googlebot、Yahoo 與 msnbot 這幾隻而已～當然還有亂跑來的什麼爛 gigabot，由於我只開放給上面這三種，所以他不但只能爬到【一片空白】的畫面，被我發現之後，就給我等著直接在 Firewall 上關門、放狗～～～ XDDD

原來，大夥都比狠的。

我是連china那的一家『號稱被yahoo』擋掉的也擋了，因為那家抓的也比google狠。

此外，從user_agent擋似乎對china某些spider沒用，它們會吐假的user_agent。

可惡的很狠。

文章由 **進藤光** » 2007-01-24 14:29

我知道，多少會有點用啦～～不可能用一種方式就能對付全部的蜘蛛、BOT、駭客...
畢竟有些用這種方式，有些用那種，欺騙型的有時候也很笨！請參考這篇：

http://bbs.bnw.com.tw/conference/viewtopic.php?t=1244

IE 的瀏覽器名稱會是 Internet Explorer 6.0 嗎？哈哈～～豬頭駭客～～～

大部分防護的措施都寫在：研討會教學講義，為了不讓駭客亂爬，所以必須註冊才能看到內容。

與駭客之間的攻防，則是全部收錄在：烏龍のソフトウェア裡面，除了教學講義其他地方不用註冊就能看到了。

全部的設備，不含印表機通通寫在這裡： BNW 時尚資訊網 2006 年度年終盤點

簡單的說，BNW 的網站資訊應該還滿公開的，從系統的軟硬體設備、防火牆設定、phpBB 的 MOD、甚至連 .htaccess 都附上去了，這樣子駭客還 Hacking 不進來，那我也沒辦法囉～

大概只有我把 Hacker 記錄全部公開～～～

文章由 **linjunan** » 2007-01-24 16:06

厲害~ 學起來。

這種東東真的要遇到才會去想，平常不會去注意到。 > < 果然經驗值是很重要的。

文章由 **進藤光** » 2007-01-24 16:16

哪裡～～各位站長們把網站架個幾年就都知道了～～～

我只是【被駭經驗豐富】而已～～

文章由 **linjunan** » 2007-01-25 09:23

進藤光寫:哪裡～～各位站長們把網站架個幾年就都知道了～～～
我只是【被駭經驗豐富】而已～～

這種經驗.....真不曉得該說什麼 > <

文章由 **hollowaysxp** » 2007-01-25 09:42

chiouss 寫:把 iaskspider 丟去 Google 裡面你會發現是新浪的土匪 spider，所以也該知道人是誰殺的吧？

我是都在 .htaccess 裡面把一卡車 spider 的 user-agent 幹掉啦 :Q

這我聽不懂～要怎麼寫～

倒是可以說一下～用iptable作防坎站。
鳥歌Linux網站有！防止砍到的sh。
可以參考看看。

文章由 **~倉木麻衣~** » 2007-01-27 17:28

因為發現最近的廣告機器人回應的文章都固定是那幾篇(包含本篇)
所以這篇先暫時鎖定, 以減少垃圾文章的數量