[脚本]爬取同程安全应急响应公开漏洞列表以及详情

先附图一张：
![1.jpg][1]
之前的某天闲来无事做，就想起同程SRC有一个公开漏洞模块。然而闲的蛋疼的我就有了对其写一个爬虫将漏洞列表爬下来的想法（菜鸡的YY）。有两个版本，一个是单线程的。另一个是多线程的版本。

使用之前先安装：Requests库
安装方法：
可先下载安装包，然后执行：python setup.py install
或者说有easy_install或pip的朋友可以直接使用：easy_install requests或者pip install requests进行安装。
注：如果嫌手动麻烦。可使用pip。win下python内自带pip。
单线程版本：
```python
#!/usr/bin/env python
#coding=utf-8
 
import requests
import re
print "\033[0;31m "
print '''
 
●●●█〓█████████▅▄▄▄▄▄▄▄▃▃▃▃▄ ●●
▄██ 〓█★    ★█ 〓 ██▄
[ @Author：Poacher ]
▄▅██████████████████████▅▄▃
███████████████████████████◤
◥⊙▲⊙▲⊙▲⊙▲⊙▲⊙▲⊙▲⊙▲⊙▲⊙▲⊙
'''
print "\033[0m"
 
 
bug_url = "http://sec.ly.com/bugs"
 
#首先获取公开漏洞一共有多少页。由于有url在href里面。直接正则将url全部匹配出来之后开始循环请求。
 
page = requests.get(bug_url)
pattern = re.compile('<a class="ui button" href="(.*?)">',re.S)
page_text = re.findall(pattern,page.content)
 
# 去除重复URL。
page_url = list(set(page_text))
 
# 定义函数开始获取漏洞列表以及漏洞详情
#获取标题以及链接地址可以前提下需要获取同一个a标签里的。否则容易出现数据对不上的情况。
bugs_count = 0
for i in page_url:
    bugs_list = requests.get(i)
    bugs_list_pattern = re.compile('<a title="(.*?)".*? href="(.*?)">',re.S)
    bugs_list_content = re.findall(bugs_list_pattern,bugs_list.content)
    bugs_count = bugs_count + len(bugs_list_content)
    for bugs_list in bugs_list_content:
 
        # 将斜杠替换成空，避免创建文件的时候出现异常。
        bugs_title = bugs_list[0].replace('/','')
        bugs_content = requests.get("http://sec.ly.com/"+bugs_list[1])
        filename = "./bugs_list/" + str(bugs_title) + ".html"
        html = open(filename.decode('utf-8'), 'w')
        html.write(str(bugs_content.content))
        html.close()
        print "正在爬取："+bugs_title
 
print "爬取完成。总共："+ str(bugs_count) +"个漏洞。"
```

多线程版本：
多线程使用的是Threading+Queue
```python
#!/usr/bin/env python
#coding=utf-8
import requests
import re
import threading
import time
import Queue
 
print "\033[0;31m "
print '''
 
●●●█〓█████████▅▄▄▄▄▄▄▄▃▃▃▃▄ ●●
▄██ 〓█★    ★█ 〓 ██▄
[ @Author：Poacher ]
▄▅██████████████████████▅▄▃
███████████████████████████◤
◥⊙▲⊙▲⊙▲⊙▲⊙▲⊙▲⊙▲⊙▲⊙▲⊙▲⊙
'''
print "\033[0m"
 
 
bug_url = "http://sec.ly.com/bugs"
#首先获取公开漏洞一共有多少页。由于有url在href里面。直接正则将url全部匹配出来之后开始循环请求。
page = requests.get(bug_url)
pattern = re.compile('<a class="ui button" href="(.*?)">',re.S)
page_text = re.findall(pattern,page.content)
# 去除重复URL。
page_url = list(set(page_text))
 
class Spider_bugs(threading.Thread):
 
    def __init__(self,queue):
        threading.Thread.__init__(self)
        self._queue = queue
 
    def run(self):
        start_time = time.time()
        while not self._queue.empty():
            bugs_list = requests.get(self._queue.get())
            bugs_list_pattern = re.compile('<a title="(.*?)".*? href="(.*?)">',re.S)
            bugs_list_content = re.findall(bugs_list_pattern,bugs_list.content)
            for bugs_list in bugs_list_content:
                # 将斜杠替换成空，避免创建文件的时候出现异常。
                bugs_title = bugs_list[0].replace('/','')
                bugs_content = requests.get("http://sec.ly.com/"+bugs_list[1])
                filename = "./bugs_list/" + str(bugs_title) + ".html"
                html = open(filename.decode('utf-8'), 'w')
                html.write(str(bugs_content.content))
                html.close()
                print "正在爬取："+bugs_title+" 耗时："+str(time.strftime('%H:%M:%S'))
 
        print "总共耗时："+str(time.time()-start_time)
 
def main():
    threads = []
    thread = 7　
    queue = Queue.Queue()
 
    for url in page_url:
        queue.put(url)
 
    for i in range(thread_count):
        threads.append(Spider_bugs(queue))
 
    for i in threads:
        i.start()
 
    for i in threads:
        i.join()
 
 
if __name__ == '__main__':
    main()
```

[1]: http://www.bugsafe.cn/usr/uploads/2017/12/3112657225.jpg

Poacher's Blog

信息安全梦开始的地方,一个菜鸡#

[脚本]爬取同程安全应急响应公开漏洞列表以及详情

添加新评论

最新文章