Python种子爬取搜索-林小屋博客

film_spider.py:

  • 组件调用:request,re,requests,threading,sys,os
  • 实现功能:先获取到种子搜索页面的正则链接,然后通过抓取页面过滤源码标签,得到需要的信息并打印列表提供下载。
#_*_coding:utf-8_*_
from urllib import request
import re
import requests
import threading
import sys
import os

'''
This is film torrnet spider
'''

__author__ = 'demon'


class UpdateBtTorrent(object):

    def __init__(self,url = 'http://www.btbtt.co/forum-index-fid-951-page-1.htm'):      #构造函数,用于初始化正则以及headers等
        self.domain = 'http://www.btbtt.co/'
        self.page_regex = re.compile(r'<a href="(\bthread-index-fid.*htm{1}).*">')
        self.bt_regex = re.compile(r'<a href="(\battach-dialog-fid.*htm{1}).*">')
        self.film_name_regex = re.compile(r'"(\[BT下载\].*?)"')
        self.torrent_name_regex = re.compile(r'<a .*>(.*\.torrent{1})</a>')
        self.url,self.page_ursl,self.bt_urls,self.bt_download_urls = url,[],[],[]
        self.headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3026.3 Safari/537.36'}

    def __request_content(self,url):                        #请求网页返回html的源码
        req = request.Request(url=url,headers=self.headers)
        content = request.urlopen(req).read().decode()
        return content

    def get_page_urls(self):                                #得到电影下载页面入口中的所有电影介绍的链接
        content = self.__request_content(self.url)
        self.page_ursl = [self.domain+url for url in re.findall(self.page_regex,content)]
        return list(set(self.page_ursl))

    def get_bt_urls(self,url):                             #存放bt种子的方法,用于更新显示bt种子
        content = self.__request_content(url)
        bt_url = re.findall(self.bt_regex,content)         #查找bt种子的url
        if bt_url:
            try:
                film_name = re.findall(self.film_name_regex, content)[0].strip()            #获取页面中的电影名称
            except Exception as e:
                pass
            else:
                torrent = re.sub('dialog','download',self.domain+''.join(bt_url))         #得到bt种子的下载地址
                torrent_name = re.findall(self.torrent_name_regex,content)[0].strip()       #得到bt种子的名称
                print('电影名称:'.rjust(8),film_name)
                print('BT种子下载:'.rjust(8),torrent)
                print('BT种子名称:'.rjust(8),torrent_name)
                print('BT详细链接:'.rjust(8),url)
                print()

                with open('Torrent.txt', 'a+', encoding='utf-8') as f:                  #保存bt种子到文本文件中
                    f.write('%s<--->%s<--->%s' % (film_name,torrent,torrent_name) + '\n')
                    f.flush()

class BtTorrent(object):                                          #用于查找下载bt种子的方法

    def __init__(self):
        self.search_film_result = []                              #用于存放所有film的列表
        self.header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3026.3 Safari/537.36'}

    def search(self,search_film):                                 #用于搜索种子的方法
        with open('Torrent.txt','r',encoding='utf-8') as f:
            content = list(set(f.readlines()))
            for line in content:
                if re.findall(r'.*%s+.*?'%search_film,line):     #正则过滤要查找的电影名称
                    self.search_film_result.append(line)
                    print('电影名称:'.rjust(8),line.split('<--->')[0])
                    print('种子地址:'.rjust(8),line.split('<--->')[1])
                    print('种子名称:'.rjust(8),line.split('<--->')[2])

        return self.search_film_result

    def download(self,search):                                      #用于下载电影BT种子的方法
        with open('Torrent.txt','r',encoding='utf-8') as f:      #取出bt文件中的信息
            content = f.readlines()

        for line in content:                                        #获取要查找的内容
            if search in line:
                torrent_url  = line.split('<--->')[1].strip()
                torrent_name = line.split('<--->')[2].strip()

        data = requests.get(torrent_url,stream=True,headers=self.header)
        if data.ok:                                                 #下载bt种子
            print('正在准备下载电影BT种子,稍等一会我的哥~~~')
            with open(torrent_name,'wb+') as f:
                f.write(data.content)
            print('\033[32m%s电影种子下载完毕..~~~~\033[0m'%torrent_name)
        else:
            print('\033[31mWTF,请求头挂了...~~~\033[0m')


class ChoiceCommand(object):                                        #通过sys.argv传递进来的command调用不同的类方法,update,search,download...

    def __init__(self,command):
        self.film_page_urls = []
        self.command = command                                      #获取位置参数,update or search or download...

    def update(self,start_page=1,end_page=5):
        #url = 'http://www.btbtt.co/forum-index-fid-1183-page-%s.htm'
        url = 'http://www.btbtt.co/forum-index-fid-951-page-%s.htm'
        print('\033[32m正在初始化BT爬虫...,更新等待ing.\033[0m')
        for page_num in range(start_page,end_page):                 #支持多页更新
            self.update_tonnert = UpdateBtTorrent(url%page_num)
            film_urls = self.update_tonnert.get_page_urls()
            self.film_page_urls.extend(film_urls)                   #把每一页的电影的url都放到总的urls列表中

        while self.film_page_urls:                                  #因为bt之家有限制,不能同时开启超过10个并发,所以每次限制启动10个线程进行更新
            thread = []
            for film in self.film_page_urls[:10]:
                t = threading.Thread(target=self.update_tonnert.get_bt_urls,args=(film,))   #更新bt种子的信息
                t.start()
                thread.append(t)
            for th in thread:
                th.join()
            self.film_page_urls = self.film_page_urls[10:]          #每次启动是个线程,利用列表的切片
        else:
            print('\033[32m请求更新的BT种子信息完毕~\033[0m')
            sys.exit(0)

    def search(self,film_name):                                    #实例化搜索种子的方法
        bt_torrnet = BtTorrent()
        bt_torrnet.search(film_name)

    def download(self,film_name):                                  #实例化下载种子的方法
        bt_torrnet = BtTorrent()
        bt_torrnet.download(film_name)

if __name__ == '__main__':

    if len(sys.argv) >= 3:                                         #判断传递的参数个数
        command = sys.argv[1]
        choice = ChoiceCommand(command)
        if hasattr(choice, command):                               #利用反射调取不同的类方法
            if command == 'update':
                update = getattr(choice, command)
                start_page = int(sys.argv[2])
                end_page = int(sys.argv[3])
                update(start_page, end_page)
            else:
                if os.path.exists(os.path.join(os.path.dirname(__file__),'Torrent.txt')):       #判断Torrent.txt,如果有说明有本地的bt种子库
                    bt = getattr(choice, command)                   #通过反射找到search或者download的方法
                    film_name = sys.argv[2]
                    bt(film_name)                                   #调用对应的方法
                else:
                    print('木有找到本地的BT种子库.\033[32m准备更新本地的种子库\033[0m ,特么的给老子消停的等一会.')
                    choice.update()

    elif len(sys.argv) == 2 and sys.argv[1] == 'update':           #不加起始页和终止页,默认更新五页
        choice = ChoiceCommand('update')
        choice.update()

    else:
        print(
    '''
    Low B小哥哥:
        \033[31mLow B哥呀\033[0m,不是这样玩的呀.
    名称:
        这特么的是一个爬取小电影的bt种子
    简介:
        <\033[32mupdate\033[0m [更新电影的初始页,更新电影的终止页]> <\033[32msearch\033[0m电影名称> <\033[32mdownload\033[0m电影名称或者BT下载的地址>
    描述:
        search:  查找的电影名称
        update:  更新本地BT电影库,可以加上起始、终止的页数,默认为前五页
        download: 下载的电影名称或者BT种子的URL地址,默认下载查找到的第一条匹配电影
    示例:
        update   起始更新页 终止更新页
        search  电影名称
        download 电影名称
    作者:
        Film Torrent Spider by Demon.
    ''')