非凡首页|软件资讯|最新更新|下载排行|软件分类|软件专题
您当前位置: 下载首页网络软件下载工具笔趣阁小说爬取工具【附源码】

笔趣阁小说爬取工具【附源码】 v2.21 下载工具

  • 软件等级:3 stars.
  • 软件大小:15MB
  • 支持语言:简体中文
  • 授权方式:免费版
  • 软件分类:网络软件/下载工具
  • 官网链接:
  • 更新时间:2020-09-11 10:27:35
  • 运行环境:WinXp,Win2003,WinVista,Win 7,Win 8,Win 10,x64
  • 厂商:
关 键 字: 小说下载
软件介绍 软件截图 软件专题 软件问答 相关文章 相关软件 下载地址

笔趣阁小说爬取工具针对笔趣阁网站开发,由论坛用户原创制作并分享,基于Python编写,能够帮助喜欢阅读小说的用户们将自己喜欢的文章下载到电脑上,让阅读进行得更加方便,软件免费实用,直接爬取网站下载小说资源,让用户轻松获取想看的小说,软件附源码。

软件使用

程序运行方法:解压,在本文件夹中找到并打开dist文件夹,有一个“笔趣阁小说下载.exe”,双击运行

1、前往http://www.xbiquge.la/,找到要保存的小说,复制那个小说的目录页链接

2、按要求输入链接地址和小说名

3、爬取开始

(因为是单线程运行,爬取速度略慢大概1-2秒一章)

4、爬取结束后,会将所有章节内容整合成一个txt文件

软件源码

import requests

import re

header = {

'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'

}

#定义全局变量,用于保存所有获取到的小说内容

story_all = []

#获取标题及章节链接地址

def main():

url = input("请输入小说目录页地址(暂时仅支持‘http://www.xbiquge.la/’站内小说):")

book_name = input("请输入小说名称:")

print("-----爬取开始-----")

#获取目录页的HTML文本

text = requests.get(url,header).content.decode('utf-8')

#获取每个章节的章节名

title = re.findall(r'

  • .*?

    (.*?)',text,re.DOTALL)


#获取每个章节的链接地址

loca = re.findall(r"

  • .*?='(.*?)' >",text,re.DOTALL)


#因为title和loca的长度相同,所以以索引的方式遍历,方便取值

for i in range(len(title)):

content(title[i],f'http://www.xbiquge.la{loca[i]}')

#小说爬取完毕,开始保存

print("@"*500)

with open(r'%s.txt'%book_name, 'w',encoding='utf-8')as file:

#遍历每一项,按顺序保存章节名和章节内容

for story in story_all:

file.write(story['title']+' ')

print(story['title'])

file.write(story['story'])

#解析章节内容并保存

def content(title,url):

#获取章节页的HTML文本

text = requests.get(url,header).content.decode('utf-8')

#因为之前写过直接爬取所有内容的,爬取出来的文本都带有 不好处理

#所以就一句一句的获取了

story_content = re.findall(r' (.*?)<br',text,re.DOTALL)

#因为章节名中有“”空格,没办法作为文件名,所以把空格去掉

title = re.sub(' ','-',title)

#有时候不知道为什么小说内容会爬取到一个空数组,所以这里添加了一个检测程序

#如果爬取到的为空,就重新爬取,直到获取到为止

if story_content==[]:

content(title,url)

return 0

story=""

#前面提到,因为我是一句一句爬取的,所以这里做一下拼接,顺便去空格

for story_contents in story_content:

story = story+story_contents.strip()+' '

#将章节名称和章节内容保存为一个字典

this_story = {

"title":title,

"story":story

}

print(this_story['title'])

#将字典添加到开头定义的全局变量中

story_all.append(this_story)

if __name__ == "__main__":

main()

喜欢小编为您带来的笔趣阁小说爬取工具【附源码】吗?希望可以帮到您~更多软件下载尽在非凡软件站。

显示全部

软件截图

查看安装过程

网站下载工具

网站下载工具 网站下载工具不仅仅能够离线浏览某个网页,还可以从Interne 的任何地方抓回你想要的任何文件。当你需要建站,需要保存某个喜欢的网页内容时,网站下载工具就能将你指定的网站内容下载下来。

软件资讯

更多>
  • 玩惹如何关闭派对提醒

    玩惹如何关闭派对提醒

    玩惹是一个主打兴趣分享的社交软件,用户可以在软件上找到兴趣相同的小伙伴一起交流分享。那么玩惹如何关闭派对提醒呢?还不太了解的小伙伴可以跟非凡小编一起来看看详细的制作教程,希望能够对大家有所帮助!玩惹如何关闭派对提醒1、打开玩惹软件界面,然后我们再点击下面的个人选项即可。2、进入到个人界面后,我们再点击箭头所指的设置选项即可。3、进入到设置界面后,我们再点击新消息通知选项即可。4、进入到新消息通知界

  • 交管12123车牌号在哪里选择

    交管12123车牌号在哪里选择

    交管12123是一个便捷的交通安全管理平台,用户可以使用软件查询最新交管资讯,还可以在线预约考试,选择车牌号等等。那么交管12123车牌号在哪里选择呢?感兴趣的小伙伴不要错过,赶快来看一下吧!交管12123车牌号在哪里选择1、点击进入交管121232、点击更多3、找到机动车业务4、点击新车选号5、点击确认信息6、填写机动车信息,然后就可以选择号牌了7、点击号段公示8、可以查看每天的号段以上就是交管

  • 苹果12消磁怎么办

    苹果12消磁怎么办

    最近有用户发现苹果12手机会让自己的卡片消磁,导致无法使用。苹果也对此作出了回应,是因为背部内嵌的MagSafe充电器的原因。那么苹果12用户应该怎么防止自己的卡片被消磁呢?苹果12消磁怎么办对于iPhone12背部内嵌的MagSafe充电器磁铁会让部分卡片消磁的问题,苹果iPhone营销副总裁Kaiann Drance在采访中表示,带磁条的信用卡磁力较强,应该不会有问题,但部分卡片比如房卡等需

  • 华为Mate40系列有哪些颜色

    华为Mate40系列有哪些颜色

    华为Mate40系列手机正式推出,和苹果手机一样,这系列手机中也新增了比较亮眼的颜色。那么华为Mate40系列有哪些颜色呢?这些颜色好看吗?接下来就跟非凡小编一起来看看吧,有需要的小伙伴不要错过!华为Mate40系列有哪些颜色配置上,Mate40使用的是麒麟9000E处理器,其他几款都是麒麟9000处理器,CPU为一个3.13GHz A77大核心、三个2.54GHz A77中核心、四个2.04G

  • 华为Mate40系列哪一款最好看

    华为Mate40系列哪一款最好看

    华为Mate40一经推出便引发热议,除了手机的价格、性能和配置外,小伙伴们最关注的就是手机好不好看了。那么华为Mate40系列哪一款最好看呢?接下来就跟非凡小编一起来看看吧,有需要的小伙伴不要错过!华为Mate40系列哪一款最好看配置上,Mate40使用的是麒麟9000E处理器,其他几款都是麒麟9000处理器,CPU为一个3.13GHz A77大核心、三个2.54GHz A77中核心、四个2.0

  • 华为Mate40 Pro和Pro+哪一款更划算

    华为Mate40 Pro和Pro+哪一款更划算

    华为最近发布了华为Mate40系列手机,其中最受用户关注的就是华为Mate40 Pro和Pro+这两款手机。很多用户都比较纠结到底买哪一款比较好,哪一款划算一点,接下来就跟非凡小编一起来看看吧,有需要的小伙伴不要错过!华为Mate40 Pro和Pro+哪一款更划算外观首先说说大家关心的外观,正面机身设计方面,华为Mate40 Pro与华为Mate40 Pro+完全一样,都是6.76英寸双挖孔屏幕

注意事项

本站所有资源(含游戏)均是软件作者、开发商投稿,任何涉及商业盈利目的均不得使用,否则产生的一切后果将由您自己承担!本站将不对任何资源负法律责任,所有资源请在下载后24小时内删除。
如侵犯了您的版权、商标等,请立刻联系我们并具体说明情况后,本站将尽快处理删除,联系QQ:799596243 (版权说明注意事项)。若有关在线投稿、无法下载等问题,请与本站客服人员联系QQ:799596243 、QQ:799596243 !
用户可自行按线路选择相应的下载点,可以直接点击下载/另存为,若直接点击下载速度太慢,请尝试使用高速下载器。为确保下载的文件能正常使用,请使用WinRAR最新版本解压本站软件。
建议大家谨慎对待所下载的文件,大家在安装的时候务必留意每一步!关于360安全卫士QQ电脑管家的有关提示,请自行注意选择操作。