猜您喜欢:
笔趣阁小说爬取工具针对笔趣阁网站开发,由论坛用户原创制作并分享,基于Python编写,能够帮助喜欢阅读小说的用户们将自己喜欢的文章下载到电脑上,让阅读进行得更加方便,软件免费实用,直接爬取网站下载小说资源,让用户轻松获取想看的小说,软件附源码。
程序运行方法:解压,在本文件夹中找到并打开dist文件夹,有一个“笔趣阁小说下载.exe”,双击运行
1、前往http://www.xbiquge.la/,找到要保存的小说,复制那个小说的目录页链接
2、按要求输入链接地址和小说名
3、爬取开始
(因为是单线程运行,爬取速度略慢大概1-2秒一章)
4、爬取结束后,会将所有章节内容整合成一个txt文件
import requests
import re
header = {
'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'
}
#定义全局变量,用于保存所有获取到的小说内容
story_all = []
#获取标题及章节链接地址
def main():
url = input("请输入小说目录页地址(暂时仅支持‘http://www.xbiquge.la/’站内小说):")
book_name = input("请输入小说名称:")
print("-----爬取开始-----")
#获取目录页的HTML文本
text = requests.get(url,header).content.decode('utf-8')
#获取每个章节的章节名
title = re.findall(r'
.*?
#获取每个章节的链接地址
loca = re.findall(r"
.*?='(.*?)' >",text,re.DOTALL)
#因为title和loca的长度相同,所以以索引的方式遍历,方便取值
for i in range(len(title)):
content(title[i],f'http://www.xbiquge.la{loca[i]}')
#小说爬取完毕,开始保存
print("@"*500)
with open(r'%s.txt'%book_name, 'w',encoding='utf-8')as file:
#遍历每一项,按顺序保存章节名和章节内容
for story in story_all:
file.write(story['title']+'⁄n')
print(story['title'])
file.write(story['story'])
#解析章节内容并保存
def content(title,url):
#获取章节页的HTML文本
text = requests.get(url,header).content.decode('utf-8')
#因为之前写过直接爬取所有内容的,爬取出来的文本都带有⁄r不好处理
#所以就一句一句的获取了
story_content = re.findall(r' (.*?)<br',text,re.DOTALL)
#因为章节名中有“”空格,没办法作为文件名,所以把空格去掉
title = re.sub(' ','-',title)
#有时候不知道为什么小说内容会爬取到一个空数组,所以这里添加了一个检测程序
#如果爬取到的为空,就重新爬取,直到获取到为止
if story_content==[]:
content(title,url)
return 0
story=""
#前面提到,因为我是一句一句爬取的,所以这里做一下拼接,顺便去空格
for story_contents in story_content:
story = story+story_contents.strip()+'⁄n'
#将章节名称和章节内容保存为一个字典
this_story = {
"title":title,
"story":story
}
print(this_story['title'])
#将字典添加到开头定义的全局变量中
story_all.append(this_story)
if __name__ == "__main__":
main()
喜欢小编为您带来的笔趣阁小说爬取工具【附源码】吗?希望可以帮到您~更多软件下载尽在非凡软件站。
网站下载工具 网站下载工具不仅仅能够离线浏览某个网页,还可以从Interne 的任何地方抓回你想要的任何文件。当你需要建站,需要保存某个喜欢的网页内容时,网站下载工具就能将你指定的网站内容下载下来。
Bili下载姬(DownKyi)v1.2.9 Bili下载姬专为喜欢用B站看视频的用户们制作,针对B站全新...详情>>
SBWebCamCorderv2.13 SBWebCamCorder是一款强大的网页内容下载工具,主...详情>>
PyIDM(互联网下载管理器)v2020.8.21 PyIDM基于Python开发,能够帮助用户快速下载所需要的...详情>>
对于经常使用高德地图进行导航的朋友来说,查看过去的导航记录无疑是一个非常实用的功能。无论是回顾行程、分析路线,还是查找某个曾经路过的地点,导航记录都能提供极大的帮助。那么,高德地图的导航记录究竟藏在哪里呢?接下来,就让我们一探究竟。一、进入高德地图应用首先,确
在当今信息爆炸的时代,搜索引擎成为了我们获取知识和信息的重要工具。搜狗搜索网页版以其丰富的资源和便捷的服务,为广大用户提供了优质的搜索体验。要进入搜狗搜索网页版非常简单,只需在浏览器的地址栏中输入相关网址,就能轻松开启知识探索之旅。当你打开搜狗搜索网页版的入口
在观看微信视频号内容时,有时我们可能需要同时进行其他操作,这时候悬浮小窗功能就派上用场了。下面就为大家详细介绍微信视频号悬浮小窗的设置教程。首先,确保你的微信版本是最新的。打开微信,进入视频号界面,找到想要设置悬浮小窗的视频并点击播放。当视频开始播放后,点击视
在华为商城预约抢购心仪的手机,能让你第一时间拥有高性能的智能设备。以下是详细的预约抢购步骤。注册与登录华为账号首先,确保你在华为商城官网或华为商城app上已注册并登录自己的华为账号。若还没有账号,按照提示进行注册即可。这一步很关键,它是后续操作的基础。了解抢购
在数字化时代,我们的生活中有各种各样的app来帮助我们记录和管理信息。记录本app就是其中一款很实用的工具,它能方便地帮我们记录各种重要事项、灵感瞬间等。然而,有时候我们可能会忘记密码或者出于安全考虑想要更改密码。别担心,今天就来为大家详细介绍记录本app改密
在使用电脑的过程中,你可能会遇到各种问题,其中“netcfg.hlp”文件相关的问题时有发生。别担心,下面就为你详细介绍如何解决这个问题。netcfg.hlp是什么“netcfg.hlp”是windows系统中的一个帮助文件,它主要提供有关网络配置的相关信息和
本站所有资源(含游戏)均是软件作者、开发商投稿,任何涉及商业盈利目的均不得使用,否则产生的一切后果将由您自己承担!本站将不对任何资源负法律责任,所有资源请在下载后24小时内删除。
如侵犯了您的版权、商标等,请立刻联系我们并具体说明情况后,本站将尽快处理删除,联系
(版权说明注意事项)。若有关在线投稿、无法下载等问题,请与本站客服人员联系
!
用户可自行按线路选择相应的下载点,可以直接点击下载/另存为,若直接点击下载速度太慢,请尝试使用高速下载器。为确保下载的文件能正常使用,请使用WinRAR最新版本解压本站软件。
建议大家谨慎对待所下载的文件,大家在安装的时候务必留意每一步!关于360安全卫士或QQ电脑管家的有关提示,请自行注意选择操作。