【原创】迅读网小说分类下载器[20121013] - 第 2 页

下一步 · #16 2012-09-02, 08:30:35

引用:

作者: namejm

如果按分类下载的话，只有把该分类下所有的html文件下载完毕之后才会整理txt，而不是完整地处理完一本小说之后才会继续下一本小说的处理。

分类下载用这个基本不可行吧。主要是单线程下载，从昨天下载到现在1X个小时才下载了366MB。
考虑一下改成多线程，3－5线程吧。（还有就是整理的话，最好还是下载完一本就处理一次吧，整理的时间不长）

namejm · #17 2012-09-02, 11:38:04

不知道你所说的“分类下载用这个基本不可行吧”具体是什么含义
是指单线程下载太慢了是吧？
其实是多线程下载的，默认为3线程，在说明文件的注意事项第④点中已经有说明了
之所以要先下载完html文件之后才开始整理txt
是考虑到断点续传时便于写代码
如果觉得下载完一本就整理一本的方式更好，那我就改下代码吧
不过需要花点时间折腾，最近在忙别的，可能要一个星期之后了。

下一步 · #18 2012-09-02, 13:19:37

是的下载很慢，你说的多线程是多线程下载单个文件？我想的是以每本为一个任务，同时下载几个任务。

namejm · #19 2012-09-02, 15:24:10

如果以每本为一个任务下载的话
只能多开几个cmd.exe进程了
但是这样的话，按照目前的方案，断点续传的管理将陷入混乱，甚至无法提供断点续传功能
当然，同时下载几个txt，并且还保持断点续传功能也是可以的，需要更换日志记录的方案，代价是得为每本小说单独设置一个下载日志，就像迅雷那样。

黄树林 · #20 2012-09-03, 09:42:07

华为网盘没有注册，不想注册一堆不保险的网盘。能不能上传到FTP里？
谢谢。

fixdown · #21 2012-09-03, 18:06:49

这个不错，可以下回来手机看

at_1 · #22 2012-10-03, 19:46:52

奇怪，家里的xp不能下载了

Initializing download: http://www.xunread.com/article/d51dd...c-469a-9dd1-4f
061c64a03b/index.shtml
Opening output file tmp
Server unsupported, starting from scratch with one connection.
Starting download

[ 0%] .......... .......... .......... ..........
Connection 0 finished

Downloaded 41.0 kilobytes in 1 second. (29.14 KB/s)
系统找不到指定的路径。
gawk: 提取各章节url.awk:9: fatal: cannot open file `contentFolder\\_\index.html'
for reading (No such file or directory)
此时不应有 %i。

eproly · #23 2012-10-08, 08:47:12

win7_32也下载不了小说

Initializing download: http://www.xunread.com/article/06cbe...b-4f9e-bd56-5d
0ab8f39978/index.shtml
Opening output file tmp
Server unsupported, starting from scratch with one connection.
Starting download

[ 0%] .......... .......... .......... .......... .......... [ 32.4KB/s]
[ 0%] .......... .......... ..
Connection 0 finished

Downloaded 72.8 kilobytes in 1 second. (41.23 KB/s)
< was unexpected at this time.

Aotd · #24 2012-10-08, 17:07:45

引用:

作者: at_1

奇怪，家里的xp不能下载了

Initializing download: http://www.xunread.com/article/d51dd...c-469a-9dd1-4f
061c64a03b/index.shtml
Opening output file tmp
Server......

刚开始可以用的几天后才这样应该是网站更新了

fqjp · #25 2012-10-10, 14:32:03

迅读的站长是不是CCFER啊

提取各章节url.awk换成下面

代码:

# 获取每篇小说各章节正文页面的下载地址

BEGING{IGNORECASE=1}
{
	if ($0 ~ /<span class='spant'>/){
		str = gensub(/<span class='spant'><a href='([^']+?)'>([^<]+?)<\/a><\/span>/,"\\1\t\\2\n","g",$0)
		print str
	}
}

at_1 · #26 2012-10-11, 13:52:54

Initializing download: http://www.xunread.com/article/d51dd...c-469a-9dd1-4f
061c64a03b/index.shtml
Opening output file tmp
Server unsupported, starting from scratch with one connection.
Starting download

[ 0%] .......... .......... .......... ..........
Connection 0 finished

Downloaded 41.0 kilobytes in 1 second. (22.41 KB/s)
系统找不到指定的路径。
gawk: 提取各章节url.awk:9: fatal: cannot open file `contentFolder\\_\index.html'
for reading (No such file or directory)
此时不应有 %i。

ACPI · #27 2012-10-12, 00:16:48

引用:

作者: fqjp

迅读的站长是不是CCFER啊

提取各章节url.awk换成下面[CODE]# 获取每篇小说各章节正文页面的下载地址BEGING{IGNORECASE=1}{ if ($0 ~ /<span class='spant'>/){ str = gensub(/<span class='spant'>......

可以了～～謝謝了～～

at_1 · #28 2012-10-12, 13:37:51

还是不行，xp sp3
我下载这本
1. 下载单本小说
2. 下载小说url配置文件中指定的一个或多个小说

都不行，见鬼

http://www.xunread.com/article/d51dd...3b/index.shtml

Initializing download: http://www.xunread.com/article/d51dd...c-469a-9dd1-4f
061c64a03b/index.shtml
Opening output file tmp
Server unsupported, starting from scratch with one connection.
Starting download

[ 0%] .......... .......... .......... ..........
Connection 0 finished

Downloaded 41.0 kilobytes in 2 seconds. (19.57 KB/s)
系统找不到指定的路径。
gawk: 提取各章节url.awk:9: fatal: cannot open file `contentFolder\\_\index.html'
for reading (No such file or directory)
此时不应有 %i。

xuzi · #29 2012-10-13, 21:20:12

xp下选3，情况同11楼

namejm · #30 2012-10-14, 00:12:58

因为迅读网网页微调，导致20120831版无法下载，已经更新代码，感谢 fqjp 的代码。
没有XP环境进行测试，无法重现出错情形，暂时不进行针对XP系统的排错。
精力有限，如果没有什么明显的bug，这个版本恐怕不会再进行更新了。