. : : ClassiClub ForuM : : .

会员中心 论坛帮助 日历事件 标记论坛已读
返回   精品技术论坛 » 技术论坛 » 『软件使用』

『软件使用』: 电脑软件推荐, 电脑软件使用, 经验分享



发表新主题 关闭主题
 
主题工具
下一步
 
下一步 的头像
『精品软件』版主
 
资 料:
注册日期: Feb 2002
帖子: 13,158 声望值: 5
精华: 3,解答: 34
#16 旧 2012-09-02, 08:30:35 默认
下一步 当前离线  

引用:
作者: namejm 查看帖子
如果按分类下载的话,只有把该分类下所有的html文件下载完毕之后才会整理txt,而不是完整地处理完一本小说之后才会继续下一本小说的处理。
分类下载用这个基本不可行吧。主要是单线程下载,从昨天下载到现在1X个小时才下载了366MB。
考虑一下改成多线程,3-5线程吧。(还有就是整理的话,最好还是下载完一本就处理一次吧,整理的时间不长)


--心无邪--执着--专注--
namejm
 
namejm 的头像
超级会员
 
资 料:
注册日期: Apr 2009
帖子: 1,363 声望值: 3
精华: 21,解答: 83
#17 旧 2012-09-02, 11:38:04 默认
namejm 当前离线  

不知道你所说的“分类下载用这个基本不可行吧”具体是什么含义
是指单线程下载太慢了是吧?
其实是多线程下载的,默认为3线程,在说明文件的注意事项第④点中已经有说明了
之所以要先下载完html文件之后才开始整理txt
是考虑到断点续传时便于写代码
如果觉得下载完一本就整理一本的方式更好,那我就改下代码吧
不过需要花点时间折腾,最近在忙别的,可能要一个星期之后了。


TotalCommder、EveryThing、batch、AutoHotKey、EverEdit
精通Word、Excel、PPT的安装与卸载
熟练掌握VB、C++、SQL的拼读与缩写
下一步
 
下一步 的头像
『精品软件』版主
 
资 料:
注册日期: Feb 2002
帖子: 13,158 声望值: 5
精华: 3,解答: 34
#18 旧 2012-09-02, 13:19:37 默认
下一步 当前离线  

是的下载很慢,你说的多线程是多线程下载单个文件?我想的是以每本为一个任务,同时下载几个任务。
namejm
 
namejm 的头像
超级会员
 
资 料:
注册日期: Apr 2009
帖子: 1,363 声望值: 3
精华: 21,解答: 83
#19 旧 2012-09-02, 15:24:10 默认
namejm 当前离线  

如果以每本为一个任务下载的话
只能多开几个cmd.exe进程了
但是这样的话,按照目前的方案,断点续传的管理将陷入混乱,甚至无法提供断点续传功能
当然,同时下载几个txt,并且还保持断点续传功能也是可以的,需要更换日志记录的方案,代价是得为每本小说单独设置一个下载日志,就像迅雷那样。
黄树林
 
黄树林 的头像
热心会员
 
资 料:
注册日期: Jul 2001
帖子: 1,350 声望值: 4
精华: 1,解答: 1
#20 旧 2012-09-03, 09:42:07 默认
黄树林 当前离线  

华为网盘没有注册,不想注册一堆不保险的网盘。能不能上传到FTP里?
谢谢。


“空气在颤抖,仿佛天空在燃烧。”
fixdown
 
fixdown 的头像
超级会员
 
资 料:
注册日期: Jun 2001
帖子: 1,244 声望值: 3
精华: 0
#21 旧 2012-09-03, 18:06:49 默认
fixdown 当前离线  

这个不错,可以下回来手机看
at_1
 
at_1 的头像
超级会员
 
资 料:
注册日期: Oct 2001
帖子: 1,792 声望值: 3
精华: 0
#22 旧 2012-10-03, 19:46:52 默认
at_1 当前离线  

奇怪,家里的xp不能下载了

Initializing download: http://www.xunread.com/article/d51dd...c-469a-9dd1-4f
061c64a03b/index.shtml
Opening output file tmp
Server unsupported, starting from scratch with one connection.
Starting download

[ 0%] .......... .......... .......... ..........
Connection 0 finished

Downloaded 41.0 kilobytes in 1 second. (29.14 KB/s)
系统找不到指定的路径。
gawk: 提取各章节url.awk:9: fatal: cannot open file `contentFolder\\_\index.html'
for reading (No such file or directory)
此时不应有 %i。


爽...不爽
eproly
 
eproly 的头像
高级会员
 
资 料:
注册日期: Apr 2000
帖子: 607 声望值: 3
精华: 0,解答: 6
#23 旧 2012-10-08, 08:47:12 默认
eproly 当前离线  

win7_32也下载不了小说

Initializing download: http://www.xunread.com/article/06cbe...b-4f9e-bd56-5d
0ab8f39978/index.shtml
Opening output file tmp
Server unsupported, starting from scratch with one connection.
Starting download

[ 0%] .......... .......... .......... .......... .......... [ 32.4KB/s]
[ 0%] .......... .......... ..
Connection 0 finished

Downloaded 72.8 kilobytes in 1 second. (41.23 KB/s)
< was unexpected at this time.
Aotd
 
Aotd 的头像
普通会员
 
资 料:
注册日期: Sep 2012
帖子: 75 声望值: 1
精华: 0,解答: 1
#24 旧 2012-10-08, 17:07:45 默认
Aotd 当前离线  

引用:
作者: at_1 查看帖子
奇怪,家里的xp不能下载了

Initializing download: http://www.xunread.com/article/d51dd...c-469a-9dd1-4f
061c64a03b/index.shtml
Opening output file tmp
Server......
刚开始可以用的 几天后才这样 应该是网站更新了
fqjp
 
fqjp 的头像
热心会员
 
资 料:
注册日期: Sep 2002
帖子: 10,603 声望值: 6
精华: 4,解答: 22
#25 旧 2012-10-10, 14:32:03 默认
fqjp 当前离线  

迅读的站长是不是CCFER啊

提取各章节url.awk换成下面

代码:
# 获取每篇小说各章节正文页面的下载地址

BEGING{IGNORECASE=1}
{
	if ($0 ~ /<span class='spant'>/){
		str = gensub(/<span class='spant'><a href='([^']+?)'>([^<]+?)<\/a><\/span>/,"\\1\t\\2\n","g",$0)
		print str
	}
}


今天你尾了吗?
at_1
 
at_1 的头像
超级会员
 
资 料:
注册日期: Oct 2001
帖子: 1,792 声望值: 3
精华: 0
#26 旧 2012-10-11, 13:52:54 默认
at_1 当前离线  

Initializing download: http://www.xunread.com/article/d51dd...c-469a-9dd1-4f
061c64a03b/index.shtml
Opening output file tmp
Server unsupported, starting from scratch with one connection.
Starting download

[ 0%] .......... .......... .......... ..........
Connection 0 finished

Downloaded 41.0 kilobytes in 1 second. (22.41 KB/s)
系统找不到指定的路径。
gawk: 提取各章节url.awk:9: fatal: cannot open file `contentFolder\\_\index.html'
for reading (No such file or directory)
此时不应有 %i。
ACPI
 
ACPI 的头像
高级会员
 
资 料:
注册日期: Dec 2000
帖子: 828 声望值: 3
精华: 0,解答: 5
#27 旧 2012-10-12, 00:16:48 默认
ACPI 当前离线  

引用:
作者: fqjp 查看帖子
迅读的站长是不是CCFER啊提取各章节url.awk换成下面[CODE]# 获取每篇小说各章节正文页面的下载地址BEGING{IGNORECASE=1}{ if ($0 ~ /<span class='spant'>/){ str = gensub(/<span class='spant'>......

可以了~~謝謝了~~


Windows
eXPensive
at_1
 
at_1 的头像
超级会员
 
资 料:
注册日期: Oct 2001
帖子: 1,792 声望值: 3
精华: 0
#28 旧 2012-10-12, 13:37:51 默认
at_1 当前离线  

还是不行,xp sp3
我下载这本
1. 下载单本小说
2. 下载小说url配置文件中指定的一个或多个小说

都不行,见鬼

http://www.xunread.com/article/d51dd...3b/index.shtml


Initializing download: http://www.xunread.com/article/d51dd...c-469a-9dd1-4f
061c64a03b/index.shtml
Opening output file tmp
Server unsupported, starting from scratch with one connection.
Starting download

[ 0%] .......... .......... .......... ..........
Connection 0 finished

Downloaded 41.0 kilobytes in 2 seconds. (19.57 KB/s)
系统找不到指定的路径。
gawk: 提取各章节url.awk:9: fatal: cannot open file `contentFolder\\_\index.html'
for reading (No such file or directory)
此时不应有 %i。
xuzi
 
xuzi 的头像
超级会员
 
资 料:
注册日期: Jun 2001
帖子: 1,505 声望值: 3
精华: 1,解答: 9
#29 旧 2012-10-13, 21:20:12 默认
xuzi 当前离线  

xp下选3,情况同11楼


How are you
How old are you
namejm
 
namejm 的头像
超级会员
 
资 料:
注册日期: Apr 2009
帖子: 1,363 声望值: 3
精华: 21,解答: 83
#30 旧 2012-10-14, 00:12:58 默认
namejm 当前离线  

因为迅读网网页微调,导致20120831版无法下载,已经更新代码,感谢 fqjp 的代码。
没有XP环境进行测试,无法重现出错情形,暂时不进行针对XP系统的排错。
精力有限,如果没有什么明显的bug,这个版本恐怕不会再进行更新了。
发表新主题 关闭主题

主题工具

论坛规则  发帖规则
不可以发表主题
不可以回复帖子
不可以上传附件
不可以编辑自己的帖子
论坛启用 vB 代码
版面启用 表情符号
版面启用 [IMG] 代码
版面禁用 HTML 代码


所有时间均为北京时间, 现在的时间是 03:49:33.

本论坛带宽由迅通网络提供
SSL证书由TrustAsia提供

Copyright © 2000 - 2019 ClassiClub Forum All Rights Reserved.
粤ICP备09123456号