查看单个帖子
namejm
 
namejm 的头像
超级会员
 
资 料:
注册日期: Apr 2009
帖子: 1,370 声望值: 3
精华: 21,解答: 83
#17 旧 2011-08-29, 14:49:56 默认
namejm 当前离线  

顺手做了一个统计
截至目前为止
帖子列表网页数为753页,大小在65~83K之间,目测平均值为75K左右,总下载量56.2M,耗时2小时45分钟;
带附件的主题帖共14,476个,而每个帖子可能有多个分页,若有多个分页的话,分页的大小在40~170K之间,目前正在下载主题帖页面,主题帖各分页的总量没法统计,其平均值无法统计,2个小时又10分钟过去了,第1个页面列表中带附件的主题帖网页文件还没下载完毕。753*3=2259小时,我开始冒汗。
附件总计998,956个,推测全是jpg图片,但是也不排除有其他格式的可能,根据前期的测试结果,每个jpg小的20多K,大的200来K,200K左右的应当是主流,我这里wget下载的速度稳定在20K/s左右,998956*200/20/(60*60)≈2275小时
2259+2275=4534小时,合计189个日日夜夜,我的天呐,刹那间,我内牛满面。
看来不能仅仅指望wget这个小水管了
还是得出动专业的下载软件才能尽快搞定
思路转换ing
但是只能把下载图片这部分任务交给迅雷之类的软件
前期用批处理下载主题帖的那2000多个小时是无法避免的
只能指望wget能达到1M/s的速度了

此帖于 2011-08-29 18:23:56 被 namejm 编辑. .


TotalCommder、EveryThing、batch、AutoHotKey、EverEdit
精通Word、Excel、PPT的安装与卸载
熟练掌握VB、C++、SQL的拼读与缩写