. : : ClassiClub ForuM : : .

会员中心 论坛帮助 日历事件 标记论坛已读
返回   精品技术论坛 » 技术论坛 » 『软件使用』

『软件使用』: 电脑软件推荐, 电脑软件使用, 经验分享



发表新主题 关闭主题
 
主题工具
JustZiya
 
JustZiya 的头像
中级会员
 
资 料:
注册日期: Nov 2009
帖子: 279 声望值: 3
精华: 1,解答: 9
#31 旧 2011-08-30, 19:23:36 默认
JustZiya 当前离线  

引用:
作者: namejm 查看帖子
貌似wget也有多线程
正在参悟手册ing
——不懂鸟语的人在网上真不好混啊
可能说的不太一样
比如一页是24个帖子
python之类的语言可以调用24个线程一起去分析,抓取,每个线程对应一个帖子
批处理就只能一个帖子一个帖子挨着去做
所以效率差距很大
对于这种大量采集的工作,多线能够节省很多时间.....


给岁月以文明,给时光以生命
namejm
 
namejm 的头像
超级会员
 
资 料:
注册日期: Apr 2009
帖子: 1,363 声望值: 3
精华: 21,解答: 83
#32 旧 2011-08-30, 19:46:58 默认
namejm 当前离线  

果然没有多线程
cmd.exe天注定
凌晨赶上篱笆网关闭论坛两小时
说是备份数据云云
莫非和本人抓取数据太过频繁有点关系?
YY一下
悲催的是
测试过程中新装的系统出了点问题
在运行其他程序的时候毫无征兆地系统就失去了响应
长按power键强行关机4次
估计和上次的那个破事有关
BreezeSysDownloaderPro 2.2.8 不能在Win7下读取文件了吗(http://bbs.et8.net/bbs/showthread.php?t=1020611)


TotalCommder、EveryThing、batch、AutoHotKey、EverEdit
精通Word、Excel、PPT的安装与卸载
熟练掌握VB、C++、SQL的拼读与缩写
namejm
 
namejm 的头像
超级会员
 
资 料:
注册日期: Apr 2009
帖子: 1,363 声望值: 3
精华: 21,解答: 83
#33 旧 2011-08-31, 00:13:45 默认
namejm 当前离线  

这两天调整了一下思路
可以提供如下4种下载模式
预计明后两天就可以出炉
引用:
1. 全新下载(下载所有jpg图片,非常耗时,首次下载时必选)
2. 断点续传(继续上一次的下载进度)
3. 增量下载(下载原帖中新增的图片及新增主题帖中的图片)
4. 对所有图片制作供迅雷调用的下载任务列表并生成图片整理脚本
ping
 
ping 的头像
热心会员
 
资 料:
注册日期: Feb 2002
帖子: 1,945 声望值: 6
精华: 0,解答: 2
#34 旧 2011-08-31, 00:17:11 Icon14
ping 当前离线  

引用:
作者: namejm 查看帖子
这两天调整了一下思路
可以提供如下4种下载模式
预计明后两天就可以出炉
brilliant!师母已呆啊。


有多少能力 就办多少事!
namejm
 
namejm 的头像
超级会员
 
资 料:
注册日期: Apr 2009
帖子: 1,363 声望值: 3
精华: 21,解答: 83
#35 旧 2011-09-02, 22:45:30 默认
namejm 当前离线  

经过几轮测试
才发现这个论坛陷阱丛生
坑爹的设置不少
目前还难以把所有的图片提取齐全
急需知道这个论坛程序的来历
想看一看官方原版是怎么设置的
哪位能告诉一下?
JustZiya
 
JustZiya 的头像
中级会员
 
资 料:
注册日期: Nov 2009
帖子: 279 声望值: 3
精华: 1,解答: 9
#36 旧 2011-09-04, 21:49:36 默认
JustZiya 当前离线  

namejm又发现什么问题了?
flaven
 
flaven 的头像
热心会员
 
资 料:
注册日期: Jan 2001
帖子: 2,835 声望值: 4
精华: 2,解答: 2
#37 旧 2011-10-05, 13:57:55 默认
flaven 当前离线  

从头看到尾,真是学习了不少东西啊


成功来自于细节 的积累
发表新主题 关闭主题

主题工具

论坛规则  发帖规则
不可以发表主题
不可以回复帖子
不可以上传附件
不可以编辑自己的帖子
论坛启用 vB 代码
版面启用 表情符号
版面启用 [IMG] 代码
版面禁用 HTML 代码


所有时间均为北京时间, 现在的时间是 02:40:23.

本论坛带宽由迅通网络提供
SSL证书由TrustAsia提供

Copyright © 2000 - 2019 ClassiClub Forum All Rights Reserved.
粤ICP备09123456号