. : : ClassiClub ForuM : : .

会员中心 论坛帮助 日历事件 标记论坛已读
返回   精品技术论坛 » 技术论坛 » 『软件使用』

『软件使用』: 电脑软件推荐, 电脑软件使用, 经验分享



发表新主题 关闭主题
 
主题工具
MacOS
 
MacOS 的头像
热心会员
 
资 料:
注册日期: Aug 2002
帖子: 13,396 声望值: 5
精华: 0,解答: 129
#31 旧 2005-05-18, 10:40:33 默认
MacOS 当前离线  

引用:
作者: hitme
再说两句
3,万事有因必有果,mm写真少看看,迷眼睛了,找不着现实mm做伴,哭死你
……
  


HIDDEN MESSAGE LEVEL 3
14863 159357 789 159357 3245687 3684
磁盘阵列
 
磁盘阵列 的头像
超级会员
 
资 料:
注册日期: Feb 2002
帖子: 1,584 声望值: 3
精华: 0,解答: 1
#32 旧 2005-05-18, 10:45:08 默认
磁盘阵列 当前离线  

这个对服务器压力应该不算大,只是一般下载.


看鸟之间友谊的真假,是在虫子出现的时候。看鱼之间友谊的真假,是在鱼钩出现的时候。看人之间友谊的真假,是在利益出现的时候。依法应对突发事件,积极构建和谐社会。
散装茅台
 
散装茅台 的头像
超级会员
 
资 料:
注册日期: Dec 2001
帖子: 1,819 声望值: 2
精华: 0
#33 旧 2005-05-18, 11:01:15 默认
散装茅台 当前离线  

等着大包包...
hitme
 
hitme 的头像
支柱会员
 
资 料:
注册日期: Oct 2001
帖子: 6,489 声望值: 2
精华: 38,解答: 6
#34 旧 2005-05-18, 11:02:21 默认
hitme 当前离线  

引用:
作者: MacOS
CURL应该还是单线工作的,只是强度持续,人数不算太离谱也不会太大负荷
引用:
作者: 磁盘阵列
这个对服务器压力应该不算大,只是一般下载.

快不行了吧
couldn't connect to host

couldn't connect to host

couldn't connect to host
....
shawn
 
shawn 的头像
超级会员
 
资 料:
注册日期: Apr 2000
帖子: 2,024 声望值: 1
精华: 1,解答: 4
#35 旧 2005-05-18, 11:02:44 默认
shawn 当前离线  

curl,能不能指定COOKIES?

我要下载的网站需要登录...


临渊羡鱼,不如退而结网
hitme
 
hitme 的头像
支柱会员
 
资 料:
注册日期: Oct 2001
帖子: 6,489 声望值: 2
精华: 38,解答: 6
#36 旧 2005-05-18, 11:06:18 默认
hitme 当前离线  

引用:
作者: shawn
curl,能不能指定COOKIES?

我要下载的网站需要登录...
可以
http://bbs.et8.net/bbs/showthread.php?t=568472
MacOS
 
MacOS 的头像
热心会员
 
资 料:
注册日期: Aug 2002
帖子: 13,396 声望值: 5
精华: 0,解答: 129
#37 旧 2005-05-18, 11:09:53 默认
MacOS 当前离线  

引用:
作者: hitme
快不行了吧
couldn't connect to host

couldn't connect to host

couldn't connect to host
....
说明这一时刻之前提到的前提不再有效了
marking
 
marking 的头像
支柱会员
 
资 料:
注册日期: Aug 2001
帖子: 7,779 声望值: 4
精华: 2,解答: 5
#38 旧 2005-05-18, 11:18:40 默认
marking 当前离线  

我原来用老的脚本拉了4万多个图,结果有3万多是垃圾图片,没办法只好又换新脚本来,原来拉下来的也不知道怎么办,嘿嘿,暂时先留着。


SarsMark@hotmail.com
hitme
 
hitme 的头像
支柱会员
 
资 料:
注册日期: Oct 2001
帖子: 6,489 声望值: 2
精华: 38,解答: 6
#39 旧 2005-05-18, 11:23:13 默认
hitme 当前离线  

引用:
作者: marking
我原来用老的脚本拉了4万多个图,结果有3万多是垃圾图片,没办法只好又换新脚本来,原来拉下来的也不知道怎么办,嘿嘿,暂时先留着。
搜索全部,大小排序,删除之
运行中断了吧?源设定脚本结束时统一清理,现改为及时判断并打扫
老的脚本太臭了。。穿新衣服,泡新mm,呵呵

此帖于 2005-05-18 11:42:51 被 hitme 编辑. .
下院幽灵
 
下院幽灵 的头像
中级会员
 
资 料:
注册日期: Sep 2002
帖子: 279 声望值: 3
精华: 0
#40 旧 2005-05-18, 12:07:18 默认
下院幽灵 当前离线  

非常好用,有的需要改一下cataid,其他一切正常
恍若如梦
 
恍若如梦 的头像
游客
 
资 料:
注册日期: Mar 2002
帖子: 7 声望值: 0
精华: 0
#41 旧 2005-05-18, 12:09:55 默认
恍若如梦 当前离线  

多谢楼主!!
marking
 
marking 的头像
支柱会员
 
资 料:
注册日期: Aug 2001
帖子: 7,779 声望值: 4
精华: 2,解答: 5
#42 旧 2005-05-18, 15:18:03 默认
marking 当前离线  

引用:
作者: hitme
搜索全部,大小排序,删除之
运行中断了吧?源设定脚本结束时统一清理,现改为及时判断并打扫
老的脚本太臭了。。穿新衣服,泡新mm,呵呵
我就是这样做的,剩下了4千多,不知道该如何处理,嘿嘿。
hitme
 
hitme 的头像
支柱会员
 
资 料:
注册日期: Oct 2001
帖子: 6,489 声望值: 2
精华: 38,解答: 6
#43 旧 2005-05-18, 16:08:01 默认
hitme 当前离线  

引用:
作者: marking
我就是这样做的,剩下了4千多,不知道该如何处理,嘿嘿。
删,呵呵..
su99
 
su99 的头像
支柱会员
 
资 料:
注册日期: Mar 2000
帖子: 4,702 声望值: 2
精华: 14,解答: 7
#44 旧 2005-05-18, 16:50:40 默认
su99 当前离线  

呵呵,穷举id……够狠的。

我一般在这种情况下会抛弃命令行,转用perl以及lwp:useragent库,可以在perl语言中发出get/post请求,取得html页面代码后用正则表达式分析出有效连接,再创建线程下载。现在就是用这个方法每周从boxup自动下载mp3流行歌曲排行榜(因为排行榜中歌曲id没什么规律,不适合穷举)。好处是不会用一些无效的穷举增加服务器负担。

命令行用到hitme这样还是很强的
hitme
 
hitme 的头像
支柱会员
 
资 料:
注册日期: Oct 2001
帖子: 6,489 声望值: 2
精华: 38,解答: 6
#45 旧 2005-05-18, 17:01:13 默认
hitme 当前离线  

引用:
作者: su99
呵呵,穷举id……够狠的。

我一般在这种情况下会抛弃命令行,转用perl以及lwp:useragent库,可以在perl语言中发出get/post请求,取得html页面代码后用正则表达式分析出有效连接,再创建线程下载。现在就是用这个方法每周从boxup自动下载mp3流行歌曲排行榜(因为排行榜中歌曲id没什么规律,不适合穷举)。好处是不会用一些无效的穷举增加服务器负担。

命令行用到hitme这样还是很强的

27楼改进过了,分析了是否无效文件,跳转,穷举的太过火,感觉bt了点
师傅夸奖我了..hoho :blush; 名师出高徒哇,哈哈
5000贴纪念
发表新主题 关闭主题

主题工具

论坛规则  发帖规则
不可以发表主题
不可以回复帖子
不可以上传附件
不可以编辑自己的帖子
论坛启用 vB 代码
版面启用 表情符号
版面启用 [IMG] 代码
版面禁用 HTML 代码


所有时间均为北京时间, 现在的时间是 12:23:47.

本论坛带宽由迅通网络提供
SSL证书由TrustAsia提供

Copyright © 2000 - 2019 ClassiClub Forum All Rights Reserved.
粤ICP备09123456号