. : : ClassiClub ForuM : : .

会员中心 论坛帮助 日历事件 标记论坛已读
返回   精品技术论坛 » 技术论坛 » 『软件使用』

『软件使用』: 电脑软件推荐, 电脑软件使用, 经验分享



发表新主题 关闭主题
 
主题工具
fqjp
 
fqjp 的头像
热心会员
 
资 料:
注册日期: Sep 2002
帖子: 10,603 声望值: 6
精华: 4,解答: 22
#16 旧 2005-05-18, 00:13:40 默认
fqjp 当前离线  

引用:
作者: nvjack
汗~_~怎么回事。
估计是被偶们拖得 :blush;
ldljghb
 
ldljghb 的头像
热心会员
 
资 料:
注册日期: May 2002
帖子: 2,283 声望值: 7
精华: 0,解答: 1
#17 旧 2005-05-18, 02:28:50 默认
ldljghb 当前离线  

好像我还没学会是不是太笨了,
wangchp
 
wangchp 的头像
初级会员
 
资 料:
注册日期: Apr 2002
帖子: 241 声望值: 2
精华: 0
#18 旧 2005-05-18, 07:45:39 默认
wangchp 当前离线  

引用:
作者: Windys
抓的最全的兄弟,打了个大包,共享一下吧
这个主意好,强烈支持
mjd2003
 
mjd2003 的头像
中级会员
 
资 料:
注册日期: Jan 2002
帖子: 443 声望值: 2
精华: 0
#19 旧 2005-05-18, 07:50:29 默认
mjd2003 当前离线  

是个好主意,省得谁都下,结果谁也下不了
marking
 
marking 的头像
支柱会员
 
资 料:
注册日期: Aug 2001
帖子: 7,777 声望值: 4
精华: 2,解答: 5
#20 旧 2005-05-18, 08:24:13 默认
marking 当前离线  

引用:
作者: hitme
测试接近bt。。发现:albumid编号不连续。。晕
垃圾占了大部分,下载到什么时候去,明天用100m光纤跑了


脚本升级下,imagesession用cmd抓
imagesession变动间隔太短,都靠鼠标点点,眼睛和手吃不消

其他就是傻循环了,保存为.cmd运行,albumid从1000抓到2200,请自行定义

代码:
@echo off
set /a x=100

:loop
curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -o tmp.txt http://www.imagegarden.net/viewimage.php?s=^&cataid=4^&albumid=2202^&imageid=8^&type=jpeg

for /f "tokens=4 delims==&" %%i in ('findstr "cataid=4&albumid=2202&imageid=8&type=jpeg" tmp.txt') do (
		curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -o %x%#1_#2.jpg http://www.imagegarden.net/image_a.php?imagesession=%%i^&cataid=4^&albumid=%x%[0-9]^&imageid=[1-99]^&type=jpeg
)

:goto
set /a x=%x%+1
if %x%==221 goto :clean
goto :loop


:clean
for %%i in (*.jpg) do (
		if %%~zi==11527 del %%i
)


还是有重复的,嘿嘿。


SarsMark@hotmail.com
aukw
 
aukw 的头像
超级会员
 
资 料:
注册日期: Sep 2002
帖子: 1,713 声望值: 3
精华: 0,解答: 2
#21 旧 2005-05-18, 08:43:01 默认
aukw 当前离线  

我原先调用sleipnir+powerband API,写了个脚本,自动生成一个小图片索引的html的+原始html的网页+大图片,不过后来机器重装了,脚本就没有了。。
highlandz
 
highlandz 的头像
核心会员
 
资 料:
注册日期: Aug 2000
帖子: 3,578 声望值: 3
精华: 2,解答: 4
#22 旧 2005-05-18, 08:43:40 默认
highlandz 当前离线  

再次强烈呼吁哪位网速好的朋友自告奋勇抓图后打包上传,不要大家一起下。毕竟imagegarden上的图有数万张,容量应该超过10G,大家一起来估计谁都抓不全。


>>>>---------=> Highlandz
marking
 
marking 的头像
支柱会员
 
资 料:
注册日期: Aug 2001
帖子: 7,777 声望值: 4
精华: 2,解答: 5
#23 旧 2005-05-18, 08:51:09 默认
marking 当前离线  

我正在下,等我下完我来!嘿嘿
highlandz
 
highlandz 的头像
核心会员
 
资 料:
注册日期: Aug 2000
帖子: 3,578 声望值: 3
精华: 2,解答: 4
#24 旧 2005-05-18, 09:10:24 默认
highlandz 当前离线  

引用:
作者: marking
我正在下,等我下完我来!嘿嘿
多谢marking兄,其他人可以停了。
ctxyjx
 
ctxyjx 的头像
热心会员
 
资 料:
注册日期: Jun 2001
帖子: 3,522 声望值: 8
精华: 0,解答: 9
#25 旧 2005-05-18, 09:33:43 默认
ctxyjx 当前离线  

这些图偶喜欢。等marking兄弟分享。
garconcn
 
garconcn 的头像
支柱会员
 
资 料:
注册日期: Sep 2002
帖子: 6,514 声望值: 6
精华: 0,解答: 1
#26 旧 2005-05-18, 09:49:34 默认
garconcn 当前离线  

引用:
作者: highlandz
再次强烈呼吁哪位网速好的朋友自告奋勇抓图后打包上传,不要大家一起下。毕竟imagegarden上的图有数万张,容量应该超过10G,大家一起来估计谁都抓不全。
好建议,我们等marking的。
hitme
 
hitme 的头像
支柱会员
 
资 料:
注册日期: Oct 2001
帖子: 6,489 声望值: 2
精华: 38,解答: 6
#27 旧 2005-05-18, 10:33:49 默认
hitme 当前离线  

昨天拖mm写真心切,冲动过了头,出了个烂脚本,浪费了不少cpu时间和网络带宽。向和我一样冲动的ccfer致歉哈 :blush;
本想偷偷摸摸改了,不幸被引用了。。。哎
修正。。今天清醒多了,减少了垃圾图片的生成,提高了效率,顺手还加了目录分类,排了文件名顺序,脚本清爽多了
保存为.cmd运行,albumid从595到2210
代码:
@echo off
set /a _n_=595

:loop
curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -o tmp.txt http://www.imagegarden.net/viewimage.php?s=^&cataid=4^&albumid=2202^&imageid=8^&type=jpeg
for /f "tokens=4 delims==&" %%i in ('findstr "cataid=4&albumid=2202&imageid=8&type=jpeg" tmp.txt') do (
			set _session_=%%i
)
set /a _n_=%_n_%+1
if %_n_%==2210 goto :clean
md %_n_%
del /q *.jpg 2>nul

:dl
for /l %%a in (1,1,9) do (
	curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -o %_n_%_00%%a.jpg http://www.imagegarden.net/image_a.php?imagesession=%_session_%^&cataid=4^&albumid=%_n_%^&imageid=%%a^&type=jpeg
	for %%i in (%_n_%_*.jpg) do (
		if %%~zi==11527 (goto :loop) else move *.jpg %_n_%
				)
)

for /l %%a in (10,1,99) do (
	curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -o %_n_%_0%%a.jpg http://www.imagegarden.net/image_a.php?imagesession=%_session_%^&cataid=4^&albumid=%_n_%^&imageid=%%a^&type=jpeg
	for %%i in (%_n_%_*.jpg) do (
		if %%~zi==11527 (goto :loop) else move *.jpg %_n_%
				)
)
for /l %%a in (100,1,999) do (
	curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -o %_n_%_%%a.jpg http://www.imagegarden.net/image_a.php?imagesession=%_session_%^&cataid=4^&albumid=%_n_%^&imageid=%%a^&type=jpeg
	for %%i in (%_n_%_*.jpg) do (
		if %%~zi==11527 (goto :loop) else move *.jpg %_n_%
				)
)

:clean
for /r %%i in (.) do rd /q "%%i"
del /q *.jpg 
del /q tmp.txt
大家伙等marking啊,这里就讨论个思路,都开动起来,难保谁也下不成
不过话说回来伊美姬的负载能力蛮强的
上传的附件
文件类型: rar dl.rar (532 字节, 197 次查看)
磁盘阵列
 
磁盘阵列 的头像
超级会员
 
资 料:
注册日期: Feb 2002
帖子: 1,584 声望值: 3
精华: 0,解答: 1
#28 旧 2005-05-18, 10:34:13 默认
磁盘阵列 当前离线  

marking 如果不够用的话,可以再找几个自愿者,分工抓一下,这样速度也能有所提高.


看鸟之间友谊的真假,是在虫子出现的时候。看鱼之间友谊的真假,是在鱼钩出现的时候。看人之间友谊的真假,是在利益出现的时候。依法应对突发事件,积极构建和谐社会。
hitme
 
hitme 的头像
支柱会员
 
资 料:
注册日期: Oct 2001
帖子: 6,489 声望值: 2
精华: 38,解答: 6
#29 旧 2005-05-18, 10:37:48 默认
hitme 当前离线  

再说两句
1,curl是魔鬼,有它帮忙,干坏事很容易得手
2,掏空别人家的网站是不道德的,各位手下留情。有人付我劳务费不?刻盘送我总要吧?
3,万事有因必有果,mm写真少看看,迷眼睛了,找不着现实mm做伴,哭死你

此帖于 2005-05-18 11:19:52 被 hitme 编辑. .
MacOS
 
MacOS 的头像
热心会员
 
资 料:
注册日期: Aug 2002
帖子: 13,395 声望值: 5
精华: 0,解答: 129
#30 旧 2005-05-18, 10:39:07 默认
MacOS 当前离线  

引用:
作者: hitme
昨天拖mm写真心切,冲动过了头,出了个烂脚本,浪费了不少cpu时间和网络带宽。向和我一样冲动的ccfer致歉哈 :blush;
本想偷偷摸摸改了,不幸被引用了。。。哎
修正。。今天清醒多了,减少了垃圾图片的生成,提高了效率,顺手还加了目录分类,排了文件名顺序,脚本清爽多了
保存为.cmd运行,albumid从595到2210

大家伙等marking啊,这里就讨论个思路,都开动起来,难保谁也下不成
不过话说回来伊美姬的负载能力蛮强的
CURL应该还是单线工作的,只是强度持续,人数不算太离谱也不会太大负荷


HIDDEN MESSAGE LEVEL 3
14863 159357 789 159357 3245687 3684
发表新主题 关闭主题

主题工具

论坛规则  发帖规则
不可以发表主题
不可以回复帖子
不可以上传附件
不可以编辑自己的帖子
论坛启用 vB 代码
版面启用 表情符号
版面启用 [IMG] 代码
版面禁用 HTML 代码


所有时间均为北京时间, 现在的时间是 03:15:36.

本论坛带宽由迅通网络提供
SSL证书由TrustAsia提供

Copyright © 2000 - 2019 ClassiClub Forum All Rights Reserved.
粤ICP备09123456号