. : : ClassiClub ForuM : : .

会员中心 论坛帮助 日历事件 标记论坛已读
返回   精品技术论坛 » 技术论坛 » 『软件使用』

『软件使用』: 电脑软件推荐, 电脑软件使用, 经验分享



发表新主题 回复
 
主题工具
caidao
 
caidao 的头像
超级会员
 
资 料:
注册日期: Apr 2002
帖子: 1,131 声望值: 3
精华: 0
#16 旧 2018-03-09, 15:41:34 默认
caidao 当前离线  

引用:
作者: sharin 查看帖子
是的,100G的网卡和100G的IB/IP 交换机,我店里都有。
欢迎合作。
说错了。
目前数据库集群100多台56Gb rdma互联。比hp和emc的全闪存储性能高跟多。
回复时引用此帖
sharin
 
sharin 的头像
热心会员
 
资 料:
注册日期: Jun 2000
帖子: 14,563 声望值: 5
精华: 7,解答: 279
#17 旧 2018-03-09, 15:45:19 默认
sharin 当前离线  

引用:
作者: ASBai 查看帖子
俺不是一直在说 RoCE 么。。。即使2层的 RoCEv1 也可以跑在 MAN 上面的,3层的 v2 当然更没问题了(关键就是不清楚会不会有拥塞、流控等等的问题)。而且一个集群N多台机器就算都在一座 DC 里几十米半径也放不下啊,还是需要接入、汇聚、核心三层经典 “CE” 架构的。我主要关心的是这样的规模和架构下 Ro...
你说的是 ROCE,RDMA over Converged Ethernet?
IP协议 这玩意延迟大,没啥用。
高算一般都是直接跑IB。
我们一般把计算节点集中在一个以Infiniband交换机为中心的几个机柜集中的区域来部署,节点数量控制在几十个到144个。操作系统以Linux(Redhat,Centos)为主。


2018年目标:解答288
________________
回复时引用此帖
ASBai
 
ASBai 的头像
热心会员
 
资 料:
注册日期: May 2005
帖子: 4,353 声望值: 5
精华: 18,解答: 24
#18 旧 2018-03-09, 21:32:25 默认
ASBai 当前离线  

引用:
作者: sharin 查看帖子
你说的是 ROCE,RDMA over Converged Ethernet?
IP协议 这玩意延迟大,没啥用。
高算一般都是直接跑IB。
我们一般把计算节点集中在一个以Infiniband交换机为中心的几个机柜集中的区域来部署,节点数量控制在几十个到144个。操作系统以Linux(Redhat,Centos)为主。
对,我一直明确说的是 RoCE 呀

主要的互联网数据中心(IDC)里,现在和未来仍然还是以太架构为主吧。你说的高算、超算集群不是我关注的点。我关注的是 RoCE 这种可以无缝应用在当前 IDC 基础设施上的技术。

引用:
作者: caidao 查看帖子
说错了。
目前数据库集群100多台56Gb rdma互联。比hp和emc的全闪存储性能高跟多。
请教下你们用的是 ORACLE 自带的 IB 支持还是通过 librdp 之类 hook 技术将 tcp 直接映射到 IB 的?


baiy.cn
俺的原创免费作品站
回复时引用此帖
ASBai
 
ASBai 的头像
热心会员
 
资 料:
注册日期: May 2005
帖子: 4,353 声望值: 5
精华: 18,解答: 24
#19 旧 2018-03-11, 23:32:44 默认
ASBai 当前离线  

一个 Nutanix 的朋友今天刚发给我的。感觉真实环境大规模部署还是 RoCE 普及度更高,毕竟现代 IDC 基础设施基本都是以太网。

另外,再澄清一下:并不是提到 RoCE 就一定是所谓 “基于 IP 协议”, RoCEv1 是纯 2 层的;RoCEv2 才是 IP 层的
上传的图像
文件类型: jpg 20180311.jpg (135.7 KB, 151 次查看)
回复时引用此帖
caidao
 
caidao 的头像
超级会员
 
资 料:
注册日期: Apr 2002
帖子: 1,131 声望值: 3
精华: 0
#20 旧 2018-03-12, 09:01:58 默认
caidao 当前离线  

引用:
作者: ASBai 查看帖子
对,我一直明确说的是 RoCE 呀 主要的互联网数据中心(IDC)里,现在和未来仍然还是以太架构为主吧。你说的高算、超算集群不是我关注的点。我关注的是 RoCE 这种可以无缝应用在当前 IDC 基础设施上的技术。请教下你们用的是 ORACLE 自带的 IB 支持还是通过 librdp 之类 hook......


oracle rac使用的是类似于tgt的开源软件。存储节点和计算节点互联走rdma协议。

IBM的gpfs 支持rdma协议。
开源的glusterfs也支持rdma协议。
回复时引用此帖
sharin
 
sharin 的头像
热心会员
 
资 料:
注册日期: Jun 2000
帖子: 14,563 声望值: 5
精华: 7,解答: 279
#21 旧 2018-03-12, 16:43:14 默认
sharin 当前离线  

引用:
作者: ASBai 查看帖子
对,我一直明确说的是 RoCE 呀 主要的互联网数据中心(IDC)里,现在和未来仍然还是以太架构为主吧。你说的高算、超算集群不是我关注的点。我关注的是 RoCE 这种可以无缝应用在当前 IDC 基础设施上的技术。请教下你们用的是 ORACLE 自带的 IB 支持还是通过 librdp 之类 hook...
你说的是冷门用法。

高算、超算集群和楼上提到的存储类应用目前是正统的、有大规模部署的Infiniband应用。
回复时引用此帖
ASBai
 
ASBai 的头像
热心会员
 
资 料:
注册日期: May 2005
帖子: 4,353 声望值: 5
精华: 18,解答: 24
#22 旧 2018-03-12, 18:31:41 默认
ASBai 当前离线  

引用:
作者: caidao 查看帖子
oracle rac使用的是类似于tgt的开源软件。存储节点和计算节点互联走rdma协议。

IBM的gpfs 支持rdma协议。
开源的glusterfs也支持rdma协议。
理解了,多谢

引用:
作者: sharin 查看帖子
你说的是冷门用法。

高算、超算集群和楼上提到的存储类应用目前是正统的、有大规模部署的Infiniband应用。
我可以这么理解吧:你说的“主流”主要是受限于科教行业和企业应用范围内?

在互联网行业的 IDC 这块可不是这样呀,比如 BAT、Microsoft、Google、Facebook 等等。包括你自己一楼引用的新闻里,他们都是再用 RoCE。而现在的主流恰恰是互联网行业才对吧

最近考虑上一个跨 IDC 的 RoCE 集群,正在调研中。。。在 IDC 里上 IB,相当于把现有基础架构完全推倒重建啦,基本不太可行吧?
回复时引用此帖
sharin
 
sharin 的头像
热心会员
 
资 料:
注册日期: Jun 2000
帖子: 14,563 声望值: 5
精华: 7,解答: 279
#23 旧 2018-03-13, 15:46:53 默认
sharin 当前离线  

引用:
作者: ASBai 查看帖子
理解了,多谢 我可以这么理解吧:你说的“主流”主要是受限于科教行业和企业应用范围内?在互联网行业的 IDC 这块可不是这样呀,比如 BAT、Microsoft、Google、Facebook 等等。包括你自己一楼引用的新闻里,他们都是再用 RoCE。而现在的主流恰恰是互联网行业才对吧 最近考虑上一个跨 IDC...
"存储类应用" 应该包含上述所有大型企事业中的主流Infiniband 架构了。

Infiniband 设计之初目的就是为了"极低延时" 这一条,至于把Infiniband 用于以太网络,就失去了这项低延时的特性,变得与普通万兆网络没啥区别了。
当然从成本角度来说,40G以上的Infiniband 网卡、交换机、模块全套配下来,还是要比同等速率的以太网供应商解决方案低得多。
也许人家用Infiniband 只考虑了这一条。
回复时引用此帖
ASBai
 
ASBai 的头像
热心会员
 
资 料:
注册日期: May 2005
帖子: 4,353 声望值: 5
精华: 18,解答: 24
#24 旧 2018-03-13, 23:13:29 默认
ASBai 当前离线  

引用:
作者: sharin 查看帖子
"存储类应用" 应该包含上述所有大型企事业中的主流Infiniband 架构了。Infiniband 设计之初目的就是为了"极低延时" 这一条,至于把Infiniband 用于以太网络,就失去了这项低延时的特性,变得与普通万兆网络没啥区别了。当然从成本角度来说,40G以上的Inf......
区别还是很明显的,之前也都提到过了,比如 Kernel bypassZero memory copy 等等。这对集群整体性能都是有巨大提升的。

同时保持了现有的以太网基础架构以及现有软件栈的 TCP 兼容性。否则:
1. 要新增网络基础设备,而且还不能跨 IDC 多活。
2. 相关应用程序要修改。

这要是真没用那些互联网巨头也不会上着杆子大规模部署啦

所以我们要上跨 IDC(可能可以做到大2层互联)的 RoCE 集群找你不行对吧?

引用:
作者: sharin 查看帖子
当然从成本角度来说,40G以上的Infiniband 网卡、交换机、模块全套配下来,还是要比同等速率的以太网供应商解决方案低得多。
PS: “IB 成本更低” 怎么理解?Mellanox 家的设备不都是以太、IB 双标准兼容的么?价格有什么不一样?比如同样的 Mellanox 100G 的卡和交换机,同样的设备我买回来组以太网和组 IB 有什么成本上的区别?多谢

此帖于 2018-03-13 23:19:30 被 ASBai 编辑. .
回复时引用此帖
caidao
 
caidao 的头像
超级会员
 
资 料:
注册日期: Apr 2002
帖子: 1,131 声望值: 3
精华: 0
#25 旧 2018-03-14, 11:30:00 默认
caidao 当前离线  

Mellanox 100g的ip和ib的硬件设备好像已经不通用了,分开了。
回复时引用此帖
sharin
 
sharin 的头像
热心会员
 
资 料:
注册日期: Jun 2000
帖子: 14,563 声望值: 5
精华: 7,解答: 279
#26 旧 2018-03-14, 15:08:40 默认
sharin 当前离线  

引用:
作者: ASBai 查看帖子
区别还是很明显的,之前也都提到过了,比如 Kernel bypassZero memory copy 等等。这对集群整体性能都是有巨大提升的。同时保持了现有的以太网基础架构以及现有软件栈的 TCP 兼容性。否则:1. 要新增网络基础设备,而且还不能跨 IDC 多活。2. 相关应用程序要修改...
买Infiniband 交换机,IB是基础Lisense ,每台都有。
IP需要额外Lisense 授权,L2/L3 route 也有Lisense 区分。总之复杂,意味着同样的交换机跑ip需要额外的投入。
跑IP的40G网卡也不一样的,硬件外观一样,固件、FRU不同

另外,mellanox 的40G Infiniband 交换机比思科之类的同等速率、同等端口数量下价格便宜得多。同样的40GB线缆、模块都要便宜很多。

此帖于 2018-03-14 15:13:01 被 sharin 编辑. .
回复时引用此帖
ASBai
 
ASBai 的头像
热心会员
 
资 料:
注册日期: May 2005
帖子: 4,353 声望值: 5
精华: 18,解答: 24
#27 旧 2018-03-14, 20:04:49 默认
ASBai 当前离线  

引用:
作者: sharin 查看帖子
买Infiniband 交换机,IB是基础Lisense ,每台都有。IP需要额外Lisense 授权,L2/L3 route 也有Lisense 区分。总之复杂,意味着同样的交换机跑ip需要额外的投入。跑IP的40G网卡也不一样的,硬件外观一样,固件、FRU不同另外,mellanox 的40G Infiniband ......
理解了,但是 IDC 本身是面向互联网(TCP/IP)业务的,所以部署以太基础架构是必须的,而且还要同时部署两套(避免单点问题),如果不能复用已有设施,再同时部署两套 IB,那成本怎么看都是更高才对吧?

另外,以你家的双口 100GbE 卡为例:https://item.taobao.com/item.htm?spm...d=549408088793
你的意思是对应的 100G IB 卡比这块更便宜对么?具体便宜多少呢?

交换机的话,你家这个:https://item.taobao.com/item.htm?spm...d=549084406309
是以太网交换机吧?对应的 IB 交换机价格能便宜多少?
回复时引用此帖
sharin
 
sharin 的头像
热心会员
 
资 料:
注册日期: Jun 2000
帖子: 14,563 声望值: 5
精华: 7,解答: 279
#28 旧 2018-03-16, 09:10:01 默认
sharin 当前离线  

引用:
作者: ASBai 查看帖子
理解了,但是 IDC 本身是面向互联网(TCP/IP)业务的,所以部署以太基础架构是必须的,而且还要同时部署两套(避免单点问题),如果不能复用已有设施,再同时部署两套 IB,那成本怎么看都是更高才对吧?另外,以你家的双口 100GbE 卡为例:[url]https://item.taobao.com/item.htm?...
这个网卡是双栈的,同时支持IB/IP。

只支持IB的100G交换机:

http://www.mellanox.com/page/products_dyn?product_family=192&mtag=sb7700_sb7790
http://www.mellanox.com/page/products_dyn?product_family=225&mtag=sb7800


另外,网卡、交换机的价值,你要按每个端口数做一下除法。
回复时引用此帖
ASBai
 
ASBai 的头像
热心会员
 
资 料:
注册日期: May 2005
帖子: 4,353 声望值: 5
精华: 18,解答: 24
#29 旧 2018-03-16, 19:27:25 默认
ASBai 当前离线  

引用:
作者: sharin 查看帖子
这个网卡是双栈的,同时支持IB/IP。只支持IB的100G交换机:http://www.mellanox.com/page/product...roducts_dyn?pr......
所以就网卡来说,IB 和以太成本是一样的对吧。交换机呢?我上面引用的你家那台是以太的吧?对应相同配置的 IB 交换机价格多少?
回复时引用此帖
sharin
 
sharin 的头像
热心会员
 
资 料:
注册日期: Jun 2000
帖子: 14,563 声望值: 5
精华: 7,解答: 279
#30 旧 2018-03-18, 01:48:20 默认
sharin 当前离线  

引用:
作者: ASBai 查看帖子
所以就网卡来说,IB 和以太成本是一样的对吧。交换机呢?我上面引用的你家那台是以太的吧?对应相同配置的 IB 交换机价格多少?
NO, 你选的这个网卡双栈的,特殊。
比如早几年主流的40G,56G 速度的,有些型号有非常便宜的IB卡。

IB卡和IP卡是不同的,IP卡在通电后,操作系统接管前,就可以点亮、加载协议通讯,可以配置远程启动协议等,跟常见的千兆、万兆网卡一样。
IB卡都是在操作系统中驱动后才能点亮的。
IP、IB交换机跑的协议也不同。

当然也许对厂家来说硬件成本是一样的,但是固件有别、软件研发成本不同。所以还是不一样的。
回复时引用此帖
发表新主题 回复

主题工具

论坛规则  发帖规则
不可以发表主题
不可以回复帖子
不可以上传附件
不可以编辑自己的帖子
论坛启用 vB 代码
版面启用 表情符号
版面启用 [IMG] 代码
版面禁用 HTML 代码


所有时间均为北京时间, 现在的时间是 22:31:07.

本论坛带宽由迅通网络提供
SSL证书由TrustAsia提供

Copyright © 2000 - 2018 ClassiClub Forum All Rights Reserved.
粤ICP备09123456号