iSCSI Extensions for RDMA/iSER(T420-CR iWARP) Seq Q32T1 R: 1162MB/s Seq Q32T1 W: 1167MB/s 4KiB Q8T8 R: 185200 IOPS 4KiB Q8T8 W: 150877 IOPS 4KiB Q32T1 R: 129288 IOPS 4KiB Q32T1 W: 127270 IOPS 4KiB Q1T1 R: 16291 IOPS 4KiB Q1T1 W: 19054 IOPS…

Chelsio T420-CR 10GbE RDMA iWARPiw_cxgb4: Chelsio T4/T5 RDMA Driver - version 0.1hca_id: cxgb4_0 transport: iWARP (1) fw_ver: 1.22.8.0 — Taguma (@taguma2) May 12, 2019 Chelsio T420-CR 10GbE RDMA iWARP Data ex. method : rdma_cm bytes iterat…

Lenovo LENSE30512GMSP34MEAT3TA 512GB NVMeoF Infiniband QDR Seq Q32T1 R: 1843MB/s Seq Q32T1 W: 826MB/s 4KiB Q8T8 R: 10404 IOPS 4KiB Q8T8 W: 10100 IOPS 4KiB Q32T1 R: 80444 IOPS 4KiB Q32T1 W: 65882 IOPS 4KiB Q1T1 R: 3941 IOPS 4KiB Q1T1 W: 166…

SMB Direct Chelsio T420-CR 10GbE iWARP Windows Server 2016 pic.twitter.com/5wLymV25FJ — Taguma (@taguma2) March 16, 2019

iSCSI Extensions for RDMA/iSER(MCX456A 100GbE RoCE) Seq Q32T1 R: 4227MB/s Seq Q32T1 W: 3414MB/s 4KiB Q8T8 R: 17258 IOPS 4KiB Q8T8 W: 19107 IOPS 4KiB Q32T1 R: 144631 IOPS 4KiB Q32T1 W: 154521 IOPS 4KiB Q1T1 R: 41010 IOPS 4KiB Q1T1 W: 47311 …

nfs over RDMA Mellanox ConnectX-4 MCX456A 100GbE RoCE Seq Q32T1 R: 6488MB/s Seq Q32T1 W: 2668MB/s 4KiB Q8T8 R: 20197 IOPS 4KiB Q8T8 W: 12023 IOPS 4KiB Q32T1 R: 152097 IOPS 4KiB Q32T1 W: 116133 IOPS 4KiB Q1T1 R: 22632 IOPS 4KiB Q1T1 W: 2168…

Mellanox ConnectX-4 MCX456A 100GbE RDMArc_rdma_write_bw: bw = 6.45 GB/sec msg_rate = 98.4 K/sec send_cost = 1.08 ms/GB recv_cost = 620 us/GB send_cpus_used = 0.7 % cpus recv_cpus_used = 0.4 % cpus — Taguma (@taguma2) February 22, 2019 Mell…

Mellanox ConnectX-4 MCX456A 50GbE RDMArc_rdma_write_bw: bw = 5.78 GB/sec msg_rate = 88.3 K/sec send_cost = 1.38 ms/GB recv_cost = 691 us/GB send_cpus_used = 0.8 % cpus recv_cpus_used = 0.4 % cpus — Taguma (@taguma2) February 22, 2019 Mella…

Mellanox ConnectX-4 MCX456A 25GbE RDMArc_rdma_write_bw: bw = 2.89 GB/sec msg_rate = 44.1 K/sec send_cost = 1.38 ms/GB recv_cost = 346 us/GB send_cpus_used = 0.4 % cpus recv_cpus_used = 0.1 % cpus — Taguma (@taguma2) February 21, 2019 Mella…

Mellanox ConnectX-3 VPI MCX354A 10GbE RDMA SRIOV Xenrc_rdma_write_bw: bw = 1.14 GB/sec msg_rate = 17.4 K/sec send_cost = 214 ms/GB recv_cost = 68.3 ms/GB send_cpus_used = 24.6 % cpus recv_cpus_used = 7.8 % cpus — Taguma (@taguma2) February…

Mellanox ConnectX-3 VPI MCX354A infiniband QDR RDMA SRIOV Xenrc_rdma_write_bw: bw = 3.57 GB/sec msg_rate = 54.4 K/sec send_cost = 133 ms/GB recv_cost = 92.2 ms/GB send_cpus_used = 47.7 % cpus recv_cpus_used = 32.9 % cpus — Taguma (@taguma2…

Mellanox ConnectX-4 MCX456A infiniband QDR RDMA SRIOV KVMrc_rdma_write_bw: bw = 3.57 GB/sec msg_rate = 54.4 K/sec send_cost = 42.5 ms/GB recv_cost = 92.5 ms/GB send_cpus_used = 15.2 % cpus recv_cpus_used = 33 % cpus — Taguma (@taguma2) Feb…

SMB Direct Mellanox ConnectX-4 MCX456A infiniband QDR SRIOV KVM Windows10 clinet+Windows Server 2016 pic.twitter.com/4wTYsBJ7vW — Taguma (@taguma2) February 13, 2019 SMB Direct Mellanox ConnectX-4 MCX456A infiniband QDR SRIOV KVM Windows10…

Mellanox ConnectX-3 VPI MCX354A Infiniband QDR RDMA Solaris 11.4rc_rdma_write_bw: bw = 3.56 GB/sec msg_rate = 54.3 K/sec send_cost = 293 ms/GB recv_cost = 44.1 ms/GB send_cpus_used = 104 % cpus recv_cpus_used = 15.7 % cpus — Taguma (@tagum…

サーバー1台+クライアント1〜3台を10G NICで接続して、同一セグメントで既存のLANに参加させる。 10GbE LANカード PCIEx8 接続 aucfan.com PCIEx4 接続 aucfan.com macOS対応10Gb LANカード (Chelsio) aucfan.com macOS対応10Gb LANカード (Solarflare) aucf…

RouterOSでLAG(bonding)をLACP(802.3ad)で構成する ブリッジからbondingを構成するinterfaceを外す。bondingをmode=802.3adで構成する。bondingインターフェースをブリッジに追加する。 # model = CRS305-1G-4S+ /interface bridge portadd bridge=bridge co…

iSCSI Extensions for RDMA/iSER(OCe14102 RoCE) Seq Q32T1 R: 1142MB/s Seq Q32T1 W: 1137MB/s 4KiB Q8T8 R: 14776 IOPS 4KiB Q8T8 W: 16960 IOPS 4KiB Q32T1 R: 120314 IOPS 4KiB Q32T1 W: 130995 IOPS 4KiB Q1T1 R: 15330 IOPS 4KiB Q1T1 W: 21463 IOPS —…

nfs over RDMA Emulex OCe14102 10GbE RoCE Seq Q32T1 R: 1141MB/s Seq Q32T1 W: 933MB/s 4KiB Q8T8 R: 10178 IOPS 4KiB Q8T8 W: 4550 IOPS 4KiB Q32T1 R: 110292 IOPS 4KiB Q32T1 W: 35515 IOPS 4KiB Q1T1 R: 13121 IOPS 4KiB Q1T1 W: 9790 IOPS — Taguma (…

Emulex OCe14102 10GbE RoCE RDMArc_rdma_write_bw: bw = 1.14 GB/sec msg_rate = 17.3 K/sec send_cost = 16.7 ms/GB recv_cost = 140 ms/GB send_cpus_used = 1.9 % cpus recv_cpus_used = 15.9 % cpus — Taguma (@taguma2) January 24, 2019 Emulex OCe14…

opensmのmlx5仮想化対応を有効にする opensm.confにvirt_enabled 2を追加してopensmを起動。 ファイルがない場合はopensm --create-config /etc/opensm/opensm.confで生成する。 (要Mellanox版 opensm) HBAのSRIOVを設定する SRIOV_EN=1NUM_OF_VFS=8Connect-…

Mellanox ConnectX-4 MCX456A QDR RDMArc_rdma_write_bw: bw = 3.92 GB/sec msg_rate = 59.8 K/sec send_cost = 84.8 ms/GB recv_cost = 83 ms/GB send_cpus_used = 33.5 % cpus recv_cpus_used = 32.5 % cpus — Taguma (@taguma2) January 18, 2019 Mellano…

Mellanox ConnectX-3 VPI MCX354A 56GbE RDMArc_rdma_write_bw: bw = 6.1 GB/sec msg_rate = 93 K/sec send_cost = 36.7 ms/GB recv_cost = 38.5 ms/GB send_cpus_used = 22.5 % cpus recv_cpus_used = 23.5 % cpus — Taguma (@taguma2) January 16, 2019 Me…

Mellanox ConnectX-4 MCX456A 10GbE RDMArc_rdma_write_bw: bw = 1.14 GB/sec msg_rate = 17.5 K/sec send_cost = 38.2 ms/GB recv_cost = 144 ms/GB send_cpus_used = 4.5 % cpus recv_cpus_used = 16.5 % cpus — Taguma (@taguma2) January 12, 2019 Mella…

Phison Electronics Corporation Device 5007 NVMeoF Infiniband QDR Seq Q32T1 R: 1354MB/s Seq Q32T1 W: 1452MB/s 4KiB Q8T8 R: 36042 IOPS 4KiB Q8T8 W: 24786 IOPS 4KiB Q32T1 R: 131377 IOPS 4KiB Q32T1 W: 143138 IOPS 4KiB Q1T1 R: 5910 IOPS 4KiB Q1…

Mellanox ConnectX-3 VPI MCX354A infiniband FDR RDMArc_rdma_write_bw: bw = 6.06 GB/sec msg_rate = 92.4 K/sec send_cost = 32 ms/GB recv_cost = 64.4 ms/GB send_cpus_used = 19.5 % cpus recv_cpus_used = 39 % cpus — Taguma (@taguma2) December 26…

10Gb/40Gb ネットワークカード & Infiniband HBA Mellanox ConnectX-3 Pro VPI MCX354A-FCCT,MCX354A-FCCT Mellanox ConnectX-3 VPI MCX354A,MCX354A Mellanox ConnectX-3 Pro EN MCX312B-XCCT,MCX312B-XCCT 546SFP+ Mellanox ConnectX-3 EN MCX311A-XCAT,MC…

kernel-4.12+RAID5+iSCSI over RDMA(iSER)ST6000DM003-2CY186,etc x5 Seq Q32T1 R: 526MB/s Seq Q32T1 W: 226MB/s 64KiB Q8T8 R: 49 IOPS 64KiB Q8T8 W: 12 IOPS64KiB Q32T1 R: 1036 IOPS64KiB Q32T1 W: 198 IOPS 64KiB Q1T1 R: 102 IOPS 64KiB Q1T1 W: 41 I…

iSCSI Extensions for RDMA/iSER(infiniband QDR) Seq Q32T1 R: 2818MB/s Seq Q32T1 W: 1921MB/s 4KiB Q8T8 R: 7545 IOPS 4KiB Q8T8 W: 8636 IOPS 4KiB Q32T1 R: 37895 IOPS 4KiB Q32T1 W: 42728 IOPS 4KiB Q1T1 R: 13504 IOPS 4KiB Q1T1 W: 15544 IOPS — Ta…

nfs over RDMA (async,infiniband QDR) Seq Q32T1 R: 3717MB/s Seq Q32T1 W: 1771MB/s 64KiB Q8T8 R: 3705 IOPS 64KiB Q8T8 W: 1668 IOPS64KiB Q32T1 R: 37679 IOPS64KiB Q32T1 W: 15774 IOPS 64KiB Q1T1 R: 3935 IOPS 64KiB Q1T1 W: 2269 IOPS — Taguma (@t…

INTEL SSDPEKKW128G7 NVMeOF Infiniband/QDR Seq Q32T1 R: 726MB/s Seq Q32T1 W: 322MB/s 4KiB Q8T8 R: 3845 IOPS 4KiB Q8T8 W: 9183 IOPS 4KiB Q32T1 R: 26094 IOPS 4KiB Q32T1 W: 68638 IOPS 4KiB Q1T1 R: 6382 IOPS 4KiB Q1T1 W: 18819 IOPS — Taguma (@t…