Hello,<div>I found several guides (both Red Hat and Dell) about iscsi configuration, but it seems to me some doubts remain about configuration itself and functionality when using iscsi offload....</div><div><br></div><div>
I can test two M610 blades, where I have RH EL 5.5 and RH EL 6 beta.</div><div>Both are x86_64 systems.</div><div>Below information from rh el 5.5 server</div><div>lspci gives:</div><div><div>01:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709S Gigabit Ethernet (rev 20)</div>
<div>01:00.1 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709S Gigabit Ethernet (rev 20)</div><div>02:00.0 SCSI storage controller: LSI Logic / Symbios Logic SAS1068E PCI-Express Fusion-MPT SAS (rev 08)</div>
<div>03:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709S Gigabit Ethernet (rev 20)</div><div>03:00.1 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709S Gigabit Ethernet (rev 20)</div><div>
05:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM57711 10-Gigabit PCIe</div><div>05:00.1 Ethernet controller: Broadcom Corporation NetXtreme II BCM57711 10-Gigabit PCIe</div></div><div><br></div><div>I was able to configure the two 10Gbit interfaces to connect to several volumes on a Dell EQL 6010XV storage array, using sw based iscsi.</div>
<div>Also, I was able to configure dm-multipath so that each volume is seen by two paths.</div><div><br></div><div>Some raw performance data show not more than 130-140MB/s (both by using single devices and multipath devices) where other Windows based blades, configured with Broadcom offload, reach more than 300MB/s on the same storage array.</div>
<div><br></div><div>Trying to configure offload scsi on rh el I have these doubts:</div><div><br></div><div>My 10Gb BCM57711 card has two mac addresses (actually I have two of these cards in total, to bind to the EQL).</div>
<div>00:10:18:58:E8:F8 base eth card for network</div><div>00:10:18:58:E8:F9 for iscsi offload (not seen from ifconfig, for example)</div><div><br></div><div>1) Do I have to configure an IP for both eth card and for the iscsi offload mac? If so must they be different?</div>
<div>Or if I use offload, the nic is not assigned an ip at all?</div><div><br></div><div>2) Do the nic has to be configured anyway to start in /etc/sysconfig/network-scripts/ifcfg-eth0?</div><div>With something like this for example if without an ip:</div>
<div><div># Broadcom Corporation NetXtreme II BCM57711 10-Gigabit PCIe</div><div>DEVICE=eth0</div><div>HWADDR=00:10:18:58:E8:F8</div><div>ONBOOT=yes</div><div>BOOTPROTO=static</div><div>TYPE=Ethernet</div><div>MTU=9000</div>
</div><div><br></div><div>3) Can I set MTU=9000 if using offload scsi? Is it supported?</div><div>If I don&#39;t have instead to set the nic to start at boot, where to put the mtu parameter?</div><div><br></div><div>4) I configured this way the iscsi offload iface, under /var/lib/iscsi/ifaces dir:</div>
<div><br></div><div># cat bnx2i.00:10:18:58:e8:f9</div><div># BEGIN RECORD 2.0-871</div><div>iface.iscsi_ifacename = bnx2i.00:10:18:58:e8:f9</div><div>iface.ipaddress = 10.10.100.178</div><div>iface.hwaddress = 00:10:18:58:e8:f9</div>
<div>iface.transport_name = bnx2i</div><div># END RECORD</div><div><br></div><div>and this for the nic associated:</div><div><div>[root@orasvi2 ifaces]# ifconfig eth0</div><div>eth0      Link encap:Ethernet  HWaddr 00:10:18:58:E8:F8  </div>
<div>          inet addr:10.10.100.174  Bcast:10.10.100.255  Mask:255.255.255.0</div><div>          inet6 addr: fe80::210:18ff:fe58:e8f8/64 Scope:Link</div><div>          UP BROADCAST RUNNING MULTICAST  MTU:9000  Metric:1</div>
<div>          RX packets:1683 errors:0 dropped:0 overruns:0 frame:0</div><div>          TX packets:47 errors:0 dropped:0 overruns:0 carrier:0</div><div>          collisions:0 txqueuelen:1000 </div><div>          RX bytes:155976 (152.3 KiB)  TX bytes:4562 (4.4 KiB)</div>
<div>          Interrupt:114 Memory:dc800000-dcffffff </div></div><div><br></div><div>I have this results:</div><div><div>[root@orasvi2 ifaces]# iscsiadm -m node -P1</div><div>Target: iqn.2001-05.com.equallogic:0-8a0906-97d4b5e06-596000000264bc83-blg9-vol3</div>
<div><span class="Apple-tab-span" style="white-space:pre">        </span>Portal: <a href="http://10.10.100.30:3260">10.10.100.30:3260</a>,1</div><div><span class="Apple-tab-span" style="white-space:pre">                </span>Iface Name: bnx2i.00:10:18:58:e8:f9</div>
<div><span class="Apple-tab-span" style="white-space:pre">                </span>Iface Name: bnx2i.00:10:18:58:e8:fb</div><div>Target: iqn.2001-05.com.equallogic:0-8a0906-8904b5e06-b66000000204bc83-blg9-vol1</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>Portal: <a href="http://10.10.100.30:3260">10.10.100.30:3260</a>,1</div>
<div><span class="Apple-tab-span" style="white-space:pre">                </span>Iface Name: bnx2i.00:10:18:58:e8:f9</div><div><span class="Apple-tab-span" style="white-space:pre">                </span>Iface Name: bnx2i.00:10:18:58:e8:fb</div><div>
Target: iqn.2001-05.com.equallogic:0-8a0906-94c4b5e06-df9000000234bc83-blg9-vol2</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>Portal: <a href="http://10.10.100.30:3260">10.10.100.30:3260</a>,1</div>
<div><span class="Apple-tab-span" style="white-space:pre">                </span>Iface Name: bnx2i.00:10:18:58:e8:f9</div><div><span class="Apple-tab-span" style="white-space:pre">                </span>Iface Name: bnx2i.00:10:18:58:e8:fb</div></div>
<div><br></div><div>But actually I can connect only with one card and only to one node..... ;-(</div><div><div>[root@orasvi2 ifaces]# iscsiadm -m session -P1</div><div>Target: iqn.2001-05.com.equallogic:0-8a0906-94c4b5e06-df9000000234bc83-blg9-vol2</div>
<div><span class="Apple-tab-span" style="white-space:pre">        </span>Current Portal: <a href="http://10.10.100.32:48140">10.10.100.32:48140</a>,1</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>Persistent Portal: <a href="http://10.10.100.30:3260">10.10.100.30:3260</a>,1</div>
<div><span class="Apple-tab-span" style="white-space:pre">                </span>**********</div><div><span class="Apple-tab-span" style="white-space:pre">                </span>Interface:</div><div><span class="Apple-tab-span" style="white-space:pre">                </span>**********</div>
<div><span class="Apple-tab-span" style="white-space:pre">                </span>Iface Name: bnx2i.00:10:18:58:e8:f9</div><div><span class="Apple-tab-span" style="white-space:pre">                </span>Iface Transport: bnx2i</div><div><span class="Apple-tab-span" style="white-space:pre">                </span>Iface Initiatorname: iqn.1994-05.com.redhat:ab59ecbce6c</div>
<div><span class="Apple-tab-span" style="white-space:pre">                </span>Iface IPaddress: &lt;empty&gt;</div><div><span class="Apple-tab-span" style="white-space:pre">                </span>Iface HWaddress: 00:10:18:58:e8:f9</div><div><span class="Apple-tab-span" style="white-space:pre">                </span>Iface Netdev: eth0</div>
<div><span class="Apple-tab-span" style="white-space:pre">                </span>SID: 1</div><div><span class="Apple-tab-span" style="white-space:pre">                </span>iSCSI Connection State: LOGGED IN</div><div><span class="Apple-tab-span" style="white-space:pre">                </span>iSCSI Session State: LOGGED_IN</div>
<div><span class="Apple-tab-span" style="white-space:pre">                </span>Internal iscsid Session State: NO CHANGE</div></div><div><br></div><div>Note the </div><div>Iface IPaddress: &lt;empty&gt; ...</div><div><br></div><div>Just a basic test shows, for this single out of three volumes:</div>
<div> dd if=/dev/sdb of=/dev/null bs=10240k count=9500</div><div><br></div><div><div>[root@orasvi2 ~]# vmstat 3</div><div>procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------</div><div> r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st</div>
<div> 1  1     24 139100 46577740  43056    0    0  3513     2  203  533  0  0 97  2  0</div><div> 2  0     24 139660 46576220  42552    0    0 108117    23 3196 6280  0  2 87 11  0</div><div> 1  1     24 140576 46575508  42676    0    0 120064     0 3496 6508  0  2 87 11  0</div>
<div> 1  1     24 137440 46580264  42196    0    0 117888     0 3410 6429  0  2 87 11  0</div><div> 2  0     24 141512 46577092  41888    0    0 134741    17 3956 6979  0  2 87 11  0</div><div> 1  1     24 138568 46580280  41944    0    0 117376     0 3508 6458  0  2 87 11  0</div>
<div> 0  1     24 137620 46581736  41404    0    0 124629     0 3740 6088  0  2 87 11  0</div><div> 0  1     24 137148 46582524  41144    0    0 116651    11 3512 5570  0  2 87 11  0</div><div> 0  1     24 141428 46578336  40524    0    0 130560    32 3879 6844  0  2 87 11  0</div>
<div> 0  1     24 145376 46574348  41268    0    0 118997     0 3590 6512  0  2 87 11  0</div><div> 0  1     24 136468 46583624  40696    0    0 119467     0 3590 5904  0  2 87 11  0</div></div><div><br></div><div>Logs I can see:</div>
<div><div>May 14 16:35:10 orasvi2 kernel: bnx2i [05:00.00]: ISCSI_INIT passed</div><div>May 14 16:35:10 orasvi2 iscsid: Received iferror -19</div><div>May 14 16:35:10 orasvi2 iscsid: cannot make a connection to <a href="http://10.10.100.30:3260">10.10.100.30:3260</a> (-19,11)</div>
<div>May 14 16:35:11 orasvi2 kernel: bnx2i [05:00.01]: ISCSI_INIT passed</div><div>May 14 16:35:11 orasvi2 kernel: bnx2i [05:00.00]: ISCSI_INIT passed</div><div>May 14 16:35:11 orasvi2 kernel: bnx2i [05:00.01]: ISCSI_INIT passed</div>
<div>May 14 16:35:11 orasvi2 kernel: bnx2i [05:00.00]: ISCSI_INIT passed</div><div>May 14 16:35:11 orasvi2 iscsid: Received iferror -101</div><div>May 14 16:35:11 orasvi2 iscsid: cannot make a connection to <a href="http://10.10.100.30:3260">10.10.100.30:3260</a> (-101,11)</div>
<div>May 14 16:35:11 orasvi2 iscsid: Received iferror -19</div><div>May 14 16:35:11 orasvi2 iscsid: cannot make a connection to <a href="http://10.10.100.30:3260">10.10.100.30:3260</a> (-19,11)</div><div>May 14 16:35:11 orasvi2 iscsid: Received iferror -101</div>
<div>May 14 16:35:11 orasvi2 iscsid: cannot make a connection to <a href="http://10.10.100.30:3260">10.10.100.30:3260</a> (-101,11)</div><div>May 14 16:35:12 orasvi2 kernel: bnx2i [05:00.01]: ISCSI_INIT passed</div><div>May 14 16:35:12 orasvi2 iscsid: Received iferror -101</div>
<div>May 14 16:35:12 orasvi2 iscsid: cannot make a connection to <a href="http://10.10.100.30:3260">10.10.100.30:3260</a> (-101,11)</div><div>May 14 16:35:13 orasvi2 kernel:  connection1:0: detected conn error (1011)</div>
<div>May 14 16:35:13 orasvi2 iscsid: Login authentication failed with target iqn.2001-05.com.equallogic:0-8a0906-94c4b5e06-df9000000234bc83-blg9-vol2</div><div>May 14 16:35:15 orasvi2 kernel: bnx2i [05:00.00]: ISCSI_INIT passed</div>
<div>May 14 16:35:17 orasvi2 kernel:  connection1:0: bnx2i: conn update - MBL 0x40000 FBL 0x10000MRDSL_I 0x40000 MRDSL_T 0x10000 </div><div>May 14 16:35:17 orasvi2 kernel:   Vendor: EQLOGIC   Model: 100E-00           Rev: 4.3 </div>
<div>May 14 16:35:17 orasvi2 kernel:   Type:   Direct-Access                      ANSI SCSI revision: 05</div><div>May 14 16:35:17 orasvi2 kernel: SCSI device sdb: 419450880 512-byte hdwr sectors (214759 MB)</div><div>May 14 16:35:17 orasvi2 kernel: sdb: Write Protect is off</div>
<div>May 14 16:35:17 orasvi2 kernel: SCSI device sdb: drive cache: write through</div><div>May 14 16:35:17 orasvi2 kernel: SCSI device sdb: 419450880 512-byte hdwr sectors (214759 MB)</div><div>May 14 16:35:17 orasvi2 kernel: sdb: Write Protect is off</div>
<div>May 14 16:35:17 orasvi2 kernel: SCSI device sdb: drive cache: write through</div><div>May 14 16:35:17 orasvi2 kernel:  sdb: unknown partition table</div><div>May 14 16:35:17 orasvi2 kernel: sd 2:0:0:0: Attached scsi disk sdb</div>
<div>May 14 16:35:17 orasvi2 multipathd: sdb: add path (uevent) </div><div>May 14 16:35:17 orasvi2 kernel: sd 2:0:0:0: Attached scsi generic sg3 type 0</div><div>May 14 16:35:17 orasvi2 kernel: device-mapper: multipath round-robin: version 1.0.0 loaded</div>
<div>May 14 16:35:17 orasvi2 multipathd: vol2: load table [0 419450880 multipath 1 queue_if_no_path 0 1 1 round-robin 0 1 1 8:16 10] </div><div>May 14 16:35:17 orasvi2 multipathd: vol2: event checker started </div><div>May 14 16:35:17 orasvi2 multipathd: dm-3: add map (uevent) </div>
<div>May 14 16:35:17 orasvi2 multipathd: dm-3: devmap already registered </div><div>May 14 16:35:17 orasvi2 iscsid: connection1:0 is operational now</div><div>May 14 16:35:17 orasvi2 iscsid: Could not write to /sys/bus/scsi/devices/2:0:0:0/queue_depth. Invalid permissions. </div>
<div>May 14 16:35:17 orasvi2 iscsid: Could not queue depth for LUN 0 err 13.</div></div><div><br></div><div>and</div><div><div># multipath -l</div><div>vol2 (36090a068e0b5c49483bc3402000090df) dm-3 EQLOGIC,100E-00</div><div>
[size=200G][features=1 queue_if_no_path][hwhandler=0][rw]</div><div>\_ round-robin 0 [prio=0][active]</div><div> \_ 2:0:0:0 sdb 8:16  [active][undef]</div></div><div><br></div><div><br></div><div>If I now try to connect with the other card ending fb mac .175 ip for eth1 and .179 for the iscsi part):</div>
<div><div># iscsiadm --mode node --portal <a href="http://10.10.100.30:3260">10.10.100.30:3260</a> -I bnx2i.00:10:18:58:e8:fb --login</div><div>Logging in to [iface: bnx2i.00:10:18:58:e8:fb, target: iqn.2001-05.com.equallogic:0-8a0906-97d4b5e06-596000000264bc83-blg9-vol3, portal: 10.10.100.30,3260]</div>
<div>Logging in to [iface: bnx2i.00:10:18:58:e8:fb, target: iqn.2001-05.com.equallogic:0-8a0906-8904b5e06-b66000000204bc83-blg9-vol1, portal: 10.10.100.30,3260]</div><div>Logging in to [iface: bnx2i.00:10:18:58:e8:fb, target: iqn.2001-05.com.equallogic:0-8a0906-94c4b5e06-df9000000234bc83-blg9-vol2, portal: 10.10.100.30,3260]</div>
<div>iscsiadm: Could not login to [iface: bnx2i.00:10:18:58:e8:fb, target: iqn.2001-05.com.equallogic:0-8a0906-97d4b5e06-596000000264bc83-blg9-vol3, portal: 10.10.100.30,3260]: </div><div>iscsiadm: initiator reported error (4 - encountered connection failure)</div>
<div>iscsiadm: Could not login to [iface: bnx2i.00:10:18:58:e8:fb, target: iqn.2001-05.com.equallogic:0-8a0906-8904b5e06-b66000000204bc83-blg9-vol1, portal: 10.10.100.30,3260]: </div><div>iscsiadm: initiator reported error (4 - encountered connection failure)</div>
<div>iscsiadm: Could not login to [iface: bnx2i.00:10:18:58:e8:fb, target: iqn.2001-05.com.equallogic:0-8a0906-94c4b5e06-df9000000234bc83-blg9-vol2, portal: 10.10.100.30,3260]: </div><div>iscsiadm: initiator reported error (4 - encountered connection failure)</div>
</div><div><br></div><div>with this in messages:</div><div><div>May 14 17:28:59 orasvi2 kernel: bnx2i [05:00.01]: ISCSI_INIT passed</div><div>May 14 17:29:00 orasvi2 last message repeated 2 times</div><div>May 14 17:29:00 orasvi2 iscsid: Received iferror -101</div>
<div>May 14 17:29:00 orasvi2 iscsid: cannot make a connection to <a href="http://10.10.100.30:3260">10.10.100.30:3260</a> (-101,11)</div><div>May 14 17:29:00 orasvi2 iscsid: Received iferror -101</div><div>May 14 17:29:00 orasvi2 iscsid: cannot make a connection to <a href="http://10.10.100.30:3260">10.10.100.30:3260</a> (-101,11)</div>
<div>May 14 17:29:00 orasvi2 iscsid: Received iferror -101</div><div>May 14 17:29:00 orasvi2 iscsid: cannot make a connection to <a href="http://10.10.100.30:3260">10.10.100.30:3260</a> (-101,11)</div></div><div><br></div>
<div>Any insight or guide?</div><div><br></div><div>M610 fw information:</div><div>Bios 2.0.13</div><div>network firmware (from NETW_FRMW_LX_R259547.BIN applied)</div><div>Release Date:</div><div><div>February 12, 2010</div>
<div>Default Log File Name: R259547</div></div><div><br></div><div>Thanks in advance for any help and/or pointers,</div><div>Gianluca</div><div><br></div>