On 01-Feb-18 10:25, Paweł Staszewski wrote:
> 
> 
> W dniu 31.01.2018 o 13:19, Gal Pressman pisze:
>> On 30-Jan-18 17:57, Paweł Staszewski wrote:
>>>
>>> W dniu 30.01.2018 o 15:57, Gal Pressman pisze:
>>>> On 30-Jan-18 02:29, Paweł Staszewski wrote:
>>>>> Weird thing with mellanox mlx5 (connectx-4) kernel 4.15-rc9 - from 
>>>>> net-next davem tree
>>>>>
>>>>>
>>>>>
>>>>> after:
>>>>>
>>>>> ip link add link enp175s0f1 name vlan1538 type vlan id 1538
>>>>>
>>>>> ip link set up dev vlan1538
>>>>>
>>>>>
>>>>> traffic on vlan is working
>>>>>
>>>>>
>>>>> But after
>>>>>
>>>>> VID="1160 1450 1451 1452 1453 1454 1455 1456 1457 1458 1459 1460 1461 
>>>>> 1462 1463 1464 1465 1466 1467 1468 1469 1470 1471 1472 1473 1474 1475 
>>>>> 1476 1477 1478 1479 1480 1481 1482 1483 1484 1485 1486 1487 1488 1489 
>>>>> 1490 1491 1492 1493 1494 1495 1496 1497 1498 1499 150
>>>>> 0 1501 1502 1503 1504 1505 1506 1507 1508 1509 1510 1511 1512 1513 1514 
>>>>> 1515 1516 1517 1518 1519 1520 1521 1522 1523 1524 1525 1526 1527 1528 
>>>>> 1529 1530 1531 1532 1534 1535 1394 1393 1550 1500 1526 1536 1537 1538 
>>>>> 1539 1540 1542 1541 1543 1544 1801 1546 1547 1548 1
>>>>> 549 1735 3132 3143 3104 3125 3103 3115 3134 3105 3113 3141 4009 3144 3130 
>>>>> 1803 3146 3148 3109 1551 1552 1553 1554 1555 1556 1558 1559 1560 1561 
>>>>> 1562 1563 1564 1565 1567 1568 1569 1570 1571 1572 1573 1574 1575 1576 
>>>>> 1577 1578 1579 1580 1581 1582 1583 1584 1585 1586
>>>>>    1587 1588 1589 1591 1592 1593 1594 1595 1596 1597 1598 1599 1557 1545 
>>>>> 2001 250 4043 1806 1600 1602 1603 1604 1605 1606 1607 1608 1609 1610 1611 
>>>>> 1612 1613 1614 1615 1616 1617 1618 1619 1620 1621 1625 1626 1627 1628 
>>>>> 1629 1630 1631 1632 1634 1635 1636 1640 1641 164
>>>>> 2 1643 1644 1645 1646 1647 1648 1649 1650 1651 1652 1653 1654 1655 1656 
>>>>> 1657 1658 1659 1660 1661 1662 1663 1664 1665 1601 1666 1667 1668 1669 
>>>>> 1670 1671 1672 1673 1674 1676 1677 1678 1680 1681 1682 1683 1684 1685 
>>>>> 1686 1687 1688 1689 1690 1691 1692 1693 1694 1696 1
>>>>> 697 1698 1712 1817 1869 1810 1814 1818 1855 1856 1857 1858 1859 1860 1861 
>>>>> 1862 1863 1864 1865 1866 1867 1868 1870 1871 1872 1873 1874 1875 1876 
>>>>> 1877 1878 1879 1880 1885 1890 1891 1892 1893 1894 1895 1898 1881 2190 
>>>>> 2191 2192 2193 2194 2195 2196 2197 2198 2199 2541
>>>>>    2542 2543 2544 2545 2546 2547 2548 2549 2550 2290"
>>>>> for i in $VID
>>>>> do
>>>>>           ip link add link enp175s0f1 name vlan$i type vlan id $i
>>>>> done
>>>>>
>>>>>
>>>>> And setting vlan 1538 up - there is no received traffic on this vlan.
>>>>>
>>>>>
>>>>>
>>>>> So searching for broken things (last time same problem was with ixgbe)
>>>>>
>>>>> ethtool -K enp175s0f1 rx-vlan-filter off
>>>>>
>>>>>
>>>>> And all vlans attached to this device start working
>>>>>
>>>>>
>>>>>
>>>> Hi Pawel,
>>>> I tried to reproduce the issue in our local setups without success.
>>>> Can you please provide more information? are there any errors in dmesg? 
>>>> did you configure anything else that might be relevant to this issue?
>>>> Do you know if this is a new degradation to 4.15-rc9?
>>> previous kernel used was 4.13.2 - without this problem.
>>>
>>> current kernel is net-next 4.15.0-rc9+
>>> https://git.kernel.org/pub/scm/linux/kernel/git/davem/net-next.git
>>>
>>>> Try to send traffic over the vlans and sample the ethtool counters 
>>>> (ethtool -S enp175s0f1) of the receiver mlx5 interface over time,
>>>> this might help us trace where the packets drop.
>>> Yes traffic is going out from interface - bot there is nothing on RX - 
>>> tcpdump shows no packets arriving to interface
>>>
>> I am running 4.15.0-rc9+ from Dave's tree, currently on commit 91e6dd828425 
>> ("ipmr: Fix ptrdiff_t print formatting").
>> Tested with the commands you provided and same configuration, the issue does 
>> not reproduce on our setups.
>>
>> Did you see any errors in dmesg? anything coming from mlx5 driver?
> No errors in dmesg
>> Which firmware version are you using?
> 
>> Please provide your .config file, perhaps it is making the difference.
> Ok maybee I will add also ethtool configuration that is started before ip 
> link vlan is added:
> ifc='enp175s0f0 enp175s0f1'
> for i in $ifc
>         do
>         ip link set up dev $i
>         ethtool -A $i autoneg off rx off tx off
>         ethtool -G $i rx 4096 tx 4096
>         ip link set $i txqueuelen 1000
>         ethtool -L $i combined 28
>         ethtool -N $i rx-flow-hash udp4 sdfn
Note that this is not supported by mlx5.

>         ethtool -C $i adaptive-rx off rx-usecs 256 rx-frames 128
>         done
> 
> There are two interfaces
> enp175s0f0 enp175s0f1
> 
> First one have also some vlans:
> Below full list:
> cat /proc/net/vlan/config
> VLAN Dev name    | VLAN ID
> Name-Type: VLAN_NAME_TYPE_RAW_PLUS_VID_NO_PAD
> vlan1538       | 1538  | enp175s0f1
> vlan1160       | 1160  | enp175s0f1
> vlan1450       | 1450  | enp175s0f1
> vlan1451       | 1451  | enp175s0f1
> vlan1452       | 1452  | enp175s0f1
> vlan1453       | 1453  | enp175s0f1
> vlan1454       | 1454  | enp175s0f1
> vlan1455       | 1455  | enp175s0f1
> vlan1456       | 1456  | enp175s0f1
> vlan1457       | 1457  | enp175s0f1
> vlan1458       | 1458  | enp175s0f1
> vlan1459       | 1459  | enp175s0f1
> vlan1460       | 1460  | enp175s0f1
> vlan1461       | 1461  | enp175s0f1
> vlan1462       | 1462  | enp175s0f1
> vlan1463       | 1463  | enp175s0f1
> vlan1464       | 1464  | enp175s0f1
> vlan1465       | 1465  | enp175s0f1
> vlan1466       | 1466  | enp175s0f1
> vlan1467       | 1467  | enp175s0f1
> vlan1468       | 1468  | enp175s0f1
> vlan1469       | 1469  | enp175s0f1
> vlan1470       | 1470  | enp175s0f1
> vlan1471       | 1471  | enp175s0f1
> vlan1472       | 1472  | enp175s0f1
> vlan1473       | 1473  | enp175s0f1
> vlan1474       | 1474  | enp175s0f1
> vlan1475       | 1475  | enp175s0f1
> vlan1476       | 1476  | enp175s0f1
> vlan1477       | 1477  | enp175s0f1
> vlan1478       | 1478  | enp175s0f1
> vlan1479       | 1479  | enp175s0f1
> vlan1480       | 1480  | enp175s0f1
> vlan1481       | 1481  | enp175s0f1
> vlan1482       | 1482  | enp175s0f1
> vlan1483       | 1483  | enp175s0f1
> vlan1484       | 1484  | enp175s0f1
> vlan1485       | 1485  | enp175s0f1
> vlan1486       | 1486  | enp175s0f1
> vlan1487       | 1487  | enp175s0f1
> vlan1488       | 1488  | enp175s0f1
> vlan1489       | 1489  | enp175s0f1
> vlan1490       | 1490  | enp175s0f1
> vlan1491       | 1491  | enp175s0f1
> vlan1492       | 1492  | enp175s0f1
> vlan1493       | 1493  | enp175s0f1
> vlan1494       | 1494  | enp175s0f1
> vlan1495       | 1495  | enp175s0f1
> vlan1496       | 1496  | enp175s0f1
> vlan1497       | 1497  | enp175s0f1
> vlan1498       | 1498  | enp175s0f1
> vlan1499       | 1499  | enp175s0f1
> vlan1500       | 1500  | enp175s0f1
> vlan1501       | 1501  | enp175s0f1
> vlan1502       | 1502  | enp175s0f1
> vlan1503       | 1503  | enp175s0f1
> vlan1504       | 1504  | enp175s0f1
> vlan1505       | 1505  | enp175s0f1
> vlan1506       | 1506  | enp175s0f1
> vlan1507       | 1507  | enp175s0f1
> vlan1508       | 1508  | enp175s0f1
> vlan1509       | 1509  | enp175s0f1
> vlan1510       | 1510  | enp175s0f1
> vlan1511       | 1511  | enp175s0f1
> vlan1512       | 1512  | enp175s0f1
> vlan1513       | 1513  | enp175s0f1
> vlan1514       | 1514  | enp175s0f1
> vlan1515       | 1515  | enp175s0f1
> vlan1516       | 1516  | enp175s0f1
> vlan1517       | 1517  | enp175s0f1
> vlan1518       | 1518  | enp175s0f1
> vlan1519       | 1519  | enp175s0f1
> vlan1520       | 1520  | enp175s0f1
> vlan1521       | 1521  | enp175s0f1
> vlan1522       | 1522  | enp175s0f1
> vlan1523       | 1523  | enp175s0f1
> vlan1524       | 1524  | enp175s0f1
> vlan1525       | 1525  | enp175s0f1
> vlan1526       | 1526  | enp175s0f1
> vlan1527       | 1527  | enp175s0f1
> vlan1528       | 1528  | enp175s0f1
> vlan1529       | 1529  | enp175s0f1
> vlan1530       | 1530  | enp175s0f1
> vlan1531       | 1531  | enp175s0f1
> vlan1532       | 1532  | enp175s0f1
> vlan1534       | 1534  | enp175s0f1
> vlan1535       | 1535  | enp175s0f1
> vlan1394       | 1394  | enp175s0f1
> vlan1393       | 1393  | enp175s0f1
> vlan1550       | 1550  | enp175s0f1
> vlan1536       | 1536  | enp175s0f1
> vlan1537       | 1537  | enp175s0f1
> vlan1539       | 1539  | enp175s0f1
> vlan1540       | 1540  | enp175s0f1
> vlan1542       | 1542  | enp175s0f1
> vlan1541       | 1541  | enp175s0f1
> vlan1543       | 1543  | enp175s0f1
> vlan1544       | 1544  | enp175s0f1
> vlan1801       | 1801  | enp175s0f1
> vlan1546       | 1546  | enp175s0f1
> vlan1547       | 1547  | enp175s0f1
> vlan1548       | 1548  | enp175s0f1
> vlan1549       | 1549  | enp175s0f1
> vlan1735       | 1735  | enp175s0f1
> vlan3132       | 3132  | enp175s0f1
> vlan3143       | 3143  | enp175s0f1
> vlan3104       | 3104  | enp175s0f1
> vlan3125       | 3125  | enp175s0f1
> vlan3103       | 3103  | enp175s0f1
> vlan3115       | 3115  | enp175s0f1
> vlan3134       | 3134  | enp175s0f1
> vlan3105       | 3105  | enp175s0f1
> vlan3113       | 3113  | enp175s0f1
> vlan3141       | 3141  | enp175s0f1
> vlan4009       | 4009  | enp175s0f1
> vlan3144       | 3144  | enp175s0f1
> vlan3130       | 3130  | enp175s0f1
> vlan1803       | 1803  | enp175s0f1
> vlan3146       | 3146  | enp175s0f1
> vlan3148       | 3148  | enp175s0f1
> vlan3109       | 3109  | enp175s0f1
> vlan1551       | 1551  | enp175s0f1
> vlan1552       | 1552  | enp175s0f1
> vlan1553       | 1553  | enp175s0f1
> vlan1554       | 1554  | enp175s0f1
> vlan1555       | 1555  | enp175s0f1
> vlan1556       | 1556  | enp175s0f1
> vlan1558       | 1558  | enp175s0f1
> vlan1559       | 1559  | enp175s0f1
> vlan1560       | 1560  | enp175s0f1
> vlan1561       | 1561  | enp175s0f1
> vlan1562       | 1562  | enp175s0f1
> vlan1563       | 1563  | enp175s0f1
> vlan1564       | 1564  | enp175s0f1
> vlan1565       | 1565  | enp175s0f1
> vlan1567       | 1567  | enp175s0f1
> vlan1568       | 1568  | enp175s0f1
> vlan1569       | 1569  | enp175s0f1
> vlan1570       | 1570  | enp175s0f1
> vlan1571       | 1571  | enp175s0f1
> vlan1572       | 1572  | enp175s0f1
> vlan1573       | 1573  | enp175s0f1
> vlan1574       | 1574  | enp175s0f1
> vlan1575       | 1575  | enp175s0f1
> vlan1576       | 1576  | enp175s0f1
> vlan1577       | 1577  | enp175s0f1
> vlan1578       | 1578  | enp175s0f1
> vlan1579       | 1579  | enp175s0f1
> vlan1580       | 1580  | enp175s0f1
> vlan1581       | 1581  | enp175s0f1
> vlan1582       | 1582  | enp175s0f1
> vlan1583       | 1583  | enp175s0f1
> vlan1584       | 1584  | enp175s0f1
> vlan1585       | 1585  | enp175s0f1
> vlan1586       | 1586  | enp175s0f1
> vlan1587       | 1587  | enp175s0f1
> vlan1588       | 1588  | enp175s0f1
> vlan1589       | 1589  | enp175s0f1
> vlan1591       | 1591  | enp175s0f1
> vlan1592       | 1592  | enp175s0f1
> vlan1593       | 1593  | enp175s0f1
> vlan1594       | 1594  | enp175s0f1
> vlan1595       | 1595  | enp175s0f1
> vlan1596       | 1596  | enp175s0f1
> vlan1597       | 1597  | enp175s0f1
> vlan1598       | 1598  | enp175s0f1
> vlan1599       | 1599  | enp175s0f1
> vlan1557       | 1557  | enp175s0f1
> vlan1545       | 1545  | enp175s0f1
> vlan2001       | 2001  | enp175s0f1
> vlan1806       | 1806  | enp175s0f1
> vlan1600       | 1600  | enp175s0f1
> vlan1602       | 1602  | enp175s0f1
> vlan1603       | 1603  | enp175s0f1
> vlan1604       | 1604  | enp175s0f1
> vlan1605       | 1605  | enp175s0f1
> vlan1606       | 1606  | enp175s0f1
> vlan1607       | 1607  | enp175s0f1
> vlan1608       | 1608  | enp175s0f1
> vlan1609       | 1609  | enp175s0f1
> vlan1610       | 1610  | enp175s0f1
> vlan1611       | 1611  | enp175s0f1
> vlan1612       | 1612  | enp175s0f1
> vlan1613       | 1613  | enp175s0f1
> vlan1614       | 1614  | enp175s0f1
> vlan1615       | 1615  | enp175s0f1
> vlan1616       | 1616  | enp175s0f1
> vlan1617       | 1617  | enp175s0f1
> vlan1618       | 1618  | enp175s0f1
> vlan1619       | 1619  | enp175s0f1
> vlan1620       | 1620  | enp175s0f1
> vlan1621       | 1621  | enp175s0f1
> vlan1625       | 1625  | enp175s0f1
> vlan1626       | 1626  | enp175s0f1
> vlan1627       | 1627  | enp175s0f1
> vlan1628       | 1628  | enp175s0f1
> vlan1629       | 1629  | enp175s0f1
> vlan1630       | 1630  | enp175s0f1
> vlan1631       | 1631  | enp175s0f1
> vlan1632       | 1632  | enp175s0f1
> vlan1634       | 1634  | enp175s0f1
> vlan1635       | 1635  | enp175s0f1
> vlan1636       | 1636  | enp175s0f1
> vlan1640       | 1640  | enp175s0f1
> vlan1641       | 1641  | enp175s0f1
> vlan1642       | 1642  | enp175s0f1
> vlan1643       | 1643  | enp175s0f1
> vlan1644       | 1644  | enp175s0f1
> vlan1645       | 1645  | enp175s0f1
> vlan1646       | 1646  | enp175s0f1
> vlan1647       | 1647  | enp175s0f1
> vlan1648       | 1648  | enp175s0f1
> vlan1649       | 1649  | enp175s0f1
> vlan1650       | 1650  | enp175s0f1
> vlan1651       | 1651  | enp175s0f1
> vlan1652       | 1652  | enp175s0f1
> vlan1653       | 1653  | enp175s0f1
> vlan1654       | 1654  | enp175s0f1
> vlan1655       | 1655  | enp175s0f1
> vlan1656       | 1656  | enp175s0f1
> vlan1657       | 1657  | enp175s0f1
> vlan1658       | 1658  | enp175s0f1
> vlan1659       | 1659  | enp175s0f1
> vlan1660       | 1660  | enp175s0f1
> vlan1661       | 1661  | enp175s0f1
> vlan1662       | 1662  | enp175s0f1
> vlan1663       | 1663  | enp175s0f1
> vlan1664       | 1664  | enp175s0f1
> vlan1665       | 1665  | enp175s0f1
> vlan1601       | 1601  | enp175s0f1
> vlan1666       | 1666  | enp175s0f1
> vlan1667       | 1667  | enp175s0f1
> vlan1668       | 1668  | enp175s0f1
> vlan1669       | 1669  | enp175s0f1
> vlan1670       | 1670  | enp175s0f1
> vlan1671       | 1671  | enp175s0f1
> vlan1672       | 1672  | enp175s0f1
> vlan1673       | 1673  | enp175s0f1
> vlan1674       | 1674  | enp175s0f1
> vlan1676       | 1676  | enp175s0f1
> vlan1677       | 1677  | enp175s0f1
> vlan1678       | 1678  | enp175s0f1
> vlan1680       | 1680  | enp175s0f1
> vlan1681       | 1681  | enp175s0f1
> vlan1682       | 1682  | enp175s0f1
> vlan1683       | 1683  | enp175s0f1
> vlan1684       | 1684  | enp175s0f1
> vlan1685       | 1685  | enp175s0f1
> vlan1686       | 1686  | enp175s0f1
> vlan1687       | 1687  | enp175s0f1
> vlan1688       | 1688  | enp175s0f1
> vlan1689       | 1689  | enp175s0f1
> vlan1690       | 1690  | enp175s0f1
> vlan1691       | 1691  | enp175s0f1
> vlan1692       | 1692  | enp175s0f1
> vlan1693       | 1693  | enp175s0f1
> vlan1694       | 1694  | enp175s0f1
> vlan1696       | 1696  | enp175s0f1
> vlan1697       | 1697  | enp175s0f1
> vlan1698       | 1698  | enp175s0f1
> vlan1712       | 1712  | enp175s0f1
> vlan1817       | 1817  | enp175s0f1
> vlan1869       | 1869  | enp175s0f1
> vlan1810       | 1810  | enp175s0f1
> vlan1814       | 1814  | enp175s0f1
> vlan1818       | 1818  | enp175s0f1
> vlan1855       | 1855  | enp175s0f1
> vlan1856       | 1856  | enp175s0f1
> vlan1857       | 1857  | enp175s0f1
> vlan1858       | 1858  | enp175s0f1
> vlan1859       | 1859  | enp175s0f1
> vlan1860       | 1860  | enp175s0f1
> vlan1861       | 1861  | enp175s0f1
> vlan1862       | 1862  | enp175s0f1
> vlan1863       | 1863  | enp175s0f1
> vlan1864       | 1864  | enp175s0f1
> vlan1865       | 1865  | enp175s0f1
> vlan1866       | 1866  | enp175s0f1
> vlan1867       | 1867  | enp175s0f1
> vlan1868       | 1868  | enp175s0f1
> vlan1870       | 1870  | enp175s0f1
> vlan1871       | 1871  | enp175s0f1
> vlan1872       | 1872  | enp175s0f1
> vlan1873       | 1873  | enp175s0f1
> vlan1874       | 1874  | enp175s0f1
> vlan1875       | 1875  | enp175s0f1
> vlan1876       | 1876  | enp175s0f1
> vlan1877       | 1877  | enp175s0f1
> vlan1878       | 1878  | enp175s0f1
> vlan1879       | 1879  | enp175s0f1
> vlan1880       | 1880  | enp175s0f1
> vlan1885       | 1885  | enp175s0f1
> vlan1890       | 1890  | enp175s0f1
> vlan1891       | 1891  | enp175s0f1
> vlan1892       | 1892  | enp175s0f1
> vlan1893       | 1893  | enp175s0f1
> vlan1894       | 1894  | enp175s0f1
> vlan1895       | 1895  | enp175s0f1
> vlan1898       | 1898  | enp175s0f1
> vlan1881       | 1881  | enp175s0f1
> vlan2190       | 2190  | enp175s0f1
> vlan2191       | 2191  | enp175s0f1
> vlan2192       | 2192  | enp175s0f1
> vlan2193       | 2193  | enp175s0f1
> vlan2194       | 2194  | enp175s0f1
> vlan2195       | 2195  | enp175s0f1
> vlan2196       | 2196  | enp175s0f1
> vlan2197       | 2197  | enp175s0f1
> vlan2198       | 2198  | enp175s0f1
> vlan2199       | 2199  | enp175s0f1
> vlan2541       | 2541  | enp175s0f1
> vlan2542       | 2542  | enp175s0f1
> vlan2543       | 2543  | enp175s0f1
> vlan2544       | 2544  | enp175s0f1
> vlan2545       | 2545  | enp175s0f1
> vlan2546       | 2546  | enp175s0f1
> vlan2547       | 2547  | enp175s0f1
> vlan2548       | 2548  | enp175s0f1
> vlan2549       | 2549  | enp175s0f1
> vlan2550       | 2550  | enp175s0f1
> vlan2290       | 2290  | enp175s0f1
> vlan616        | 616  | enp175s0f0
> vlan617        | 617  | enp175s0f0
> vlan627        | 627  | enp175s0f0
> vlan979        | 979  | enp175s0f0
> vlan250        | 250  | enp175s0f0
> vlan4032       | 4032  | enp175s0f0
> vlan4043       | 4043  | enp175s0f0
> 
> Firmware:
> ethtool -i enp175s0f0
> driver: mlx5_core
> version: 5.0-0
> firmware-version: 12.18.2000 (SM_2001000001033)
OK, this is our root cause.
We had a firmware bug in this exact scenario that was fixed in newer releases 
(12.18.2000 is about ~1 year old),
please update to our latest firmware release (12.21.2010), let me know if the 
issue is not resolved.

Thanks,
Gal

Reply via email to