On 01-Feb-18 10:25, Paweł Staszewski wrote: > > > W dniu 31.01.2018 o 13:19, Gal Pressman pisze: >> On 30-Jan-18 17:57, Paweł Staszewski wrote: >>> >>> W dniu 30.01.2018 o 15:57, Gal Pressman pisze: >>>> On 30-Jan-18 02:29, Paweł Staszewski wrote: >>>>> Weird thing with mellanox mlx5 (connectx-4) kernel 4.15-rc9 - from >>>>> net-next davem tree >>>>> >>>>> >>>>> >>>>> after: >>>>> >>>>> ip link add link enp175s0f1 name vlan1538 type vlan id 1538 >>>>> >>>>> ip link set up dev vlan1538 >>>>> >>>>> >>>>> traffic on vlan is working >>>>> >>>>> >>>>> But after >>>>> >>>>> VID="1160 1450 1451 1452 1453 1454 1455 1456 1457 1458 1459 1460 1461 >>>>> 1462 1463 1464 1465 1466 1467 1468 1469 1470 1471 1472 1473 1474 1475 >>>>> 1476 1477 1478 1479 1480 1481 1482 1483 1484 1485 1486 1487 1488 1489 >>>>> 1490 1491 1492 1493 1494 1495 1496 1497 1498 1499 150 >>>>> 0 1501 1502 1503 1504 1505 1506 1507 1508 1509 1510 1511 1512 1513 1514 >>>>> 1515 1516 1517 1518 1519 1520 1521 1522 1523 1524 1525 1526 1527 1528 >>>>> 1529 1530 1531 1532 1534 1535 1394 1393 1550 1500 1526 1536 1537 1538 >>>>> 1539 1540 1542 1541 1543 1544 1801 1546 1547 1548 1 >>>>> 549 1735 3132 3143 3104 3125 3103 3115 3134 3105 3113 3141 4009 3144 3130 >>>>> 1803 3146 3148 3109 1551 1552 1553 1554 1555 1556 1558 1559 1560 1561 >>>>> 1562 1563 1564 1565 1567 1568 1569 1570 1571 1572 1573 1574 1575 1576 >>>>> 1577 1578 1579 1580 1581 1582 1583 1584 1585 1586 >>>>> 1587 1588 1589 1591 1592 1593 1594 1595 1596 1597 1598 1599 1557 1545 >>>>> 2001 250 4043 1806 1600 1602 1603 1604 1605 1606 1607 1608 1609 1610 1611 >>>>> 1612 1613 1614 1615 1616 1617 1618 1619 1620 1621 1625 1626 1627 1628 >>>>> 1629 1630 1631 1632 1634 1635 1636 1640 1641 164 >>>>> 2 1643 1644 1645 1646 1647 1648 1649 1650 1651 1652 1653 1654 1655 1656 >>>>> 1657 1658 1659 1660 1661 1662 1663 1664 1665 1601 1666 1667 1668 1669 >>>>> 1670 1671 1672 1673 1674 1676 1677 1678 1680 1681 1682 1683 1684 1685 >>>>> 1686 1687 1688 1689 1690 1691 1692 1693 1694 1696 1 >>>>> 697 1698 1712 1817 1869 1810 1814 1818 1855 1856 1857 1858 1859 1860 1861 >>>>> 1862 1863 1864 1865 1866 1867 1868 1870 1871 1872 1873 1874 1875 1876 >>>>> 1877 1878 1879 1880 1885 1890 1891 1892 1893 1894 1895 1898 1881 2190 >>>>> 2191 2192 2193 2194 2195 2196 2197 2198 2199 2541 >>>>> 2542 2543 2544 2545 2546 2547 2548 2549 2550 2290" >>>>> for i in $VID >>>>> do >>>>> ip link add link enp175s0f1 name vlan$i type vlan id $i >>>>> done >>>>> >>>>> >>>>> And setting vlan 1538 up - there is no received traffic on this vlan. >>>>> >>>>> >>>>> >>>>> So searching for broken things (last time same problem was with ixgbe) >>>>> >>>>> ethtool -K enp175s0f1 rx-vlan-filter off >>>>> >>>>> >>>>> And all vlans attached to this device start working >>>>> >>>>> >>>>> >>>> Hi Pawel, >>>> I tried to reproduce the issue in our local setups without success. >>>> Can you please provide more information? are there any errors in dmesg? >>>> did you configure anything else that might be relevant to this issue? >>>> Do you know if this is a new degradation to 4.15-rc9? >>> previous kernel used was 4.13.2 - without this problem. >>> >>> current kernel is net-next 4.15.0-rc9+ >>> https://git.kernel.org/pub/scm/linux/kernel/git/davem/net-next.git >>> >>>> Try to send traffic over the vlans and sample the ethtool counters >>>> (ethtool -S enp175s0f1) of the receiver mlx5 interface over time, >>>> this might help us trace where the packets drop. >>> Yes traffic is going out from interface - bot there is nothing on RX - >>> tcpdump shows no packets arriving to interface >>> >> I am running 4.15.0-rc9+ from Dave's tree, currently on commit 91e6dd828425 >> ("ipmr: Fix ptrdiff_t print formatting"). >> Tested with the commands you provided and same configuration, the issue does >> not reproduce on our setups. >> >> Did you see any errors in dmesg? anything coming from mlx5 driver? > No errors in dmesg >> Which firmware version are you using? > >> Please provide your .config file, perhaps it is making the difference. > Ok maybee I will add also ethtool configuration that is started before ip > link vlan is added: > ifc='enp175s0f0 enp175s0f1' > for i in $ifc > do > ip link set up dev $i > ethtool -A $i autoneg off rx off tx off > ethtool -G $i rx 4096 tx 4096 > ip link set $i txqueuelen 1000 > ethtool -L $i combined 28 > ethtool -N $i rx-flow-hash udp4 sdfn Note that this is not supported by mlx5.
> ethtool -C $i adaptive-rx off rx-usecs 256 rx-frames 128 > done > > There are two interfaces > enp175s0f0 enp175s0f1 > > First one have also some vlans: > Below full list: > cat /proc/net/vlan/config > VLAN Dev name | VLAN ID > Name-Type: VLAN_NAME_TYPE_RAW_PLUS_VID_NO_PAD > vlan1538 | 1538 | enp175s0f1 > vlan1160 | 1160 | enp175s0f1 > vlan1450 | 1450 | enp175s0f1 > vlan1451 | 1451 | enp175s0f1 > vlan1452 | 1452 | enp175s0f1 > vlan1453 | 1453 | enp175s0f1 > vlan1454 | 1454 | enp175s0f1 > vlan1455 | 1455 | enp175s0f1 > vlan1456 | 1456 | enp175s0f1 > vlan1457 | 1457 | enp175s0f1 > vlan1458 | 1458 | enp175s0f1 > vlan1459 | 1459 | enp175s0f1 > vlan1460 | 1460 | enp175s0f1 > vlan1461 | 1461 | enp175s0f1 > vlan1462 | 1462 | enp175s0f1 > vlan1463 | 1463 | enp175s0f1 > vlan1464 | 1464 | enp175s0f1 > vlan1465 | 1465 | enp175s0f1 > vlan1466 | 1466 | enp175s0f1 > vlan1467 | 1467 | enp175s0f1 > vlan1468 | 1468 | enp175s0f1 > vlan1469 | 1469 | enp175s0f1 > vlan1470 | 1470 | enp175s0f1 > vlan1471 | 1471 | enp175s0f1 > vlan1472 | 1472 | enp175s0f1 > vlan1473 | 1473 | enp175s0f1 > vlan1474 | 1474 | enp175s0f1 > vlan1475 | 1475 | enp175s0f1 > vlan1476 | 1476 | enp175s0f1 > vlan1477 | 1477 | enp175s0f1 > vlan1478 | 1478 | enp175s0f1 > vlan1479 | 1479 | enp175s0f1 > vlan1480 | 1480 | enp175s0f1 > vlan1481 | 1481 | enp175s0f1 > vlan1482 | 1482 | enp175s0f1 > vlan1483 | 1483 | enp175s0f1 > vlan1484 | 1484 | enp175s0f1 > vlan1485 | 1485 | enp175s0f1 > vlan1486 | 1486 | enp175s0f1 > vlan1487 | 1487 | enp175s0f1 > vlan1488 | 1488 | enp175s0f1 > vlan1489 | 1489 | enp175s0f1 > vlan1490 | 1490 | enp175s0f1 > vlan1491 | 1491 | enp175s0f1 > vlan1492 | 1492 | enp175s0f1 > vlan1493 | 1493 | enp175s0f1 > vlan1494 | 1494 | enp175s0f1 > vlan1495 | 1495 | enp175s0f1 > vlan1496 | 1496 | enp175s0f1 > vlan1497 | 1497 | enp175s0f1 > vlan1498 | 1498 | enp175s0f1 > vlan1499 | 1499 | enp175s0f1 > vlan1500 | 1500 | enp175s0f1 > vlan1501 | 1501 | enp175s0f1 > vlan1502 | 1502 | enp175s0f1 > vlan1503 | 1503 | enp175s0f1 > vlan1504 | 1504 | enp175s0f1 > vlan1505 | 1505 | enp175s0f1 > vlan1506 | 1506 | enp175s0f1 > vlan1507 | 1507 | enp175s0f1 > vlan1508 | 1508 | enp175s0f1 > vlan1509 | 1509 | enp175s0f1 > vlan1510 | 1510 | enp175s0f1 > vlan1511 | 1511 | enp175s0f1 > vlan1512 | 1512 | enp175s0f1 > vlan1513 | 1513 | enp175s0f1 > vlan1514 | 1514 | enp175s0f1 > vlan1515 | 1515 | enp175s0f1 > vlan1516 | 1516 | enp175s0f1 > vlan1517 | 1517 | enp175s0f1 > vlan1518 | 1518 | enp175s0f1 > vlan1519 | 1519 | enp175s0f1 > vlan1520 | 1520 | enp175s0f1 > vlan1521 | 1521 | enp175s0f1 > vlan1522 | 1522 | enp175s0f1 > vlan1523 | 1523 | enp175s0f1 > vlan1524 | 1524 | enp175s0f1 > vlan1525 | 1525 | enp175s0f1 > vlan1526 | 1526 | enp175s0f1 > vlan1527 | 1527 | enp175s0f1 > vlan1528 | 1528 | enp175s0f1 > vlan1529 | 1529 | enp175s0f1 > vlan1530 | 1530 | enp175s0f1 > vlan1531 | 1531 | enp175s0f1 > vlan1532 | 1532 | enp175s0f1 > vlan1534 | 1534 | enp175s0f1 > vlan1535 | 1535 | enp175s0f1 > vlan1394 | 1394 | enp175s0f1 > vlan1393 | 1393 | enp175s0f1 > vlan1550 | 1550 | enp175s0f1 > vlan1536 | 1536 | enp175s0f1 > vlan1537 | 1537 | enp175s0f1 > vlan1539 | 1539 | enp175s0f1 > vlan1540 | 1540 | enp175s0f1 > vlan1542 | 1542 | enp175s0f1 > vlan1541 | 1541 | enp175s0f1 > vlan1543 | 1543 | enp175s0f1 > vlan1544 | 1544 | enp175s0f1 > vlan1801 | 1801 | enp175s0f1 > vlan1546 | 1546 | enp175s0f1 > vlan1547 | 1547 | enp175s0f1 > vlan1548 | 1548 | enp175s0f1 > vlan1549 | 1549 | enp175s0f1 > vlan1735 | 1735 | enp175s0f1 > vlan3132 | 3132 | enp175s0f1 > vlan3143 | 3143 | enp175s0f1 > vlan3104 | 3104 | enp175s0f1 > vlan3125 | 3125 | enp175s0f1 > vlan3103 | 3103 | enp175s0f1 > vlan3115 | 3115 | enp175s0f1 > vlan3134 | 3134 | enp175s0f1 > vlan3105 | 3105 | enp175s0f1 > vlan3113 | 3113 | enp175s0f1 > vlan3141 | 3141 | enp175s0f1 > vlan4009 | 4009 | enp175s0f1 > vlan3144 | 3144 | enp175s0f1 > vlan3130 | 3130 | enp175s0f1 > vlan1803 | 1803 | enp175s0f1 > vlan3146 | 3146 | enp175s0f1 > vlan3148 | 3148 | enp175s0f1 > vlan3109 | 3109 | enp175s0f1 > vlan1551 | 1551 | enp175s0f1 > vlan1552 | 1552 | enp175s0f1 > vlan1553 | 1553 | enp175s0f1 > vlan1554 | 1554 | enp175s0f1 > vlan1555 | 1555 | enp175s0f1 > vlan1556 | 1556 | enp175s0f1 > vlan1558 | 1558 | enp175s0f1 > vlan1559 | 1559 | enp175s0f1 > vlan1560 | 1560 | enp175s0f1 > vlan1561 | 1561 | enp175s0f1 > vlan1562 | 1562 | enp175s0f1 > vlan1563 | 1563 | enp175s0f1 > vlan1564 | 1564 | enp175s0f1 > vlan1565 | 1565 | enp175s0f1 > vlan1567 | 1567 | enp175s0f1 > vlan1568 | 1568 | enp175s0f1 > vlan1569 | 1569 | enp175s0f1 > vlan1570 | 1570 | enp175s0f1 > vlan1571 | 1571 | enp175s0f1 > vlan1572 | 1572 | enp175s0f1 > vlan1573 | 1573 | enp175s0f1 > vlan1574 | 1574 | enp175s0f1 > vlan1575 | 1575 | enp175s0f1 > vlan1576 | 1576 | enp175s0f1 > vlan1577 | 1577 | enp175s0f1 > vlan1578 | 1578 | enp175s0f1 > vlan1579 | 1579 | enp175s0f1 > vlan1580 | 1580 | enp175s0f1 > vlan1581 | 1581 | enp175s0f1 > vlan1582 | 1582 | enp175s0f1 > vlan1583 | 1583 | enp175s0f1 > vlan1584 | 1584 | enp175s0f1 > vlan1585 | 1585 | enp175s0f1 > vlan1586 | 1586 | enp175s0f1 > vlan1587 | 1587 | enp175s0f1 > vlan1588 | 1588 | enp175s0f1 > vlan1589 | 1589 | enp175s0f1 > vlan1591 | 1591 | enp175s0f1 > vlan1592 | 1592 | enp175s0f1 > vlan1593 | 1593 | enp175s0f1 > vlan1594 | 1594 | enp175s0f1 > vlan1595 | 1595 | enp175s0f1 > vlan1596 | 1596 | enp175s0f1 > vlan1597 | 1597 | enp175s0f1 > vlan1598 | 1598 | enp175s0f1 > vlan1599 | 1599 | enp175s0f1 > vlan1557 | 1557 | enp175s0f1 > vlan1545 | 1545 | enp175s0f1 > vlan2001 | 2001 | enp175s0f1 > vlan1806 | 1806 | enp175s0f1 > vlan1600 | 1600 | enp175s0f1 > vlan1602 | 1602 | enp175s0f1 > vlan1603 | 1603 | enp175s0f1 > vlan1604 | 1604 | enp175s0f1 > vlan1605 | 1605 | enp175s0f1 > vlan1606 | 1606 | enp175s0f1 > vlan1607 | 1607 | enp175s0f1 > vlan1608 | 1608 | enp175s0f1 > vlan1609 | 1609 | enp175s0f1 > vlan1610 | 1610 | enp175s0f1 > vlan1611 | 1611 | enp175s0f1 > vlan1612 | 1612 | enp175s0f1 > vlan1613 | 1613 | enp175s0f1 > vlan1614 | 1614 | enp175s0f1 > vlan1615 | 1615 | enp175s0f1 > vlan1616 | 1616 | enp175s0f1 > vlan1617 | 1617 | enp175s0f1 > vlan1618 | 1618 | enp175s0f1 > vlan1619 | 1619 | enp175s0f1 > vlan1620 | 1620 | enp175s0f1 > vlan1621 | 1621 | enp175s0f1 > vlan1625 | 1625 | enp175s0f1 > vlan1626 | 1626 | enp175s0f1 > vlan1627 | 1627 | enp175s0f1 > vlan1628 | 1628 | enp175s0f1 > vlan1629 | 1629 | enp175s0f1 > vlan1630 | 1630 | enp175s0f1 > vlan1631 | 1631 | enp175s0f1 > vlan1632 | 1632 | enp175s0f1 > vlan1634 | 1634 | enp175s0f1 > vlan1635 | 1635 | enp175s0f1 > vlan1636 | 1636 | enp175s0f1 > vlan1640 | 1640 | enp175s0f1 > vlan1641 | 1641 | enp175s0f1 > vlan1642 | 1642 | enp175s0f1 > vlan1643 | 1643 | enp175s0f1 > vlan1644 | 1644 | enp175s0f1 > vlan1645 | 1645 | enp175s0f1 > vlan1646 | 1646 | enp175s0f1 > vlan1647 | 1647 | enp175s0f1 > vlan1648 | 1648 | enp175s0f1 > vlan1649 | 1649 | enp175s0f1 > vlan1650 | 1650 | enp175s0f1 > vlan1651 | 1651 | enp175s0f1 > vlan1652 | 1652 | enp175s0f1 > vlan1653 | 1653 | enp175s0f1 > vlan1654 | 1654 | enp175s0f1 > vlan1655 | 1655 | enp175s0f1 > vlan1656 | 1656 | enp175s0f1 > vlan1657 | 1657 | enp175s0f1 > vlan1658 | 1658 | enp175s0f1 > vlan1659 | 1659 | enp175s0f1 > vlan1660 | 1660 | enp175s0f1 > vlan1661 | 1661 | enp175s0f1 > vlan1662 | 1662 | enp175s0f1 > vlan1663 | 1663 | enp175s0f1 > vlan1664 | 1664 | enp175s0f1 > vlan1665 | 1665 | enp175s0f1 > vlan1601 | 1601 | enp175s0f1 > vlan1666 | 1666 | enp175s0f1 > vlan1667 | 1667 | enp175s0f1 > vlan1668 | 1668 | enp175s0f1 > vlan1669 | 1669 | enp175s0f1 > vlan1670 | 1670 | enp175s0f1 > vlan1671 | 1671 | enp175s0f1 > vlan1672 | 1672 | enp175s0f1 > vlan1673 | 1673 | enp175s0f1 > vlan1674 | 1674 | enp175s0f1 > vlan1676 | 1676 | enp175s0f1 > vlan1677 | 1677 | enp175s0f1 > vlan1678 | 1678 | enp175s0f1 > vlan1680 | 1680 | enp175s0f1 > vlan1681 | 1681 | enp175s0f1 > vlan1682 | 1682 | enp175s0f1 > vlan1683 | 1683 | enp175s0f1 > vlan1684 | 1684 | enp175s0f1 > vlan1685 | 1685 | enp175s0f1 > vlan1686 | 1686 | enp175s0f1 > vlan1687 | 1687 | enp175s0f1 > vlan1688 | 1688 | enp175s0f1 > vlan1689 | 1689 | enp175s0f1 > vlan1690 | 1690 | enp175s0f1 > vlan1691 | 1691 | enp175s0f1 > vlan1692 | 1692 | enp175s0f1 > vlan1693 | 1693 | enp175s0f1 > vlan1694 | 1694 | enp175s0f1 > vlan1696 | 1696 | enp175s0f1 > vlan1697 | 1697 | enp175s0f1 > vlan1698 | 1698 | enp175s0f1 > vlan1712 | 1712 | enp175s0f1 > vlan1817 | 1817 | enp175s0f1 > vlan1869 | 1869 | enp175s0f1 > vlan1810 | 1810 | enp175s0f1 > vlan1814 | 1814 | enp175s0f1 > vlan1818 | 1818 | enp175s0f1 > vlan1855 | 1855 | enp175s0f1 > vlan1856 | 1856 | enp175s0f1 > vlan1857 | 1857 | enp175s0f1 > vlan1858 | 1858 | enp175s0f1 > vlan1859 | 1859 | enp175s0f1 > vlan1860 | 1860 | enp175s0f1 > vlan1861 | 1861 | enp175s0f1 > vlan1862 | 1862 | enp175s0f1 > vlan1863 | 1863 | enp175s0f1 > vlan1864 | 1864 | enp175s0f1 > vlan1865 | 1865 | enp175s0f1 > vlan1866 | 1866 | enp175s0f1 > vlan1867 | 1867 | enp175s0f1 > vlan1868 | 1868 | enp175s0f1 > vlan1870 | 1870 | enp175s0f1 > vlan1871 | 1871 | enp175s0f1 > vlan1872 | 1872 | enp175s0f1 > vlan1873 | 1873 | enp175s0f1 > vlan1874 | 1874 | enp175s0f1 > vlan1875 | 1875 | enp175s0f1 > vlan1876 | 1876 | enp175s0f1 > vlan1877 | 1877 | enp175s0f1 > vlan1878 | 1878 | enp175s0f1 > vlan1879 | 1879 | enp175s0f1 > vlan1880 | 1880 | enp175s0f1 > vlan1885 | 1885 | enp175s0f1 > vlan1890 | 1890 | enp175s0f1 > vlan1891 | 1891 | enp175s0f1 > vlan1892 | 1892 | enp175s0f1 > vlan1893 | 1893 | enp175s0f1 > vlan1894 | 1894 | enp175s0f1 > vlan1895 | 1895 | enp175s0f1 > vlan1898 | 1898 | enp175s0f1 > vlan1881 | 1881 | enp175s0f1 > vlan2190 | 2190 | enp175s0f1 > vlan2191 | 2191 | enp175s0f1 > vlan2192 | 2192 | enp175s0f1 > vlan2193 | 2193 | enp175s0f1 > vlan2194 | 2194 | enp175s0f1 > vlan2195 | 2195 | enp175s0f1 > vlan2196 | 2196 | enp175s0f1 > vlan2197 | 2197 | enp175s0f1 > vlan2198 | 2198 | enp175s0f1 > vlan2199 | 2199 | enp175s0f1 > vlan2541 | 2541 | enp175s0f1 > vlan2542 | 2542 | enp175s0f1 > vlan2543 | 2543 | enp175s0f1 > vlan2544 | 2544 | enp175s0f1 > vlan2545 | 2545 | enp175s0f1 > vlan2546 | 2546 | enp175s0f1 > vlan2547 | 2547 | enp175s0f1 > vlan2548 | 2548 | enp175s0f1 > vlan2549 | 2549 | enp175s0f1 > vlan2550 | 2550 | enp175s0f1 > vlan2290 | 2290 | enp175s0f1 > vlan616 | 616 | enp175s0f0 > vlan617 | 617 | enp175s0f0 > vlan627 | 627 | enp175s0f0 > vlan979 | 979 | enp175s0f0 > vlan250 | 250 | enp175s0f0 > vlan4032 | 4032 | enp175s0f0 > vlan4043 | 4043 | enp175s0f0 > > Firmware: > ethtool -i enp175s0f0 > driver: mlx5_core > version: 5.0-0 > firmware-version: 12.18.2000 (SM_2001000001033) OK, this is our root cause. We had a firmware bug in this exact scenario that was fixed in newer releases (12.18.2000 is about ~1 year old), please update to our latest firmware release (12.21.2010), let me know if the issue is not resolved. Thanks, Gal