🚀 go-pugleaf

Dnia 27.02.2017 Therminus <cysorz_to_ma_klawe_zycie@gazeta.pl> napisał/a:
> Mam serwer (Slackware x64 current) a w nim 2 karty sieciowe Intela. Serwer 
> łączy się ze switchem Cisco "SG300-28 28-Port Gigabit Managed Switch". 

Pokaż konfigurację tego switcha.

> #!/bin/sh
> # rc.bond
>         case "$1" in
>           'start')
>             echo "start bond0"
>             modprobe bonding mode=4 miimon=100 lacp_rate=1

Spróbuj mode=802.3ad, niby jest to samo, ale kto wie...

> Kilka rzeczy mi nie pasuje:
> 1) Jak widać liczba portów jest 1, a nie 2.
> 2) Nie pobiera adresu MAC ze switcha.
> 3) System MAC address: 00:15:17:89:eb:14 to jest adres karty sieciowej eth0

Wygląda mi na to, że switch nie negocjuje LACP.

> Oczywiście połączenia gigabitowe pomiędzy kartami a switchem są. Co może być 
> nie tak?
> I jeszcze taka ciekawostka: jak ustawię bonding mode=0, to iptraf pokazuje 
> mi że obie karty są obciążone transferem prawie po równo, a na interfejsie 
> bond0 jest suma transferów z kart. Wynika z tego, że karty działają 
> prawidłowo. Ale przecież nie o taki tryb bonding mi chodzi.
>
> I jeszcze jedno:
> ifenslave uzyskałem przetwarzając pakiet ifenslave-2.6_1.1.0-20_amd64.deb na 
> TGZ
> Może tu jest problem?

Teoretycznie nie powinno być z tym problemu. Spróbuj zamiast ifenslave
użyć "ip link set eth0 master bond0". iproute2 powinno być w Slackware.

Pozdrawiam.
j.p.
-- 
Jacek Peczyński.       gg:4389139      j.peczynskiATgmailDOTcom
Windows 2003 .NET Server "umiejętnie wykorzystany"* jest stabilny.
* czyli wyłączony

Po głębokim namyśle Therminus napisał w Monday 27 of February 2017 
19:58:

> 2) Nie pobiera adresu MAC ze switcha.

	A port switcha w ogóle ma adres MAC?

-- 
Pozdrawiam,

(js).

PS. Odpowiadając bezpośrednio proszę usunąć minus wraz ze wszystkimi 
kolejnymi literami.

W dniu 06.03.2017 o 08:02, Jan Stożek pisze:

>> 2) Nie pobiera adresu MAC ze switcha.
>
> 	A port switcha w ogóle ma adres MAC?

Jak byś chciał zarządzać switchem bez adresu MAC?
-- 
Olek

Po głębokim namyśle Olek napisał w Monday 06 of March 2017 22:00:

>>> 2) Nie pobiera adresu MAC ze switcha.
>> A port switcha w ogóle ma adres MAC?
> Jak byś chciał zarządzać switchem bez adresu MAC?

	A po co adres MAC modułu zarządzającego switchem softowi do 
agregacji łączy? :D

	Oczywiście, do zarządzania MAC potrzebny jest. Ale do pracy z 
tego, co pamiętam, to raczej nie bardzo.  

-- 
Pozdrawiam,

(js).

PS. Odpowiadając bezpośrednio proszę usunąć minus wraz ze wszystkimi 
kolejnymi literami.

W dniu 06.03.2017 o 22:23, Jan Stożek pisze:
>
> 	A po co adres MAC modułu zarządzającego switchem softowi do
> agregacji łączy? :D
>
> 	Oczywiście, do zarządzania MAC potrzebny jest. Ale do pracy z
> tego, co pamiętam, to raczej nie bardzo.

No to przyznaję, że nie mam pojęcia o bondingu i założyłem, że to ten 
sam MAC ma się pojawić w danych.
-- 
Olek

Jan Stożek wrote:

> Po głębokim namyśle Therminus napisał w Monday 27 of February 2017
> 19:58:
> 
>> 2) Nie pobiera adresu MAC ze switcha.
> 
> A port switcha w ogóle ma adres MAC?
> 
Port switcha? Który port?
Sam switch jako taki adres posiada.

Jacek Peczyński wrote:

> Pokaż konfigurację tego switcha.
Nie za bardzo wiem jak to zrobić. Switch jest zarządzany przez przeglądarkę 
w trybie graficznym. Włącza się dla wybranych portów Link Aggregation i 
tyle.
Mam dwa takie switche i pomiędzy nimi włączyłem agregację dla dwóch portów. 
Działa. LACP pokazuje "Enabled".
Natomist dla kart serwera "Disabled"

Pozostałe Twoje sugestie sprawdzę we czwartek.

Po głębokim namyśle Therminus napisał w Wednesday 08 of March 2017 
23:19:

>>> 2) Nie pobiera adresu MAC ze switcha.
>> 
>> A port switcha w ogóle ma adres MAC?
>> 
> Port switcha? Który port?
> Sam switch jako taki adres posiada.

	A jaki adres MAC miałby pobrać rc.bond ze switcha? Bo nie do 
końca rozumiem.

-- 
Pozdrawiam,

(js).

PS. Odpowiadając bezpośrednio proszę usunąć minus wraz ze wszystkimi 
kolejnymi literami.

Jacek Peczyński wrote:

> Spróbuj mode=802.3ad, niby jest to samo, ale kto wie...
Niestety, bez zmian
> Spróbuj zamiast ifenslave użyć "ip link set eth0 master bond0".
Spróbowałem, ale chociaż nie wystąpiły błędy, to żadnych zmian w skutkach.

Tak w ogóle to okazało się, że może jest coś nie tak ze switchem.
Podłączyłem do niego jeszcze jednego (taki sam model) i próbowałem spiąć je 
razem tak jak tego go poprzedniego. Konfiguracja (poza numerami portów) 
identyczna. Początkowo LACP ustawiło się na ENABLED, ale pomyliłem jeden 
port. Tzn inny zdefiniowałem, a w inny wetknąłem kabel.
Kiedy to poprawiłem i zrestartowałem switcha, miałem co prawda spięte 
prawidłowo (Actiwe Member GE12, GE24), ale LCAP DISABLED. Nie mogłem 
doprowadzić do tego, żeby LACP się włączyło. Wywalałem konfigurację, i 
konfigurowałem na nowo, zmieniałem porty w obu switchach. Nic z tego.
Brakuje mi pomysłu.

I jeszcze jedno: to są switche 28 portowe. Dwa ostatnie porty GE27 i GE28 są 
typu 1000M-ComboC To właśnie na tych portach LACP działa.
Pozostałe porty są typu 1000M-copper, ale to chyba nie powinno mieć 
znaczenia. Tym bardziej, że te switche mogą obsługiwać do 8 Link 
Aggregation.

Dnia 09.03.2017 Jan Stożek <conus-spm@chello.pl> napisał/a:
> Po głębokim namyśle Therminus napisał w Wednesday 08 of March 2017 
> 23:19:
>
>>>> 2) Nie pobiera adresu MAC ze switcha.
>>> 
>>> A port switcha w ogóle ma adres MAC?
>>> 
>> Port switcha? Który port?
>> Sam switch jako taki adres posiada.
>
> 	A jaki adres MAC miałby pobrać rc.bond ze switcha? Bo nie do 
> końca rozumiem.
>

Adres MAC partnera LACP.

Pozdrawiam.
j.p.
-- 
Jacek Peczyński.       gg:4389139      j.peczynskiATgmailDOTcom
Windows 2003 .NET Server "umiejętnie wykorzystany"* jest stabilny.
* czyli wyłączony

Dnia 08.03.2017 Therminus <cysorz_to_ma_klawe_zycie@gazeta.pl> napisał/a:
> Jacek Peczyński wrote:
>
>> Pokaż konfigurację tego switcha.
> Nie za bardzo wiem jak to zrobić. Switch jest zarządzany przez przeglądarkę 
> w trybie graficznym. 

Zalogować się po ssh/telnecie/serialu i wklepać:
show run

Jeśli nie masz możliwości dostać się do terminala, to powinieneś wyklikać
opcję eksportu konfiguracji. Tak na szybko spojrzałem na ten model i
wydaje mi się, że nie powinno być problemu zarówno z terminalem, jak i
eksportem konfiga do pliku tekstowego.

> Włącza się dla wybranych portów Link Aggregation i tyle.
> Mam dwa takie switche i pomiędzy nimi włączyłem agregację dla dwóch portów. 
> Działa. LACP pokazuje "Enabled".
> Natomist dla kart serwera "Disabled"

A jakieś inne opcje dotyczące agregacji są?

Pozdrawiam.
j.p.
-- 
Jacek Peczyński.       gg:4389139      j.peczynskiATgmailDOTcom
Windows 2003 .NET Server "umiejętnie wykorzystany"* jest stabilny.
* czyli wyłączony

Dnia 09.03.2017 Therminus <cysorz_to_ma_klawe_zycie@gazeta.pl> napisał/a:
> Jacek Peczyński wrote:
>
>> Spróbuj mode=802.3ad, niby jest to samo, ale kto wie...
> Niestety, bez zmian
>> Spróbuj zamiast ifenslave użyć "ip link set eth0 master bond0".
> Spróbowałem, ale chociaż nie wystąpiły błędy, to żadnych zmian w skutkach.

Spróbuj także lacp_rate=0. Znowu, teoretycznie nie powinno to robić
różnicy, bo LACP powinno sobie wszystko wynegocjować, ale może pomóc.

> Tak w ogóle to okazało się, że może jest coś nie tak ze switchem.
> Podłączyłem do niego jeszcze jednego (taki sam model) i próbowałem spiąć je 
> razem tak jak tego go poprzedniego. Konfiguracja (poza numerami portów) 
> identyczna. Początkowo LACP ustawiło się na ENABLED, ale pomyliłem jeden 
> port. Tzn inny zdefiniowałem, a w inny wetknąłem kabel.
> Kiedy to poprawiłem i zrestartowałem switcha, miałem co prawda spięte 
> prawidłowo (Actiwe Member GE12, GE24), ale LCAP DISABLED. Nie mogłem 
> doprowadzić do tego, żeby LACP się włączyło. Wywalałem konfigurację, i 
> konfigurowałem na nowo, zmieniałem porty w obu switchach. Nic z tego.
> Brakuje mi pomysłu.

A próbowałeś spiąć Slacka z tym drugim switchem?
Poza tym w konfiguracji linuksa, w którymś tam momencie, zmieniasz adres
MAC bond0. Po co?

> I jeszcze jedno: to są switche 28 portowe. Dwa ostatnie porty GE27 i GE28 są 
> typu 1000M-ComboC To właśnie na tych portach LACP działa.
> Pozostałe porty są typu 1000M-copper, ale to chyba nie powinno mieć 
> znaczenia. Tym bardziej, że te switche mogą obsługiwać do 8 Link 
> Aggregation.

Porty combo, to takie porty współdzielone z SFP, gdzie, albo używasz
wbudowanego portu rj45, albo wkładasz moduł SFP z np. światłowodem. Nie
można na takich portach mieć jednocześnie podłączonej skrętki i czegoś w
SFP. I tak jak napisałeś, nie powinno to robić różnicy, na których
portach ustawiasz LACP.

Dopóki nie pokażesz konfiguracji switcha, ciężko będzie mi powiedzieć
coś więcej. Dodatkowo dostań się do terminala na tym switchu, bo przez
www to ciężko wyciągnąć wszystkie potrzebne informacje z urządzenia.

Pozdrawiam.
j.p.
-- 
Jacek Peczyński.       gg:4389139      j.peczynskiATgmailDOTcom
Windows 2003 .NET Server "umiejętnie wykorzystany"* jest stabilny.
* czyli wyłączony

Therminus wrote:
No, jest pewien postęp.

> Tak w ogóle to okazało się, że może jest coś nie tak ze switchem.
Ze switchem wszystko w porządku. Okazało się, że źle podchodziłem do 
konfiguracji.
W oknie "Edit LAG Membership" pierwsze co należy zrobić, to "zaptaszkować" 
LACP: Enable. Jeśli się tego nie zrobi przed dodaniem portów do LAG Members, 
to potem opcja ta jest nieaktywna. Nie pamiętałem jak to robiłem po raz 
pierwszy i potem myślałem, że to ustawia się automatycznie, skoro nie mogę 
tego edytować.
Wygląda na to, że agregacja kart w serwerze działa.
Na switchu LAG Management pokazuje:
LACP: Enabled
Active Member: GE25, GE26

wynik  cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2 (0)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 200
Down Delay (ms): 200

802.3ad info
LACP rate: fast
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
System MAC address: 00:15:17:89:eb:14
Active Aggregator Info:
	Aggregator ID: 1
	Number of ports: 2
	Actor Key: 9
	Partner Key: 1001
	Partner Mac Address: b0:7d:47:8e:2a:10

Slave Interface: eth0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:89:eb:14
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0
details actor lacp pdu:
    system priority: 65535
    system mac address: 00:15:17:89:eb:14
    port key: 9
    port priority: 255
    port number: 1
    port state: 63
details partner lacp pdu:
    system priority: 1
    system mac address: b0:7d:47:8e:2a:10
    oper key: 1001
    port priority: 3
    port number: 74
    port state: 61

Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:15:17:89:eb:15
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0
details actor lacp pdu:
    system priority: 65535
    system mac address: 00:15:17:89:eb:14
    port key: 9
    port priority: 255
    port number: 2
    port state: 63
details partner lacp pdu:
    system priority: 1
    system mac address: b0:7d:47:8e:2a:10
    oper key: 1001
    port priority: 2
    port number: 73
    port state: 61 

Zastanawia mnie tylko jedna rzecz:
Dla obu interfejsów eth0 i eth1 mam te same wartości
details actor lacp pdu:
    system priority: 65535
    system mac address: 00:15:17:89:eb:14

Dlaczego dla eth1 pokazuje MAC adres eth0?
Mimo to agregacja wydaje się działać w praktyce.
Sprawdzałem kopiowanie dużych plików z sieci na dyski lokalne na dwóch 
stacjach jednocześnie i iptraf w porywach dla bond0 pokazywał ponad 
200MB/sec

Co do drugiego switcha, to niestety straciłem z nim łączność i nici ze 
zdalnej konfiguracji. :(

Jan Stożek wrote:

> A jaki adres MAC miałby pobrać rc.bond ze switcha? Bo nie do
> końca rozumiem.
Adres MAC switcha. I tak rzeczywiście robi.
Bonding już uruchomiony. Patrz niżej

Po głębokim namyśle Jacek Peczyński napisał w Thursday 09 of March 
2017 21:21:

>> A jaki adres MAC miałby pobrać rc.bond ze switcha? Bo nie do
>> końca rozumiem.

> Adres MAC partnera LACP.

	OK, dzięki. 

-- 
Pozdrawiam,

(js).

PS. Odpowiadając bezpośrednio proszę usunąć minus wraz ze wszystkimi 
kolejnymi literami.

Dnia 09.03.2017 Therminus <cysorz_to_ma_klawe_zycie@gazeta.pl> napisał/a:
> Therminus wrote:
> No, jest pewien postęp.
>
>> Tak w ogóle to okazało się, że może jest coś nie tak ze switchem.
> Ze switchem wszystko w porządku. Okazało się, że źle podchodziłem do 
> konfiguracji.
> W oknie "Edit LAG Membership" pierwsze co należy zrobić, to "zaptaszkować" 
> LACP: Enable. Jeśli się tego nie zrobi przed dodaniem portów do LAG Members, 
> to potem opcja ta jest nieaktywna. Nie pamiętałem jak to robiłem po raz 
> pierwszy i potem myślałem, że to ustawia się automatycznie, skoro nie mogę 
> tego edytować.

Czyli było tak jak napisałem w pierwszym moim poście: "Wygląda mi na to,
że switch nie negocjuje LACP." ;)

> Zastanawia mnie tylko jedna rzecz:
> Dla obu interfejsów eth0 i eth1 mam te same wartości
> details actor lacp pdu:
>     system priority: 65535
>     system mac address: 00:15:17:89:eb:14
>
> Dlaczego dla eth1 pokazuje MAC adres eth0?

Przeczytaj dokładnie co tam pisze. Nie jest to adres MAC eth1, ale adres
grupy agregacji (bond0). Spróbuj dodać karty sieciowe do bond0 w
odwrotnej kolejności, to zobaczysz MAC eth1 jako "system mac address".

> Mimo to agregacja wydaje się działać w praktyce.
> Sprawdzałem kopiowanie dużych plików z sieci na dyski lokalne na dwóch 
> stacjach jednocześnie i iptraf w porywach dla bond0 pokazywał ponad 
> 200MB/sec
>
> Co do drugiego switcha, to niestety straciłem z nim łączność i nici ze 
> zdalnej konfiguracji. :(
>

Dla tego gorąco polecam Ci zaprzyjaźnić się z CLI. Zanim zrobisz coś
potencjalnie destruktywnego, odpalasz "reload in 10", i za 10 minut switch
się przestartuje z działającą konfiguracją. Dodatkowo przy CLI trudniej
"niezaptaszkować" czegoś.

Pozdrawiam.
j.p.
-- 
Jacek Peczyński.       gg:4389139      j.peczynskiATgmailDOTcom
Windows 2003 .NET Server "umiejętnie wykorzystany"* jest stabilny.
* czyli wyłączony