🚀 go-pugleaf

On 06/18/2011 05:03 PM, Marcin Markowski wrote:
> Witam,
>
> Posiadam serwer którego celem jest monitoring ruchu w sieci. Niestety
> od pewnego czasu, jak tylko ruch do karty monitorującej przekroczy
> 6Gbit/s, to na czas (30 sekund) działania skryptu maszyna traci kontakt
> z siecią. Czy któryś z użytkowników ma może doświadczenie w optymalizacji
> FreeBSD do pracy z kartami sieciowymi 10G?
> Maszyna działa obecnie na FreeBSD 8.2, a sprzęt to 2x Xeon E5520, 6GB
> ramu oraz karta sieciowa Intel X520-DA2.
>
Nie uzywam Intela. Uzywam Solaflare i ona wymagala update 
firmware/sterowniki. Moze to nie wina OS tylko karty?Moze musisz 
zwiekszyc buffer?

Pozdrawiam
m

On Tue, 21 Jun 2011, mk wrote:
> On 06/18/2011 05:03 PM, Marcin Markowski wrote:
>> Witam,
>> 
>> Posiadam serwer którego celem jest monitoring ruchu w sieci. Niestety
>> od pewnego czasu, jak tylko ruch do karty monitorującej przekroczy
>> 6Gbit/s, to na czas (30 sekund) działania skryptu maszyna traci kontakt
>> z siecią. Czy któryś z użytkowników ma może doświadczenie w optymalizacji
>> FreeBSD do pracy z kartami sieciowymi 10G?
>> Maszyna działa obecnie na FreeBSD 8.2, a sprzęt to 2x Xeon E5520, 6GB
>> ramu oraz karta sieciowa Intel X520-DA2.
>> 
> Nie uzywam Intela. Uzywam Solaflare i ona wymagala update 
> firmware/sterowniki. Moze to nie wina OS tylko karty?Moze musisz zwiekszyc 
> buffer?

Pytaniem jest tylko który buffer? Przeglądnąłem dość dużą ilość
"tutoriali" na temat optymalizacji FreeBSD dla kart 10G, jednak wykonane
zmiany nie przyniosły efektów.
Możliwe jednak, że udało mi się ustalić, że winny jest sterownik (igb) od
karty 1GbE, którą maszyna miała wyjście na świat. Jeśli sterownik ma
ustawiony tryb MSI-X do generowania przerwań, to z jakiegoś powodu
wysycenie karty 10G (sterownik ixgbe oraz także tryb przerwań MSI-X)
powoduje utratę łączności.
Sytuacja jest o tyle ciekawa, że lokalne połączenia (w tej samej podsieci)
działają bez problemu. Po przełączeniu sterownika igb na przerwania MSI
maszyna nie traci połączenia, jednak teraz co chwilę watchdog resetuje mi
kartę. Na szczęście mam jeszcze starszy model karty sieciowej, który
działa na sterowniku em, gdzie domyślnie jest tryb MSI i nie ma problemów
z utratą łączności.
Niestety zaobserwowałem jeszcze strasznie przyrastający licznik "Input
erros". Co może być przyczyną błędów na poziomie ~24%? Na 948 milionów
pakietów jest 230 milionów błędów.

-- 
Marcin Markowski

On 06/21/2011 05:36 PM, Marcin Markowski wrote:
> On Tue, 21 Jun 2011, mk wrote:
>> On 06/18/2011 05:03 PM, Marcin Markowski wrote:
>>> Witam,
>>>
>>> Posiadam serwer którego celem jest monitoring ruchu w sieci. Niestety
>>> od pewnego czasu, jak tylko ruch do karty monitorującej przekroczy
>>> 6Gbit/s, to na czas (30 sekund) działania skryptu maszyna traci kontakt
>>> z siecią. Czy któryś z użytkowników ma może doświadczenie w
>>> optymalizacji
>>> FreeBSD do pracy z kartami sieciowymi 10G?
>>> Maszyna działa obecnie na FreeBSD 8.2, a sprzęt to 2x Xeon E5520, 6GB
>>> ramu oraz karta sieciowa Intel X520-DA2.
>>>
>> Nie uzywam Intela. Uzywam Solaflare i ona wymagala update
>> firmware/sterowniki. Moze to nie wina OS tylko karty?Moze musisz
>> zwiekszyc buffer?
>
> Pytaniem jest tylko który buffer? Przeglądnąłem dość dużą ilość
> "tutoriali" na temat optymalizacji FreeBSD dla kart 10G, jednak wykonane
> zmiany nie przyniosły efektów.
> Możliwe jednak, że udało mi się ustalić, że winny jest sterownik (igb) od
> karty 1GbE, którą maszyna miała wyjście na świat. Jeśli sterownik ma
> ustawiony tryb MSI-X do generowania przerwań, to z jakiegoś powodu
> wysycenie karty 10G (sterownik ixgbe oraz także tryb przerwań MSI-X)
> powoduje utratę łączności.
> Sytuacja jest o tyle ciekawa, że lokalne połączenia (w tej samej podsieci)
> działają bez problemu. Po przełączeniu sterownika igb na przerwania MSI
> maszyna nie traci połączenia, jednak teraz co chwilę watchdog resetuje mi
> kartę. Na szczęście mam jeszcze starszy model karty sieciowej, który
> działa na sterowniku em, gdzie domyślnie jest tryb MSI i nie ma problemów
> z utratą łączności.
> Niestety zaobserwowałem jeszcze strasznie przyrastający licznik "Input
> erros". Co może być przyczyną błędów na poziomie ~24%? Na 948 milionów
> pakietów jest 230 milionów błędów.
>
Nie wiem jaki typ ruchu masz na sieci. Te bledy moga wynikac np z tego 
masz multicasty i za maly bufor wejsciowy zeby przyjac taki ruch.To moze 
tez byc firmware na karcie, probowales zrobic aktualizacje?

pozdrawiam
m

On Wed, 22 Jun 2011, mk wrote:

> On 06/21/2011 05:36 PM, Marcin Markowski wrote:
>> On Tue, 21 Jun 2011, mk wrote:
>>> On 06/18/2011 05:03 PM, Marcin Markowski wrote:
>>>> Witam,
>>>> 
>>>> Posiadam serwer którego celem jest monitoring ruchu w sieci. Niestety
>>>> od pewnego czasu, jak tylko ruch do karty monitorującej przekroczy
>>>> 6Gbit/s, to na czas (30 sekund) działania skryptu maszyna traci kontakt
>>>> z siecią. Czy któryś z użytkowników ma może doświadczenie w
>>>> optymalizacji
>>>> FreeBSD do pracy z kartami sieciowymi 10G?
>>>> Maszyna działa obecnie na FreeBSD 8.2, a sprzęt to 2x Xeon E5520, 6GB
>>>> ramu oraz karta sieciowa Intel X520-DA2.
>>>> 
>>> Nie uzywam Intela. Uzywam Solaflare i ona wymagala update
>>> firmware/sterowniki. Moze to nie wina OS tylko karty?Moze musisz
>>> zwiekszyc buffer?
>> 
>> Pytaniem jest tylko który buffer? Przeglądnąłem dość dużą ilość
>> "tutoriali" na temat optymalizacji FreeBSD dla kart 10G, jednak wykonane
>> zmiany nie przyniosły efektów.
>> Możliwe jednak, że udało mi się ustalić, że winny jest sterownik (igb) od
>> karty 1GbE, którą maszyna miała wyjście na świat. Jeśli sterownik ma
>> ustawiony tryb MSI-X do generowania przerwań, to z jakiegoś powodu
>> wysycenie karty 10G (sterownik ixgbe oraz także tryb przerwań MSI-X)
>> powoduje utratę łączności.
>> Sytuacja jest o tyle ciekawa, że lokalne połączenia (w tej samej podsieci)
>> działają bez problemu. Po przełączeniu sterownika igb na przerwania MSI
>> maszyna nie traci połączenia, jednak teraz co chwilę watchdog resetuje mi
>> kartę. Na szczęście mam jeszcze starszy model karty sieciowej, który
>> działa na sterowniku em, gdzie domyślnie jest tryb MSI i nie ma problemów
>> z utratą łączności.
>> Niestety zaobserwowałem jeszcze strasznie przyrastający licznik "Input
>> erros". Co może być przyczyną błędów na poziomie ~24%? Na 948 milionów
>> pakietów jest 230 milionów błędów.
>> 
> Nie wiem jaki typ ruchu masz na sieci. Te bledy moga wynikac np z tego masz 
> multicasty i za maly bufor wejsciowy zeby przyjac taki ruch.To moze tez byc 
> firmware na karcie, probowales zrobic aktualizacje?

W sumie karta odbiera wszystko co lata w sieci (łącznie z multicastami).
Mogę zapytać które ustawienia odpowiadają za bufor dla karty sieciowej?
Nie jestem pewien, czy wykorzystuje np. net.inet.udp.recvspace gdy pakiet
nie jest skierowany do systemu? (maszyna służy tylko do sprawdzania ruchu
przy użyciu aplikacji korzystających z libpcap).
Jeśli chodzi o firmware dla karty, to poza obrazem dla PXE nic innego
nie znalazłem.

-- 
Marcin Markowski