Omówienie testu AP Wi-Fi 6 - Enterprise Wi-Fi Stress Test

Dwa lata po pojawieniu się pierwszych punktów dostępowych zgodnych z nowym standardem Wi-Fi 6 (802.11ax) można pokusić się o poważne porównania i testy wydajnościowe sprzętu zgodnego z tą technologią. Przykładem takiego szeroko zakrojonego badania są testy, które przeprowadziła firma konsultingowa Packet6. Poniżej omawiamy je skrótowo. Pełne rezultaty są dostępne tutaj (wymaga rejestracji). Raport skrócony dostępny jest tu. Krótki film można zobaczyć tu.

Podstawową różnicą pomiędzy standardem Wi-Fi 6 a wcześniejszymi wersjami jest optymalizacji pod kątem wydajności protokółu w warstwach 1 i 2 - tak aby zapewniał on większą pojemność, tj. lepszą utylizację dostępnego pasma radiowego. (Tutaj dostępny jest nasz artykuł dotyczący standardu Wi-Fi 6) Na tej kwestii skupiały się właśnie testy, które opisujemy - były to badania o charakterze obciążeniowym, w których pojedynczy AP musiał obsłużyć rosnący ruch pochodzący od kilkudziesięciu klientów.

Co testowano?

Testowano 5 modeli AP pochodzących od następujących producentów: HPE Aruba, Extreme Networks, Juniper Mist, Cisco Meraki and CommScope Ruckus. Wszystkie wybrane do testu AP mają podobną podstawową charakterystykę: są to tzw. modele "high-end", zgodne ze standardem Wi-Fi 6, wyposażone w radia MIMO 4x4:4. Wszystkie (w badanej konfiguracji) zarządzane były chmurowo i za wyjątkiem jednego posiadają interfejs Ethernet 2.5 Gbps (jeden z modeli posiada interfejs 5 Gbps). Poniższa tabelka nr 1 podsumowuje konfigurację testowanego sprzętu:

Co istotne, każdy AP był testowany w konfiguracji out-of-the box, bez dodatkowego strojenia konfiguracji czy też niestandardowej optymalizacji parametrów.

Po co i jak testowano?

Istotą testu było wygenerowanie ruchu sieciowego, który miałby charakter realistyczny, przy jednoczesnym dużym obciążeniu punktu dostępowego. Zastosowano więc zestaw różnych klientów:

• 30 szt. laptopów Dell Latitude 5400 z chipsetem Wi-Fi 6 Intel AX200 2x2, generowało ruch wideo w postaci strumieni Video-HD (ok. 9Mbps każdy)
• 20 szt. laptopów Apple MacBook Pro 2015 model z chipsetem  Wi-Fi 5 3x3 generowało symulowany ruch danych odpowiadający operacjom takimi jak: przegladanie internetu, transfery plików, itp.
• 5 szt. tabletów Apple iPad z chipsetem Wi-Fi 5 2x2 także generowało ruch danych
• 5 szt, tabletów Apple iPad, z chipsetem Wi-Fi 5 2x2 generowało ruch VoIP (Voice over IP)

Transmisję prowadzono wyłącznie w paśmie 5 GHz UNII-3 z jednym kanałem 80 Mhz i jednym SSID. Komputery i tablety testowe rozmieszczono w dwóch sąsiadujących pokojach - zob. fot. 1. Do generowania ruchu i jego pomiarów wykorzystano oprogramowanie IxChariot.

 Fot. 1 - Konfiguracja pomieszczenia testowego

Schemat logiczny sieci oraz przepływu danych pokazano na obrazku poniżej - rys. 1.

Rys. 1 - Schemat sieci i przepływów danych.

Co mierzono?

Podstawową miarą była przepustowość, jednak równie kluczowa była ocena płynności transmisji - co dotyczyło zarówno tranmisji wideo jak i transmisji VoIP. Dla wideo obserwowano na ilu klientach następują przerwy lub zawieszenie się odtwarzania strumienia. Dla VoIP wprowadzono parametr MOS (mean opinion score) służący do oceny jakości dźwięku w skali 1-5 (1- zła, 2 - słaba, 3 - akceptowalna, 4 - dobra, 5 - idealna). Ruch VoIP cechuje niska przepustowość, ale wymaga on poprawnej obsługi mechanizmów QoS (Quality of Service) - w przeciwnym przypadku następują zaniki lub zniekształcenia głosu.Ocena transmisji wideo była prowadzona w trzech fazach: faza wstępna - tylko transmisja wideo, faza właściwa - wszystkie rodzaje transmisji aktywne, faza końcowa - tylko transmisja wideo. Taka ocena byla zasadna, gdyż w niektórych przypadkach AP nie był w stanie obsłużyć wszystkich klientów wideo nawet przed rozpoczęciem właściwego testu. Podobnie - po wyłączeniu transmisji VoIP i danych nie zawsze następował powrót zawieszonych klientów wideo do normalnego funkcjonowania.

Wyniki

Na rysunku nr 2 (poniżej) pokazano łączną przepustowość zmierzoną dla poszczególnych AP. Sumaryczna przepustowość dotyczy ruchu wideo oraz danych. Większe wartości są lepsze, ale pod warunkiem zachowania odpowiedniej jakości transmisji.

Rys. 2 - Osiągnięta przepustowosć w Mbps.

Na rysunku 3 (poniżej) pokazano liczbę poprawnie obsługiwanych klientów wideo. Dla każdego AP zobrazowano trzy fazy:

• "Before Test" odpowiada liczbie poprawnie obsługiwanych klientów przed włączeniem ruchu danych.
• "During Test" odpowiada liczbie poprawnie obsługiwanych klientów w trakcie obsługi ruchu danych.
• "After Test" odpowiada liczbie poprawnie obsługiwanych klientów po wyłączeniu ruchu danych.

Jak widać, większość AP bez problemu obsługiwała "czysty" ruch wideo. Po włączeniu ruchu danych, dla wszystkich AP za wyjątkiem jednego AP Ruckus, liczba poprawnie obsługiwanych klientów znacząco spadła. Po wyłączeniu ruchu danych dwa AP nadal poprawnie obsługiwały strumienie wideo. Dwa kolejne AP nie obsłużyły poprawnie 1-3 klientów, a jeden AP wrócił do poprawnej obsługi tylko połowy klientów.

Rys. 3 - Liczba poprawnie obsługiwanych klientów wideo.

Na rysunku 4 pokazano wartości MOS (jakość tranmisji VoIP). Wykres te obrazuje jak dobrze AP radzi sobie z zachowaniem wysokiego priorytetu dla danych głosowych. Wyższe wartości są lepsze.

Więcej wyników, w tym dokładna analiza utylizacji pasma znajduje się w oryginalnym raporcie.

Rys. 4 - Parameter MOS obrazujacy jakość tranmisji VoIP.

Wnioski, podsumowanie, interpretacja.

Przechodząc do podsumowania wyników testu należy w pierwszej kolejności wymienić jego kontekst i ograniczenia - test dotyczył jednego punktu dostępowego. Nie jest on miarodajny do pełnej oceny, czy też przewidywań dotyczących funkcjonowania sieci złożonej z: kilkunastu, kilkudziesięciu (lub większej liczby) punktów dostępowych. Test dotyczył przepustowości oraz jakości obsługi ruchu, jednak w zależności od charakterystyki wykorzystania sieci bezprzewodowej w danym zastosowaniu, rodzaju wykorzystanych klientów i oprogramowania, wyniki podobnych pomiarów mogłyby się różnić.

Niemniej, wyniki testu są dość jednoznaczne - dla intensywnego, ale typowego ruchu, generowanego przez standardowych klientów, wykorzystujących zarówno interfejsy zgodne z Wi-Fi 5, jak i Wi-Fi 6 (co obecnie jest typową sytuacją) tylko AP produkcji Ruckus był w  stanie w pełni, bez przerw i bez tzw. "lagowania" we wszystkich fazach testów obsłużyć 100% generowanego ruchu.

AP pozostałych klientów wykazywały:

• zaniki i przerwy strumienia wideo, w skrajnym przypadku zanik 90% strumieni wideo,
• brak powrotu do poprawnej obsługi po wyłączeniu dodatkowego ruchu danych,
• brak lub słabą obsługę QoS w ruchu VoIP,
• niską ogólną przepustowość.

Tak więc, o jakości funkcjonowania AP, zwłaszcza wysoko wydajnych, nie przesądza tylko standardowy chipset Wi-Fi 6. Sposób implementacji standardu znacząco różni się między dostawcami sprzętu i nie możemy oczekiwać takiego samego zachowania sie różnych AP w warunkach intensywnego obciążenia.