News
ZurückNeue Border-Router mit FRRouting (FRR)
cloudscale.ch wächst – und damit die Anforderungen an unser Netzwerk. Mit einer umfassenden Überarbeitung optimieren wir derzeit das bereits komplett redundante Netzwerk nochmals deutlich. Mit dem Austausch unserer Border-Router konnte ein erster Ausbauschritt erfolgreich abgeschlossen und damit die Kapazität unserer Internet-Anbindungen erheblich erhöht werden.
Wie und warum wir neue Border-Router evaluiert haben
Geht es um performante Router für grosse Netze, fallen schnell einmal die Namen von Branchengrössen wie Brocade, Cisco oder Juniper. Routing und Forwarding geschieht üblicherweise in speziell dafür ausgelegter Hardware in Kombination mit proprietärer Software des jeweiligen Herstellers. Als Cloud-Provider, der Open-Source in seiner DNA verankert hat, wollten wir jedoch das Feld der potenziellen Lösungen etwas weiter stecken.
Die Hauptanforderung an unsere neuen Border-Router war, 6-8 Ports mit einem Durchsatz von mindestens 10 Gbps zu haben – hier stiessen wir an die Grenzen der Möglichkeiten mit unserer bestehenden Lösung, was mit einer der Hauptgründe für einen Ersatz war. Ausserdem benötigten wir mehrere 1-Gbps-Ports für die Anbindung der Management-Infrastruktur und weiterer Netzwerkkomponenten. Redundante Netzteile und die Möglichkeit von Out-of-Band-Management setzten wir natürlich voraus. In Bezug auf die Software waren die üblichen Protokolle in unserem Anforderungskatalog: OSPF und BGP.
Dank der etwas früher gestarteten Evaluation eines neuen Leaf-Spine-Setups sind wir auf Free Range Routing (FRRouting) aufmerksam geworden: Dieses Open-Source-Projekt wird von verschiedenen Herstellern (darunter Cumulus Networks) mit dem Ziel getragen, einen stabilen und skalierbaren Routing Daemon zu entwickeln. Seit Frühjahr 2017 steht FRRouting zudem unter dem Dach der Linux Foundation.
Mit der passenden Hardware könnte FRRouting also auch für unsere Border-Router ein vielversprechender Kandidat sein. In Betracht zogen wir dafür Hardware von Intel (unserem Partner für Compute- und Storage-Nodes) sowie von Lanner, deren x86-basierte Appliances mit einer hohen Dichte an modularen Netzwerk-Ports punkten.
PoC und Migration in zwei Schritten
Nach einem "Proof of Concept" mit FRRouting (zuerst virtualisiert mit Linux KVM und dann physisch auf Lanner-Hardware) waren wir überzeugt: Dieses Setup deckt nicht nur unsere Bedürfnisse an Performance und Zuverlässigkeit ab, sondern integriert sich dank dem Einsatz von Ubuntu auch bestens in unsere übrige Architektur. Ubuntu, das Betriebssystem unserer Wahl für die Infrastruktur bei cloudscale.ch, ist zugleich die Referenz-Testplattform von FRRouting unter Linux.
Ein wichtiger Vorteil des neuen Setups ist, dass wir unsere ganze Netzwerktopologie und damit insbesondere die neuen Border-Router virtualisiert in unserem Lab abbilden können. Dies hat uns bei der Planung der anstehenden Migration geholfen, da wir so in einem ersten Schritt alle Installationsabläufe und die erarbeitete Konfiguration beliebig oft testen konnten, ohne dabei den produktiven Betrieb zu stören.
In einem zweiten Schritt wurden die bestehenden Router im Rahmen eines Wartungsfensters durch die neuen Geräte ersetzt und die Migration damit erfolgreich abgeschlossen.
Vorteile und Möglichkeiten der neuen Architektur
Dank solider Performance, der möglichen Erweiterung um zusätzliche Interface-Module sowie der aktiven Weiterentwicklung von FRRouting durch eine breit abgestützte Community sind unsere neuen Router für die Zukunft gerüstet. Zudem fügen sie sich nahtlos in das erwähnte Leaf-Spine-Setup von Cumulus Networks ein, welches wir im Sommer 2018 in Betrieb nehmen werden. Die identische Software-Basis garantiert nicht nur beste Kompatibilität, sondern auch Effizienz bei der Wartung. Schliesslich erlaubte uns der attraktive Einkaufspreis der neuen Hardware, zusätzlich zum vollständig redundanten Aufbau, die Beschaffung eines komplett bestückten Ersatzgerätes.
Mit der erfolgreichen Migration haben wir gleichzeitig auch die Grundlagen dafür geschaffen, unsere Border-Router noch enger in unser Konfigurations-Management miteinzubinden – künftig werden wir sämtliche Änderungen an der Netzwerk-Konfiguration über dieses zentrale Werkzeug vornehmen. Sobald alle Netzwerk-Komponenten auf FRRouting laufen, sind wir auch bereit für den nächsten Meilenstein: die Umstellung unseres Netzwerks auf BGP unnumbered zur Reduktion der Komplexität und des Verbrauchs an IPv4-Adressen.
Offen und bestens vernetzt.
Ihr cloudscale.ch-Team
PS: Unser CEO, Manuel Schweizer, hat am SwiNOG-Meeting vom 9.11.2017 in Bern eine Präsentation zum Thema FRRouting und BGP unnumbered gehalten.