Skip to content

Liveupgrade und Clusterrückbau oder wie ein ZFS Snapshot

uns gerettet hat.

Am letzten Wochenende war Wartung der bestehenden Solaris Systeme angesagt.

Die große Herausforderung meinerseits war Veritas Rückbau, Sun Cluster Rückbau und anschließendes Live Upgrade der Solaris Systeme 10u7 auf 10u11 um den Upgrade der DB/2 auf Version 10 zu ermöglichen.

Da hier in diesem speziellen Environment die Datasets verschachtelt sind.

Bs:  zpool/dataset/dataset oder zpool/dataset/dataset/dataset. Mussten auch diese zurück gebaut werden.

Die besondere Challenge bei diesem Gemischtwarenladen war das auch Zpools teilweise delegated Zpools waren, die von der Global Zone per zoned flag ON in die Zone rein gebaut sind und die Datasets in der Zone selbst angelegt werden können.

Wie üblich hab ich also meine Checkliste abgearbeitet.

Leider war dies einer dieser Liveupgrades die extrem verzichtbar sind. Durch die Neuverteilung der Zonen auf die beiden Maschinen, waren auf einer Seite 20 Zonen auf der anderen Maschine Drei.

Wie immer ist Liveupgrade eine Wundertüte, bei 20 Zonen dauert der luupgrade natürlich etwas länger. Das an sich wäre ja kein Beinbruch, blöd wird es dann wenn der Liveupgrade verhungert und trotz aktuellem Patchlevel und neuester Pakete nur noch lu, lusync, lucopy und pfinstall Prozesse im defunct zu sehen sind. Was bleibt also übrig?

ludelete... Maschine runter reissen... lucreate neu ansetzen. Tja dann ist es schon Eine Stunde nach Mitternacht.

Weil es so schön ist....

startet man den luupgrade neu.... 

Kurz gesagt... um Drei bin ich ins Bett... am nächsten Morgen um 07:45 wieder aufgeschlagen... "Upgrading Solaris bei 85%"

Nach dem prüfen der anderen Maschine fest gestellt das der Liveupgrade auf dem anderen Knoten... zwar "offensichtlich" alles richtig gemacht hat.... sich aber an der /var/sadm/contents verschluckt hat und manche Zonen missing Packages zu bieten hatten.

Beim anfahren der Zonen im Single User Mode feststellen dürfen das der zlogin schon daran scheitert das.. /exec fehlt... Super... Genau das was man sich wünscht.

Missing Packages in den Zonen en masse.

In dem Fall hat uns ein zfs rollback zonepool/zonepatch@snapshot gerettet...

Die Zonen konnten mittels zoneadm detach abgehängt und mittels zoneadm update on attach-u wieder auf einen funktionsfähigen Paketstand gebracht werden.

Den Liveupgrade in dieser Form würde ich so nicht wieder machen. Ein Veritas und Cluster Rückbau, plus Liveupgrade der einzelnen Knoten ist für ein einzelnes Wartungswochenende zu viel. Insbesondere deswegen da der Zeitrahmen für 20 Zonen einfach zu kurz ist. Aber ich hätte es selbst besser wissen und den Liveupgrade in dieser Form ablehnen müssen aus Gründen der Betriebssicherheit, in diesem Fall stand ich zweimal kurz davor den Liveupgrade abzubrechen und zurück zu rollen. Auf das alte Solaris Release.

An dieser Stelle kann ich mich nur bei der Frau Kollegin bedanken die mit dem Idee den ZFS Snapshot zurück zu rollen um die Ecke kam. :-) 

Gespannt bin ich allerdings was Oracle mir erzählt, wieso der liveupgrade hin und wieder einfach die /var/sadm/contents nicht korrekt umsetzt.

Das es Probleme mit Migrationszonen gibt, ist ja nichts neues, aber ich sehe es immer wieder das der Liveupgrade Mechanismus in dem Punkt nicht immer  hundertprozentig funktioniert. Auch waren teilweise in den Zonen noch Abhängigkeiten zum Sun Cluster in der SMF definiert, obwohl dieser schon vor dem Anlegen des Bootenvironments deinstalliert war. 

Trackbacks

Keine Trackbacks

Kommentare

Ansicht der Kommentare: Linear | Verschachtelt

Noch keine Kommentare

Kommentar schreiben

Umschließende Sterne heben ein Wort hervor (*wort*), per _wort_ kann ein Wort unterstrichen werden.
Standard-Text Smilies wie :-) und ;-) werden zu Bildern konvertiert.
Die angegebene E-Mail-Adresse wird nicht dargestellt, sondern nur für eventuelle Benachrichtigungen verwendet.
BBCode-Formatierung erlaubt
Pavatar, Gravatar, Favatar, MyBlogLog Autoren-Bilder werden unterstützt.
:'(  :-)  :-|  :-O  :-(  8-)  :-D  :-P  ;-) 
Formular-Optionen