Ja ich bin spät bei der Sache dabei. Vor Jahren habe ich mal mit einem 3D Drucker rumgespielt und es war mir schnell mal sehr zu frickelig. Nachdem ich in Prag war und mit JP über alles mögliche gesprochen habe was mit 3D Druck so geht heutzutage hat er mir spontan angeboten, dass während seinen Ferien sein Prusa Mini bei mir Ferien machen darf. Und da hab ich hab mich irgendwie in das Rabbithole reingeworfen.
Das ganze ist unterdessen einfacher als gedacht. Da ich meine Projektli bisher eher schlecht als recht dokumentiere (*hust* Camperausbau) versuche ich das in den folgenden Beiträgen das ein bisschen besser zu machen.
Ein sehr kalter Frühling gefolgt von einem sehr nassen aber intensiven Sommer und einen wunderbaren Herbst, sternenklare Nächte und der ewige drang einen neuen Platz zu finden.
Etwa so würde ich vergangenes Jahr zusammenfassen. Vergangenes Jahr habe ich gute 6 Monate in meinem Bus gewohnt und keinen festen Wohnsitz gehabt. Sachen zu tun bei welchen man zwar sagt, “Das war jetzt nicht die schlaueste Idee, aber es war schön und ich habe viel gelernt.” sollte Mensch mehr tun.
Irgendwann im Sommer durfte ich noch ein Interview für die Bärner Studizytig geben mit dem wunderbaren Titel “Qualität vor Quadratmeter” ist ein schöner Artikel erschienen welcher verschiedene Kleinwohnformen von der Jurte über das Tinyhouse bis zur Zwischennutzung und eben auch das leben im Bus beleuchtet.
Was jetzt?
Diese Frage habe ich mir öfters gestellt in den vergangenen Monaten. Klar war, dass ich den Winter nicht im Bus verbringen will, weil das wäre mir mit der momentanen Ausrüstung, der Kälte und der zunehmenden Abhängigkeit von Landstrom zu anstrengend. Leider ist eine Schöne Industriehalle welche ebenfalls Büro/Werkstatt genutzt werden kann leider auch nicht zum greifen nahe. Dem Drang minimalistisch zu Leben will ich jedoch nicht nachgeben und habe mir eine 2-Zimmer Wohnung unweit von Zürich gesucht. Auf knapp 50 Quadratmetern kann ich so meinen Fuchsbau einrichten.
Umziehen / Ausmisten mit Distanz
Beim Interview mit Bettina von der Studizytig entfuhr ihr einmal “Du hast echt wenig Dinge”, als sie meine T-Shirt Sammlung anschaute welche in einer kleinen Eurobox platz haben. Ich geniesse die kleine Auswahl an Lieblings-Shirts. Wenn du jedes Kleidungsstück das du besitzt ein Lieblingsstück ist ist das für mich perfekt. Klar gewinnt man mit einer minimalistischen Garderobe in Zürich oder Zug keine Street-Style Trophäen, aber das wird den meisten die mich kennen zum vornherein klar gewesen sein 😉
Nach 6 Monaten das Lager von meinen Kisten befreien war spannend, die paar Monate Distanz zu meinen Habseligkeiten ist ein spannender Schritt, denn nur wenige Dinge hab ich wirklich vermisst. Die zeitliche Distanz macht es einfacher mich von einen guten Teil der verbliebenen Dinge zu trennen. Brauch ich wirklich noch eine grosse Stereoanlage, so viel Geschirr und Besteck oder darf es auch weniger sein. Nein es muss in gewissen Bereichen fast weniger sein, die alte Küche hatte immens viel Platz und hat das alles einfach so in den zahlreichen Schränken seinen platz gefunden. Jetzt mache ich mir Gedanken was ich wirklich brauche und das wandert aus der Kiste in die Küche, was übrig bleibt wird einen neuen Platz finden vorzugsweise in Verwendung bei anderen Menschen die diese Dinge nutzen werden. Ich werde also potentiell mein Online-Flohmarkt-Game wieder perfektionieren 🙂
Das Leben unterwegs
Im Bus leben ist ja eigentlich nichts wirklich neues. In der Schweiz gibt es eine kleine aber feine Community an Menschen die das ganze “Vollzeit” betreiben und ich hatte das Glück einige davon kennenlernen zu dürfen, ein Abendessen zu teilen oder irgendwo im nirgendwo mal wieder auf ein bekanntes Gesicht zu treffen das hinter einem Bus hervorlugt und grinsend sagt “Salut Bäschtu, auch mal wieder hier?”.
Manchmal war ich auch dankbar ein paar Tage irgendwo unterzukommen und *hust* die Waschmaschine und Dusche nutzen zu dürfen. Dabei durften mich meine Eltern mal wieder auf Besuch einstellen und auch bei einigen Freunden war ich auch eine mehr oder weniger regelmässige Erscheinung. Oder ich habe mal 2 Wochen im Sommer die Wohnung einer Freundin gehütet, was toll war weil es entweder regnete oder 30+ Grad war, was im Bus beides nur halb so lustig ist weil man entweder immer in der Nässe ist oder langsam gar gekocht wird – Nein eine Klima-Anlage passt nicht ins Off-Grid Stromkonzept mit 1kW Stromspeicher.
Einfachheit
Generell ist es ein einfaches Leben. Es muss einfach sein, weil du hast weder den Platz noch die Lust viel Tand mit dir rumzuführen und du räumst vor jedem Standortwechsel auf. Wenn du das nicht tust hast du entweder eine ziemliche Sauerei im Bus oder musst danach wirklich aufräumen. Das Leben nett und ordentlich in Rako-Kisten unterzubringen und auch genau so schnell ausgemistet zu haben ist toll, unnützes fliegt sehr schnell raus.
Und nun?
Ja schauen wir mal. Ich bin ganz froh über die momentane Wohnsituation, vermisse die alte WG (was sehr gegenseitig ist 🎉) aber versuche das alleine Wohnen mal. Ich bin froh, meinen Laden um die Ecke, meinen Briefkasten wieder zu haben. Es geht auch ohne, dies macht aber das Leben anstrengender.
In der Schweiz sind die Stimmberechtigten in diesem Jahr so zahlreich an die Urne geströmt wie seit vielen Jahren nicht mehr. Über 13 Vorlagen wurde auf nationaler Ebene abgestimmt. Bei keiner lag die Stimmbeteiligung unter 50 Prozent. Im Durchschnitt beteiligten sich 57.2 Prozent der Stimmberechtigten.
Am stärksten mobilisierte die zweite Abstimmung über das Covid-19-Gesetz von Ende November. 65.7 Prozent gaben ihre Stimme ab. Das ist auf der ewigen Rangliste die vierthöchste Wahlbeteiligung.
Das wichtigste in dieser Zeit ist, dass die Menschen die jetzt neu von ihrem Stimmrecht gebrauch gemacht haben, verstehen wie das System funktioniert. Denn nichts wäre gefährlicher, als den Frust von “verlorenen” Abstimmungen als Treiber für Ideen wie Abstimmungsbetrug genutzt werden würde. Auch wenn es die Strömung bereits gibt in der Schweiz ist der Einfluss glücklicherweise noch klein.
Denn der demokratische Prozess ist langsam und wenn sie nicht polarisiert teilweise auch sehr langweilig.
Abstimmungen sind vereinfachend – du kannst Ja oder Nein sagen oder dich mit deiner Stimme enthalten. Und zu dem Prozess gehört es auch dazu ab und an auf der Seite zu stehen die weniger Stimmen für ein Thema hatte. Ich erinnere mich wie ich einer Freundin welche als Campaignerin arbeitete, mal gesagt habe dass regelmässiger Abstimmungen zu gewinnen toll wäre nachdem ein Wochenende nicht gelaufen ist wie es “sollte” und sie meinte nur: “Ach, da stehst du drüber, die nächste Abstimmung ist schon bald” und so ist es. Und weil das System langsam und solide ist, ist ein Ja oder Nein seltenst ein Weltuntergang und der Frust hat glücklicherweise meistens eine kurze Halbwertszeit.
When you put workloads on Kubernetes, most of your debugging and hunting for errors can quickly escalate into a murder mystery. Not much to a surprise, this was also the case for parts of our Prometheus stack.
A few words on Prometheus: Once you start out using Prometheus, it might be a bit cumbersome and high initial investment, but as soon as you gather the data, you will be able to do a lot of great things just because the data is there. So if you are starting with it: Just keep going!
Out of memory
We’re running Prometheus in a highly distributed environment and on many clusters. The workloads of those clusters are also vastly different, so a one-size-fits-all approach usually does not cut straight to the final solution. I was checking onto some metrics of one compute node late evening to check on a few things and build a theory about another issue we were seeing. I noticed that the data wasn’t available in Grafana anymore and soon discovered that the Prometheus is pushing the compute node out of its 32G memory – Bummer. This felt like a lot also for the size of the cluster it was running on. So my search began to figure out why Prometheus uses that much memory.
Dangerous Defaults
One thing I encounter over and over in modern systems is something I started to call dangerous defaults (or better “Did Not RTFM-Defaults”), as I trust every developer and engineer that no defaults in technology exist for truly malicious reasons. Most of the time those defaults have reasons, which can be discovered by reading through the entire history of said feature. I’ve started to try to document the reasoning for default values when I encounter them. This helps future-me to be proud of past-me and shows why values are set to specifics.
TSDB Top 10 Metrics
I started to look at the failing Prometheus node and saw that there’s a handy overview of a lot of Time Series Database (TSDB) vitals which includes Top 10 metrics stored. Which produced the following output:
A few metrics stand out by order of magnitude. After checking those metrics I saw that we currently do not need to store them as we don’t make use of those metrics. So we decided to drop those metrics. Here it gets a bit tricky as I didn’t find any good resources on how this is actually done. To cut to the chase: What you will be looking for is metricRelabelings. As we’re using the helm chart for rolling out the ingress-nginx to our clusters it resulted in the following snippet.
metricRelabelings:
- action: drop
regex: '(nginx_ingress_controller_request_duration_seconds_bucket|nginx_ingress_controller_response_size_bucket|nginx_ingress_controller_request_size_bucket|nginx_ingress_controller_response_duration_seconds_bucket|nginx_ingress_controller_bytes_sent_bucket)'
sourceLabels: [__name__]
Cleanup
After the change above is rolled out, the TSDB Buckets will remain high but should not add more data. There is a way to drop those from the TSDB via the API, e.g. api/v1/status/tsdb will give you the seriesCountByMetricName and then it’s a few calls to drop those buckets via /api/v1/admin/tsdb/delete_series alternatively you do the no-ops approach and wait till the buckets get rotated away from the TSDB or remove the TSDB if that is an acceptable approach (yes this is a 🔨 approach but you are here for it).
This helped us identify the memory-hogging metrics, lower the usage, and stabilize Prometheus because it wasn’t pushing out the infra node in the cluster out of memory occasionally.
As you can see, the usage went from around 24G of memory usage down to approximately 14G, which is much more practical.
One contributing factor that helped us in this case: In more prominent clusters, we run compute nodes that do specific tasks, e.g. Loadbalancing or Monitoring/Infra, which would be two node groups kept separate from customer-facing workloads to limit issues e.g. OOM Situations to those Nodes or run specific compute nodes tailored to those workloads.
