ansible: monitoring with Prometheus, Loki and Grafana

Nothing watched the servers: tonight's asxpio crash loop was found by
hand. On asxpio-ops, Prometheus (30 days), Loki (14 days) and Grafana
at gf.asxp.io (WireGuard only), with blackbox_exporter probing every
service from outside and postgres_exporter. On both hosts node_exporter
and cAdvisor on the VPC address, and Alloy shipping container logs, the
journal and Traefik's access log to Loki over the VPC.

Traefik and Forgejo expose their metrics; restic and the bucket replica
record their last success for node_exporter. Dashboards: an overview as
home, plus hosts, containers, Traefik, probes, Postgres and logs.
Alerts by email to me@asxp.io: host or service down, certificate under
14 days, disk or memory nearly full, a container restart-looping,
Postgres down, backup or replica stale.

Assisted-by: Claude:opus-5-5

ansible/inventory/group_vars/all/vault.yaml

@@ -1,162 +1,170 @@
 $ANSIBLE_VAULT;1.1;AES256
-62383639653033613330393038663633626639623331333361623062323062646462353239616633
-3832353736626233646462323464613639636462373835300a663964363162326364653838613165
-31613033663365663434353564653764366436643861363464323537623464386334313831353435
-6639623166373233630a306431383263626264386663326163333031386235666263373631343965
-39653262303264333238323662313662626339393361346663353939323561353563623061643961
-61613066383930303834373066373862616362396134626638343133326230663039303435656261
-30336136343461613039663861633033626264633864383137613561376164353739336531643063
-63376462383665653339623865336665663131313733623736313233653166356262316330303336
-31376631376631383832306435343763653539643536326139396331393135666161623135383664
-38356438306263633835313932613537356262353434373761626365386638643365633530393266
-32643036323165623139633031333639333437383663653338643634333633643735313131646364
-34643061376364636231363131636531336161623039343839376439663131613866653064316231
-38666631663536636163316264383230613332663066373730643538613964393162313434353738
-39663133313433323033633161633336643033383330353933643133303064616562666134313464
-37386636386231303864303761383363616165343363326365616231353735613536623664316462
-30626663333564336535633430383136646437366362333936633566666462653431643631383136
-39393466363038643663633136643766356566323531623665666438646434353162343766653639
-35366432326434333333343136613239346337326334343765633865376135396630383238373661
-64386561366164333563363130646132393163356135626432356633646531656534343237666364
-35613234303663396239316238646633663731323566343434373666336436383633373262616332
-38396166373932643964383238376562666430633563623964376339636634373638646433303466
-65623636653963323463366339653533303532323562343039623562646339646431333662633237
-36656634373461393333353432306330623461333963303165373264313761633561323963396630
-63656461646563343930376537633439646139396663336265343333383464653763303239333037
-33313964326264313863356666626437363133646634616631623131363435316237646336323165
-64333236343265303535306664636662313864633735306663386335363731303464386632326438
-66663938393832613733626563623236613564643631626265643132316632376461613064323466
-66383739613633386264343661353539333561313065316134666432656264363830636164313230
-30323937313861396333623737643531306531376533303931363466393566666536386337396439
-36373863363361333036633338303233643039653465363531666566336237616465306361636335
-33323064623362653637353831373561653135323836356264666639393133633564366237356534
-61653137313834633964393063346661346363333362633436363165316562316366346262366464
-31656236333030373833386630356161383763623336633064633066326564316164666332366663
-37333130353465326633643533626366373036313565663136323337633765633565636137343365
-63333332366265376539653863633162316330393939333438653432393063346634373336306461
-38633938346235313934633431393638363535393464313362663836373039373663393939323939
-62653632313435643932336431623032663231313332623734396633383566653133656364313739
-34383333636535353864656335383436326262393261663264346139373534373861613666616461
-65626263363132313337666637626263313231633463383632363739316662666339363562383462
-32363538353266646533643539643964376263313531626635643135643339353530333366363636
-35663833376332306166613931353034373864396166323430383566633231346233373061343833
-30653438323438313531376437303738646436623638663963643134663562663537366630363663
-31383239643137363865633233343733643661356438366435363734643764613337323261353735
-33666530323937376634303032373464663433386331336635303331653034353933313363303665
-61363039643231623137366231623964623635396435313365393464343033313331333334303366
-66333838353534626263303861343733313531663831623038653961376333303734386366373030
-37346531623462363566376534313231386662356437643633383161373431396436626465366132
-63383363326665366261343638353137363731383539623438303365663131316130383139636363
-65616630303134666332666132303164383866303935316438383739363234306339323634666331
-66656564343661643033306166656431303333616633303832626237396538366133623239373835
-61383362646565346234333230396665393863376336646239343665353836336630626431356133
-38313831633666613135643564383631643032383637623438393031653630313462333232396466
-36353735306632363432343633313361633233663336623633633033323736386637326462343735
-62303435663030393738393035353036343530636661303733393437323562356431343438363666
-37623736363163663166336233353362306439346234656338313964623265323464633765303261
-33346532653435376263653635393965323036656339303262303261373938316631333439653831
-62366664303631356666386461653735386432363065633337626632303437373535656631356165
-33356236623563353132613037376435396331323632306238643733656665393764363137663131
-66313561333765613739343766646232353932623035333838336463393838643133313635353566
-61373938613632376134336364626332623930646438353630353266333035353764363734636539
-30376138663032356636353731383661623130393263643138373032343035623931316630383033
-34336238363866396662333034616234366238386566616266326536653063316331303166306338
-65303330623331383331393838613666393831303761393030653335663130316238633963366436
-61333931646437376165666537373533636166376235303763393963386234376663366565353533
-35303832383865623539616566373064626461633564613261643332663264396565623638386438
-63383636356339303764333336303566353838653137623535343533393466363037353138303434
-61646139373033333337396165353737313632316361323935316435616434313932616432383565
-65643839363162306432663765643564393865626134613133653639333839643566303536306361
-30373632363030636264326537623462313161373833633932333438383866353032383731363438
-33396565393166323233323266363065613461613735373763306238363934623636393466323965
-35396636666639336464353565623561643032326433313136633564313066346130353331303639
-63313431633431323162366438343237353434343338343735313662626234333262343461633833
-31663165643334396433626563633266633366383334313864663132323737333632383433333665
-36623738336431383738656261653064313237386362643566656639396234303964653433313231
-34656166383038653363353665333330613036663236373464346466636532643436623232326432
-64626662636261633361663338363365323632646330396235663863613164323563616439646365
-39373866633836653361343835663931386137383133323464333165396664313665333563343862
-36356337313336313239613037343338323333653333363562653432613665333731663766353533
-64323035386234323365633365336161366133613839373338636538623531633363383436323632
-61643137646365383535333762393537316335376330396430663134343338393762653065366562
-66333161376531386438396334333435303464313637643737343764346631333334363135376632
-37636236363661393135306339333135633464643164386366323765363935336562393037613464
-38326263663236373639653862356331323630396335656436323465303762666534373433303439
-62386138646265613435366565396462396461336331616666306539623639616531623637353939
-31346232306638373666303264363861353964366132356431313463653766363864396464343933
-34353239376233656565356633386663346634393730376666303762386430633534646533366364
-65656130383961613334666539313138386662303639376130343066633836663036623031306336
-64356337386161366266396436663364643538333439626330616636353031363262666563323839
-34336238303938343565646263623866663963323764363938333464313639323734356131633339
-34346239656532396635303665386630326663383039353862646333306331313632336362383839
-65626332393863386437376531396232353734353233356231666438373166353433396163383762
-39626236373937313438323861383536353663656562366338626562313464643935633939646236
-32323936636362333731666463306534383037323362656266366432333131646162313237336633
-33386664316263656632653234306531383162376239383132356437323139393666323565373062
-30346432343763646664313262636538633365316436663862646563393236353262613831366535
-30333030376330303237343537666265643930613364366361303062343930346432376231386536
-31346330383030376464623635343762316431356434663063323534643637646666626465616430
-64346634313361363563616565306562353831353062646363666163386438363836356164633039
-30626532376266376462666639303536353262666135613134616430393566373261613062386663
-38326533306539663763373230303536363064633364666363336432323139393233643736363239
-38643464643664626364666631363962323034623938303664623562396166323932303465623738
-36613330376266383637616437653533316461653866356235363839656662656630303231393337
-63343061376330376566313738366639646662336334323935666235363733653632323364646538
-64383461326630303230393364303066666265376137643538303866623237623737636335646632
-65353330386462353834346466643063653930386563636665626566623765613266316334633939
-31653033623564323030343562356531343261376566663536343831666266663334326336313462
-64663266633830373237323364366665373364383166343764306435636437653438366636313433
-30653331636661343066326139646333633137326164643966363835343735643634363938646138
-64313138633833353766393833386530353530633061343433323765666639656261643964636438
-34303936663664366539373737386233363963613865633264313138623537356561313065646335
-66376631353562376664613431383430626533323761643038363864613034393233383966623438
-31383363376232343435666636663433393939313366343562353766396137633935613662626165
-32663834663139663262663032663234616137353566643063636531613865313831363237323833
-36363937373934613939663735346539643561303066623965623233346639623230666664363862
-62323639636331656332333161363466666266303631613763653335383761643335373031663865
-35636662343834663136666563343366633662663133316431643331333731386436343139616366
-33656139626432303563393539363739313364373965653930616165643034313935646636323235
-64383866343431613161363766336330323331323932313835636535393766336138353536303064
-62663965376237623238656633313566363565353461613032373237356632663433393430366136
-61313831316638343164653935376637383763616663663964613134323931383339626666306332
-63613264323661356136613837333266396330366564633936323634626264306462393064623234
-64306663623832343166366264313036653635356331383439643963363934623631303535323331
-39613564336537363435386665393736653230333230353961363338363563383063376432396565
-32616631613735303265666334326333633064366438343639623230326532663639393036613935
-61653965323939343864623434383363363137333939323336306437356239343834366566343436
-32353365613461646531336437326164323266393666623062326465646563326137373663616137
-65356134323664323664356439306137373762373162643163633262663637303239366530636164
-30306331653030646538336433383661633135306263613238376636656163366239346232643961
-32653034376438306565363632613732316166316236383837646437636363333035356361646666
-35343662396633353539316665306461313032393262366564303762376566396137653562353135
-31633537343337643361613666623566643138373732363534613166356563356463616561326366
-32323430633361393865343832326338373636343433313332353839356137376265306232326430
-34616633303765613961646330653531306665333236383630643534386265663530363130366139
-66343532643631326238343631613037376231663235633032616635653333396134666539343862
-30383436326534373964656634326166356236323135333964366361646532383732373030643465
-37653232333964613230663833303733353930636365633733333332313962393136666461613763
-37366236326536313636303365383231653261666161313232353437623863333731373831373133
-37343963373735346232383332303530343437646337623964666563323838653838393732396638
-62383731333465633565356634643831323564346561613334303962663337633538613537633530
-65303934656437376536623535396537616564316234366534326166666265633138626532333434
-61316336383733616364653065326337663765383831663337623333336361346534343162616164
-31343862303865303635623138373738396366653562313838366335623436386464323864633233
-32663364303365613061343738623230313765393361653434373361306562333336346161643365
-33303530616663633435326139356561333965633838353663633930336535346132346266643735
-38303461363664366232356462313766313465333462653865633034636665396266643462333138
-36373732656239666435383235323061306464313233373430373333663363383530386537353461
-61396262633964616332343138343065356166633730363632326362656163363833643936633763
-31386136376232366431633564316266646565363235376137636564303631636536646332343032
-66616165353334333739336466646635383665383864373537643736653435373535386335326433
-38653730666337643439306635303439623864346232656138643737373437333364363863363039
-39333434306439343538646131636233316139306361613631366134636635623734333561336636
-62323539636231623265333163353432346264383063323736366431303930323432363066393365
-62623864376162316563613163356337643034323736663837643261636533303531623337663732
-62636666336430666130663535336533363765643866613162653535633365656439356533393036
-32383830663431356162356664376635663463333333313632343735613733333931333534316437
-32396539346337396131623939346239356130376633613838326161313536333230663337373931
-31353331366534363661626636663233376130383134626439623835653834303362326135313265
-35363864346332336433656131386666313564623830336635623465356665333565633165363164
-62303133663733363534336665323739656237623535386361373235653061663134363937333331
-39326361636134306133643363333135343666663762616437653830386235376136656231393964
-3561
+62653531636435386335636364616132363938633234306136383934323061656135646462613361
+3565643532313232366136316437306231656365656238300a643861333935623734653466663563
+36383330363030393064303035363639646362326132313433333232613933653532333965353163
+3939363632393635350a316436626464663234313137666337646635326535326165653831346565
+32623865396532633862633632663363323466346232643335633733343237663337336262663564
+34356162653338656533363965653264303931363461613431386363336364646137633537393338
+64343637333462386365323535333962666566333561363033343062613330366466323063356237
+63633662336364663164656536656237396630356364336534663931346636666435313935343436
+65363533303162643435306232303131396161623837356163306531316462323739303866346263
+36313535373539326132643033373161613738336133663439373866376530323163623061653163
+62636362656362356636656338303064303832376165356566363164656633383430656330663439
+65663332343161643466313261643734313735663635363836393735663533323939666632666637
+66303932333438643436623539636636653139373562363733303637663165623366333237613261
+39386333373462303439333963373264636565646635623532393365303635656136623362656561
+33636635346261396661663662613336306662643635396261653636643639346466656130343764
+31336337383763633139303430316366393931616138353637613765333337323764656230373731
+34346632336133306433323535303162623763303135353834303766613839353939376436366464
+62333263343561663836376134613736383131366638626265343462313164666461306464366430
+39343266613535363465376133623437303966366533646663396136393135383136383536616633
+34353864393961356533633163333035323164353061373366326266623734313631643637303936
+61303935336537663865663431643739616430353933313766373466346435333263323630353961
+39356335666364393239303937363134313231333264373139333865353139353738346561336138
+36363265303161303536373736613265383232616466616635336232646336316265616531343932
+62326133613764666536356262396163626437646230663933636534373062393831363238326461
+63613639656535346561393234323063663765383234313339656332366539353866313739656533
+38666232313330623738346561353165346664626439303263336138393763653432366162303837
+61323733366161336439373564333937303137373334343132643137303935616361653036366538
+64306434646665323866653664373539643233383962346137393366316639616637303732323432
+35653065613033663763343933316631363764356137333661613433303139326135353863356435
+33303730633262336433626232613334646365383533386164326232636139653639366362303830
+63663632303263373038386230313130336235613033643565346435326466653838373366653530
+61343661353235393262366439343563346232636431383938333130373534366538363637663931
+33303938356666393738636231366264373061333765323339346362363337313234323631353331
+37656134623861353866313936373430333063626664376162323232653635306361633162373061
+39643132323162333961346261373132373962333137336332656437316332343364326434613336
+33663961323661636439626337316565663835373938643034623534613263346432643435313438
+33313561363866633964613635666335313031373465383666363937656133616665396666346163
+36303932336262393862333935353932646337656331306438643432633165306265646535316536
+36353530326263643765623562613433356439376238393531633235383461316462386139323864
+31313838386232383861663738653937623866376637626364643730343830636161383135633338
+61326635643765633631356262353661623865363839386166656530656239333261313961346661
+61653663643963313764633931326530626433306466303839346663343637343565393732616235
+65343639396537386435656263313337653636313135353465303635303331376263383565346261
+64366366633834666539653062353166626138623231303437633563653238336561613234633835
+65663262343637653532376238353837376561653732633738333933626561333932383732356132
+30653066353063313836666563326165343933386336336233353066383338343339316534326161
+31323438663433633139643061333635316633353262343234633034303965663361626438313830
+62653238616233303466373034333262313932616565643330393363376337383662373631386338
+39323030353564646330323361353737333936373137336362346635346665376165613336313431
+30353463333335616433663563653261383534613730646230376533373735613263323966393839
+66626364663266616332643633343165336131313665376132616339356639313761383761636463
+31343565326139646663356431643634636538323933343136626434316162316463313464356539
+31333638393337393835626331376131326331376638613739636336313536376363396331646334
+66616136333964343436636563353837363731386662656466623239383865663836653563306632
+63336365303731663465336539613637376332653165663830336133366661393530383836376538
+62393032626633346238353663383761373637356361313163336138663537313937303766376137
+31393130616539313162663236323565643636663764386238313532353064636163333832663933
+64396439363135323866636164633437663639366262356565326133653335613731333230626532
+35303965376238636463333634366630346161336638386238633032636335323838656139316138
+36316530376433366632626462656332313334313235633138303235336666333666393362373839
+64366438633463336538336230653739653537363635393839373235373737623861633434306636
+61333364626135353037623237363838363834383431356661626139386331313563363130383834
+33633933643361663433666665623266326233643361306435616236633139356138363462656533
+64613130633135343631363639633066373663393336396665643532316233376531353261363538
+30333563363435323133636432346333346139633361333738383438626338396263623961653163
+36303731613062663064333538383261303561336536633231613939666134326338636633356239
+31363739653430383965396461323830316237653839353065313632613530663737663230353531
+35356464383037343739373435303662343261663637303365633064316632333634343933383733
+37633164343932373962363338306535636138383834643232316531643339346564373136326361
+61623638666237333266326364636133356234343263623637333039353131353536343439373836
+38613764633038656362376637366335376561303735343663636232343262393263373731346461
+32663966333932373264383935613632643633623966336233393736663339666135663037663936
+36633366623234323137366561373233613738366431326338616661373632306338366634313737
+33366564653933373332626162316335393837323664333530336635353139386363613338633432
+34306435616539626239396163333963376336616336336338623461303261393265353930323765
+32656262376237643862336238636264613663646338353835356131626264363736393030396331
+63653864313637313462303764663364396532343838383833346466336162323939386461633733
+62313335336132343236376539373863363134366563313563333733353237666334626432363362
+65363865376561633437616365306332373564313038316635373538343232376165656639373932
+37343735343863616161663861353338643533356638326230326437353535343432653632343935
+32636239363434653139366131306237306262643364663638326333353331363130363464373964
+66333138306233616164333838346533346561336334656166633838666164636438383939376434
+62313031663131383335633666376137396162636466343033316565343337386664663135636236
+33633934613037666632336237633632643230383433336263373864633765623339646661663334
+66613765326639323832623835333361376562636530643636326266333333376263663732643763
+65306133323534366133636330363830663834356161646436393866313130623835336533383530
+34613539303164663064316234623339353635643939323361316361393761363031353036333137
+33613630623362653533653961343139376164623332376431626464636436383762303733303138
+30313132653530313532653632393065613435616666393264386266373037623936363962653234
+64303461623839303035386533396266303534306431343864323130373732393430373062326637
+66396133376666383238303761663061396238323963643134626165356331616332663264633838
+35663765346633653064393237613439626465303530316130366665643131613864353331366331
+65396533376438323036366137383736666638393061346565613833643239646363393064633666
+66326261313932343039306465653861366136313933323134376236306539346336313039393136
+65353036353038323764653065373033306638636538356138363364643135303263613564666665
+61316166616230313039656433636232626630653665643963336632366637663163633933373237
+66653733663638313038363366643866633865303839613033323161353030393330316133303130
+30666634633761666438386364663762343332613466316338623634303263386333366266366633
+32663536396539376661363164656537633330636637313833326131643463643434636663346431
+30356333343266616632376264663264393462323736326138643737636264306339356137653436
+38333062393439333631396463363131326665646230616535633731313564626435313832383430
+31633231663536663437396462336231666363646230626533663265616435346366653532323835
+33646131343335303632653631363637656538343032363631303565613738383533363237376233
+64303538303934363137306639666433643338323930656465323533323532383763353938303662
+61376138343032643762326631323164386635613838623539313931623934623363316435653864
+35336539663661663363306164303965333534636663643765363831323537636665623633343639
+39643664653465316334376437653932343934383536353533316338303261326162306338383531
+32303434316362663331613131373833386338633138636563663666373165633134643230303839
+66383033316431623735663833333631393031323363303164363238396539306333363039393737
+38653230303062303437336234353765333636383937613062356338613534653862643561363966
+31363438383530313032316136346264373632356238663033393837366665633433323338333937
+63393937373434663961356661306132386464303632636135383333346439646166353737643132
+66633336343930643266336630383838373436396130343633646530623066623630616634366362
+62326537366365323839633161353238653934353739626565306263316266666336613235656336
+31643533343961363736633865363961386536323935616133313965343739353963383264633065
+61383532636330316134613531326231613132396663333864663866376439306464616162373931
+63336438343463623236626563313230613030366437396162643636383163303465333661663234
+38333832313563373838303565613434393232363030366439376333356638333735343035363138
+30643032616465326166646263326339616237663265373963343438376463383336373637313430
+31376338626164373136386431333633383731373736666439386664336132343136303138646265
+30366235356666393030633735346139663432353837353236623638313266336637373964626266
+37643766333736656664376264336635613038363830383935653331393164383436653938326266
+65623461383462313763326464383466363531636234656536393633623938363330396461613366
+65303363323764613863643763633832313632613538363436393834613466633266343239656164
+31383833396437663135326436343264383963353265643737363336663166303764356566613536
+63376463323637303464313132663539313333306665316538303539623535356335306133613065
+31356438356234336261656131613731633338646165333632323931313334333131623335666331
+65663934393239326563333039393337653032633437303638326463653436373839363662303065
+32653337313235323334376639383336633861653137643833646234393438663561316431616664
+35616331333239636230333166323262396666626139383031326634653230383561376362666463
+35383066666531353237666464333535626165653136316461303966623530666564626130626264
+33333035396536333438366138306463663531333135333530326565383964386533653630646232
+66656662313933313063666164643134386536366630373536613531636332633663363539393761
+36376464653435306665616639346132643634333365656237613439386132616332356434333737
+35303137333366343639343666656665333134383335396333346365656632326534363330396235
+34316130323662633165616162623530623866373134323964643134326663376234343165366265
+34663662303938346132626434646364363835376439633764356335333734663365653637623064
+61373465366464646239653539663266313662643933316465386132616534383333326635653639
+62666363653031316137336431396338333866383433366664326663386533313839393365643039
+62313239653532353439386161646438343732313735646637313533623862366336346664646534
+64333237353137316662616434393339386137666563336236643038316564623136613733613630
+37653763373236623033336363656166316463396230623963343435333465633863373962366138
+65383166653063616435656236653939636435343362343332323866363134613231666537373237
+35353838643535316639363130306266383736386130373965623131636665393666366663323964
+38356338383166376531366265346235346233366632363133376465323666353563646639386131
+37323363353765383163616133653665373965613361336466366431313336303337643131656132
+62646463623731383031656564353934383236366264383131343939633235323265616234656638
+31666232303263623236346531376364616361353635386131653235636566303432353866616163
+32313561386234643533396263393739623366653239336161616238623638333061393165376530
+61323637366636376166326661323262613739653663343930616338343735393030313433353035
+31653233316263633666633132636231653231333833653230643164316130613563333637303333
+34626130373933616437653132616632633663376138616164636362613764646563366437303066
+35336561313666303034623662656361343861363763373236353063623162366336313538653736
+62393933373231393531306334323861613932643362366265306133303432366631383630626461
+30333665643836396162363032613031646234333965366532353862393534386638646138383366
+32653465626566306366393565303663643134396561316163616664383236306430333839646466
+32353031656631333464363038306466366266353439633331336466316362373432353430346430
+36373836333031336334353838303133346461373032336537373432303332616363323464333830
+61633334393630393061633532306365303736343737613733343436636636343237356230386232
+37653333376239646532373564613364366364356435666136366163663531623136376337656537
+30376561633362373134663737616464383932646664383930323939353961646532363365623264
+33366330393430336134373462343334633563373561316132393632623131376363363366326462
+37653764643939336339626164333530396662656332366638306137313236303062396632623539
+62626134636362643231346434393838393632326464303534396332363065363431346236383439
+35633065663737656565303130656434396366323364313832323134383565633866626364393163
+39616337653064353035616666313439616138303866636235646637393965316562386263393833
+38646238343266383561626333356563613831353935303763343037663431636261373038623639
+39376563366635383565646231613961393338393837616631323836346431346163393166373735
+37306432393938363435303332336335393764306233633931373662356536616262