Kartverket sendte i dag (25.11.19) følgende driftsmelding:
“Vi vil med dette melde fra om at på torsdag 28.11.2019 er det vedlikeholdskveld på Kartverket. Alle systemene blir derfor til tider ustabile og utilgjengelige denne kvelden.
Test-, kurs-, og utviklingssystemer tas ned fra kl. 16:00.
Tilgang til Matrikkel produksjonssystemet https://www.matrikkel.no/matrikkel, tas ned fra kl. 18:00. Norge digitalt-miljøet for matrikkelen https://www.nd.matrikkel.no, SeEiendom https://seeiendom.kartverket.no og kommunendring (Marty) https://ke.matrikkel.no/matrikkel vil kunne være ustabile en periode etter kl 18:00.
Grunnboka (e-Tinglysing) tas ned for vedlikehold etter kl. 18:00, Dette gjelder endepunkt: https://www.grunnbok.no/grunnbok. Også andre innsendingstjenester som benytter grunnboka vil også være ustabile denne kvelden.
Testsystemene https://etgltest.grunnbok.no, https://betatest.grunnbok.no/grunnbok og https://ketestekstern.grunnbok.no/grunnbok/ tas ned fra kl 16.00.
Systemene vil kunne være noe ustabile denne kvelden.”
Det ble meldt følgende på KS FIKS sine facebooksider i dag (lørdag 23. november 2019):
Kl. 08:22
ID-PORTEN USTABIL
Difi meldte i dag, lørdag 23. november klokken 07:04, om at ID-porten og Kontakt- og reservasjonsregisteret var utilgjengelig. Dette medfører problemer med å logge inn i en lang rekke systemer, blant annet SvarUt/SvarInn og FIKS-tjenestene.
Kl. 10:23
No byrjar ting å komme opp igjen. Det er litt kontroll og sjekk som må til for friskmelde heilt. Men, både oppslag mot KRR og innlogging ser ut til å fungere. Muleg at nokon no sit på ein uheldig cookie-sammensetning, so dei som får feil kan prøve anna nettlesar/icognitomodus/slette cookies.
Konsekvenser for Fellestjenester BYGG
I loggene i produksjon, var det et opphold for innsendinger mellom 22.11.2019 kl. 23.58.21 og 23.11.2019 kl. 10.39.01, som kan samsvare med meldingene over.
Fra kl. 10:39 begynte meldinger å strømme gjennom tjenesten igjen.
Vi finner informasjon om nedetiden utover Facebook-meldingene. -Edit: Informasjon om hendelsen finnes nå her: https://samarbeid.difi.no/driftsmeldinger/id-porten-maskinporten-og-kontakt-og-reservasjonsregisteret-driftsavbrudd-23112019
Vi har noen problemer med applikasjonen som kjører i test nå. Vi jobber med en fiks og oppdatere denne saken.
Oppdatering 12:13:
Vi fikk i visse tilfeller et problem med en ny kodeblokk som tar vekk sanntids-avhengigheter mot GeoNorge. Vi har rullet tilbake TEST til en tidligere versjon og systemet behandler igjen innsendinger som vanlig.
Følgende test innsendinger ble dessverre slettet og kommer ikke til å bli gjenopprettet:
AR5936041
AR5936004
AR5936001
AR5935968
AR5935870
AR5935515
AR5934035
AR5933975
AR5933967
AR5933945
AR5933799
AR5933790
AR5933726
Tjenesteeiere og sluttbrukersystemer får i disse dager mailer fra Altinn om viktige endringer. Altinn skriver at det er viktig at aktivitetene blir håndtert så snart som mulig, og innen utgangen av Q4 2019.
På generelt grunnlag legger vi oss ikke opp i hvordan dere setter opp deres tjenester mot Altinn, men vi oppfordrer likevel alle sluttbrukersystemer til å ta en gjennomgang på deres side.
Nedenfor gir vi en oversikt over de fire punktene fra Altinn, og en vurdering fra Fellestjenester BYGG-delen av verdikjeden.
1. Begrensning av antall kall mot Altinn
Altinn skriver:
Vi har mange sluttbrukersystem som hver for seg bruker Altinn mye. Vi har over 200 millioner kall fra sluttbrukersystemer pr. mnd. Dette øker også jevnt. Vi oppfordrer alle til å ta en gjennomgang av hvor hyppig sluttbrukersystemet henter ut opplysninger fra Altinn. Målet med dette er å redusere frekvensen betydelig. Det er vanskelig å generalisere, men et utgangspunkt kan være at hvis en i dag har operasjoner som henter ut data flere ganger i timen så oppfordrer vi til at en reduserer dette til en gang pr. time.
Vår vurdering:
Mange av operasjonene vi gjør er nødvendige for å ha en nogenlunde responsiv tjeneste. Vi vil likevel ta en gjennomgang, og slutte med å hente statuser for forsendelser som er «endelige», altså som vi vet ikke skal gjøres noe med.
2. Bruk av gamle grensesnitt
Altinn skriver:
Den høyfrekvente bruken av gamle grensesnitt med virksomhetssertifikat resulterer i ustabilitet og hindrer oss i å effektivisere løsningen på vår side. Det er viktig at tempoet i utbredelsen av nye grensesnitt (EC2) økes betydelig. De gamle webservicegrensesnittene (EC) slettes i Altinn den 01.02.2020. Mer informasjon om dette finner dere påhttps://altinn.github.io/docs/api/soap/grensesnitt/nye-ec-endepunkter/ og https://altinn.github.io/docs/api/soap/endepunkter-oversikt/
Vår vurdering:
Dette rammer ikke oss (vi bruker basic grensesnitt).
3. Sanering av arkiverte meldinger
Altinn skriver:
Vi skal sanere ca 40 millioner meldinger i meldingsboksen i Altinn. Bakgrunnen for dette er at vi ikke kan ha samme melding både i meldingsboksen og i arkiv. Dette tar mye plass og har store ekstra kostnader. Sluttbrukersystemer som henter ut arkiverte meldinger med Webservice/Soap må derfor ta i bruk nytt grensesnitt for å hente arkiverte meldinger fra Arkiv. Arkiverte meldinger vil saneres i meldingsboksen fra 01.02.2020. Når meldinger arkiveres vil de etter 01.02.2020 slettes kontinuerlig fra meldingsboksen. Meldinger som ikke er arkivert vil fortsatt ligge i meldingsboksen/innboks. Mer informasjon om dette finner dere påhttps://altinn.github.io/docs/api/soap/grensesnitt/nye-ec-endepunkter/#ny-operasjon-for-å-hente-arkiverte-meldinger-correspondence
Sluttbrukersystemer som henter ut meldinger/correspondence må derfor ta i bruk nytt grensesnittReporteeArchive.GetArchivedCorrespondence for å hente arkiverte meldinger fra Arkiv. I tillegg må eksisterende grensesnittGetCorrespondenceForEndUserSystemV2 fortsatt anvendes for å hente meldinger fra serviceengine som ikke er arkivert.
Vår vurdering:
Her har vi klargjort med Altinn at det er snakk om elementer i innboksen til personer og virksomheter som har blitt arkivert. Det vil altså ikke påvirke dere når dere henter elementer fra arkivet til kundene deres.
4. Fjerning av støtte for TLS 1.0 og 1.1
Altinn skriver:
Vi skal fjerne støtte for TLS 1.0 og 1.1 siden disse ikke lenger anbefales brukt. Det er viktig at systemer som kommuniserer med Altinn implementerer støtte for TLS 1.2. Dette kan testes i TT02 nå siden dette miljøet allerede er lagt om til kun å støtte TLS 1.2. Vi planlegger å fase ut støtte for TLS 1.0 og 1.1 i PROD den 18.11.2019.
Vår vurdering:
Fellestjenester BYGG-applikasjonen støtter TLS 1.2, og som Altinn skriver, så er det lagt om på TT02. Så hvis kommunikasjonen fungerer mot TT02, så bør det også fungere i produksjon, såfremt deres applikasjon er basert på samme versjon av utviklingsverktøy og rammeverk.
Siden mange har problemer med å få tilgang til blogg-innleggene har vi laget en kjapp fix, inntil vi får løst problemet.
Blogginnlegg siste Fix’en er en “vanlig” confluence-side som lister opp de 25 yngste innleggene i stigende orden.
Legger også ved RSS_lenke fra blogg-innlegg fra 12.09.2019 - og oppfordrer til å sette opp RSS-feed i f.eks. Outlook:
Her er en RSS feed lenke som kan brukes for å holde seg oppdatert på endringer på disse sidene:
Den skal få med seg nye sider og endringer på gamle (opp til 25 endringer over 5 dager).
07.11.2019 13.05: Microsoft melder at de har en fix på gang. Men vi kan ikke se at FtB har vært påvirket av ustabiliteten.
Microsoft melder at det for tiden er problemer med tjenester som kjører i Azure i region West Europe - det gjør FellestjenesterBygg.
Vi har sålangt ikke observert noen tregheter eller direkte feil i behandlingen av innsendinger - det ser ut til å flyte fint.
Men om dere opplever at kontakten til f.eks. validering eller status-API feiler så gi gjerne beskjed via service desken.
Feilen er rettet
07.11.2019 13:27: Alle berørte innsendinger er nå prosessert. Dermed betrakter vi situasjonen som løst.
Vi har på vei en forbedret versjon av caching-rutinen som henter og holder på kodelister fra Geonorge. Den forbedrede versjonen gjør FtB mindre sårbar for manglende kontakt til ekstern server og vil sikre at feilsituasjoner blir håndtert på en god måte.
07.11.2019 11:07: Med god hjelp fra Altinn har vi fått avbødet konsekvensene av feilsituasjonen. I praksis betyr det at de innsendingene som ikke ble prosessert, mens feilsituasjonen var, vil bli kjørt på nytt. Dessverre da med godt et døgns forsinkelse.
De leverandørene, som ble påvirket av feilen, er orientert både om konsekvensene og om løsningen.
Årsaken til feilen var et sammenfall av hendelser: En ekstern tjeneste var ikke tilgjengelig over en lenger periode og FtB håndterte situasjonen uhensiktsmessig slik at innsendingene ble mistet under prosessering samtidig som transaksjonene ble stående som “i kø”.
Vi prioriterer nå å få gjort FtB mer robust så vi unngår slik situasjon i fremtiden.
5.11.2019, 15:55: Prod miljøet kommuniserer ikke med noen eksterne tjenester. Problemet ser ut til å ha startet kl 12:00 i dag. Vi jobber med driftspartner for å finne ut av problemet. Testmiljøet fungerer som det skal.
6.11.2019, 08:18: Tjenesten er oppe igjen. Vi jobber fortsatt med å undersøke hva som har skjedd og hvilke konsekvenser nedetiden har hatt. Systemet fungerte som normalt fra ca. kl. 20:30 5.11.2019.
Det har ikke blitt sendt innsendinger eller distribusjoner gjennom Fellestjenester BYGG siden kl. 14:16. Noen innsendinger blir liggende i kø, andre ser vi ikke i loggen.
Leverandører melder om følgende: “XML som er gyldig i test blir ikke lenger validert i produksjon, vi får kun 500 internal error”.
Svar på nabovarsler ser ut til å gå som normalt.
Vi oppdaterer denne bloggposten når vi har noe mer.
En rekke skjemaer har blitt prodsatt på nytt de siste to ukene, grunnet ønsker om å tillate flere vedlegg. Det gjelder:
Ettrinnssøknad
Kart
Rekvisisjon av oppmålingsforretning
Søknad om tillatelse til tiltak uten ansvarsrett
Kart
Rekvisisjon av oppmålingsforretning
Igangsettingstillatelse
AvklaringHoyspent
AvklaringVA
Gjennomføringsplan (som hovedinnsending)
Annet
Fullstendig oversikt over skjemaer og vedlegg finnes her: Tjenesteoppsett PROD