Oppdatert 2019.11.07 13.27: Produksjonsmiljøet er delvis nede

07.11.2019 13:27: Alle berørte innsendinger er nå prosessert. Dermed betrakter vi situasjonen som løst.

Vi har på vei en forbedret versjon av caching-rutinen som henter og holder på kodelister fra Geonorge. Den forbedrede versjonen gjør FtB mindre sårbar for manglende kontakt til ekstern server og vil sikre at feilsituasjoner blir håndtert på en god måte.

07.11.2019 11:07: Med god hjelp fra Altinn har vi fått avbødet konsekvensene av feilsituasjonen. I praksis betyr det at de innsendingene som ikke ble prosessert, mens feilsituasjonen var, vil bli kjørt på nytt. Dessverre da med godt et døgns forsinkelse.

De leverandørene, som ble påvirket av feilen, er orientert både om konsekvensene og om løsningen.

Årsaken til feilen var et sammenfall av hendelser: En ekstern tjeneste var ikke tilgjengelig over en lenger periode og FtB håndterte situasjonen uhensiktsmessig slik at innsendingene ble mistet under prosessering samtidig som transaksjonene ble stående som “i kø”.

Vi prioriterer nå å få gjort FtB mer robust så vi unngår slik situasjon i fremtiden.

5.11.2019, 15:55: Prod miljøet kommuniserer ikke med noen eksterne tjenester. Problemet ser ut til å ha startet kl 12:00 i dag. Vi jobber med driftspartner for å finne ut av problemet. Testmiljøet fungerer som det skal.

6.11.2019, 08:18: Tjenesten er oppe igjen. Vi jobber fortsatt med å undersøke hva som har skjedd og hvilke konsekvenser nedetiden har hatt. Systemet fungerte som normalt fra ca. kl. 20:30 5.11.2019.

Det har ikke blitt sendt innsendinger eller distribusjoner gjennom Fellestjenester BYGG siden kl. 14:16. Noen innsendinger blir liggende i kø, andre ser vi ikke i loggen.

Leverandører melder om følgende: “XML som er gyldig i test blir ikke lenger validert i produksjon, vi får kun 500 internal error”.

Svar på nabovarsler ser ut til å gå som normalt.

Vi oppdaterer denne bloggposten når vi har noe mer.