Гарын авлага
Prometheus-ийн дохио бүрд: юу болсон, эхний 5 минутад юу шалгах, яаж засах, хэзээ өргөжүүлэх.
Дохионы нэрс нь цөмийн ажиглалтын стекийнх. PetroNet-ийн стек
(/opt/petronet, core-app-02) өөрийн Prometheus-тай боловч дүрэм, Alertmanager,
Loki байхгүй — тиймээс эдгээр нь «дохио ирэхэд» биш, ижил шинж тэмдэг
харагдахад дагах алхмууд. Тушаалууд /opt/petronet дотроос; Prometheus нь
стекийн дотор (docker compose exec prometheus …), TLS ба хандалтын лог edge
core-nginx-01 дээр.
01Ерөнхий зарчим
Хоёр түвшин. severity: page нь хэн нэгнийг сэрээх ёстой — хэрэглэгч
одоо хохирч байна. severity: ticket нь ажлын өдөр засах — засахгүй бол
хохирол болно. Ticket дээр 03:00 цагт хариу үйлдэл хийх нь alert fatigue-ийн
хамгийн богино зам бөгөөд түүний төгсгөл нь page-ийг ч үл тоох явдал.
Эхлээд хэмжилт, дараа нь тааварлалт. Дохио бүрийн эхний алхам нь
самбар (monitoring.) дээр аль хэсэг эвдэрсэнийг харах. Restart нь бараг үргэлж
шинжтомжийг арилгаад шалтгааныг нь нуудаг.
Юу хийснээ бич. Осол бүрийн дараа энэ файлыг засах нь дараагийн хүнд өгөх хамгийн үнэ цэнэтэй зүйл.
Тайван байдал. Платформын ихэнх дохио нь өгөгдөл алдагдсан гэсэн үг биш. Өгөгдөл алдагдах ганц бодит эрсдэл нь дискний дүүрэлт бөгөөд түүнд тусдаа хоёр дохио бий.
02API
NexusAPIDown
Юу болсон. Prometheus 2 минутын турш backend-ийн /metrics-ийг уншиж
чадсангүй. Процесс унасан, гацсан, эсвэл сүлжээ тасарсан.
Энэ үед бусад бүх API дохио чимээгүй болно — өгөгдөл ирэхгүй тул дүрэм тооцоологдохгүй. Тиймээс энэ дохио дангаараа ирж байгаа нь "өөр юу ч болоогүй" гэсэн үг биш.
Эхний 5 минут.
bash1docker compose ps backend2docker compose logs --tail 200 backend3curl -s localhost:8220/health4curl -s localhost:8220/ready- Контейнер огт байхгүй эсвэл
Restartingбол → логоос яагаад гарсныг унш. /healthхариулж байгаа атлаа/metricsуншигдахгүй бол → сүлжээний асуудал, Prometheus-ийн target-ийг шалга (docker compose exec prometheus wget -qO- localhost:9090/).api/ v1/ targets /healthOK,/ready503 бол → энэ бол өгөгдлийн сангийн асуудал, NexusPostgresDown руу оч.
Засах.
bash1docker compose up -d backendДахин асаахын өмнө логийг хадгал — лог цуглуулагч байхгүй тул контейнер дахин үүсэхэд мөрүүд алга болно:
bash1docker compose logs backend > /tmp/backend-crash-$(date +%s).log 2>&1Байнга унаж байвал: санах ой (docker stats), OOM
(dmesg | tail -50), эсвэл миграц дуусаагүй байх магадлалтай.
Өргөжүүлэх. 15 минутын дотор сэргээгээгүй бол платформын хариуцсан хүнд. Өгөгдлийн сан хөндөгдсөн сэжигтэй бол шууд.
NexusAPIErrorBudgetBurningFast
Юу болсон. Сүүлийн 1 цаг ба сүүлийн 5 минутад хоёуланд нь 5xx-ийн хувь 1.44%-иас давлаа. Ийм хурдаар сарын алдааны төсөв 2 хоногт дуусна.
Хоёр цонх зэрэг давсан үед л дохио өгдөг гэдэг нь чухал: түр зуурын үсрэлт энэ дохиог өгөхгүй, харин одоо ч үргэлжилж байгаа эвдрэл өгнө.
Эхний 5 минут. PetroNet · API тойм самбар:
- Алдаа хамгийн их гаргаж буй замууд — нэг зам уу, бүгд үү?
- Нэг зам → тэр функцийн саяхны өөрчлөлт, эсвэл түүний хамаарал.
- Бүх зам → өгөгдлийн сан, эсвэл дөнгөж deploy хийсэн хувилбар.
- Хүсэлтийн урсгал — 5xx-ийн эхэлсэн мөч deploy-тэй давхцаж байна уу?
- Лог:
bash1docker compose logs --since 1h backend | grep '"level":"ERROR"'
Засах.
- Deploy-ийн дараа эхэлсэн бол → буцаа. Оношлохоос өмнө буцаах нь зөв
дараалал:
bash1IMAGE_TAG=<өмнөх sha> docker compose up -d backend - Гадаад системээс шалтгаалсан бол → NexusExternalSystemFailing.
- Өгөгдлийн сангаас → NexusDatabasePoolExhausted.
Өргөжүүлэх. 30 минутын дотор алдааны хувь буурахгүй бол.
NexusAPIErrorBudgetBurning
Юу болсон. 6 цаг ба 30 минутын цонхонд 0.6%-иас дээш. Огцом уналт биш, тогтвортой эвдрэлтэй төлөв — ихэвчлэн нэг зам, нэг гадаад систем, эсвэл зөвхөн тодорхой нөхцөлд гардаг алдаа.
Эхний 5 минут. Дээрхтэй адил, гэхдээ 6 цагийн хугацаанд: Алдаа хамгийн их гаргаж буй замууд панелийн хугацааг 6 цаг болго. Тогтмол нэг зам харагдвал тэр нь шалтгаан.
Засах. Ихэвчлэн код засвар шаардана. Хэрэглэгчид үргэлжлүүлэн хохирч байгаа тул засвар нь дараагийн ээлжийн ажил биш, өнөөдрийнх.
Өргөжүүлэх. Ажлын цагт хариуцсан багт. Шөнө сэрээх шаардлагагүй —
энэ нь page боловч 15 минутын for-той бөгөөд дэлбэрэлт биш.
NexusAPIErrorBudgetSlowBurn
Юу болсон. 3 хоног ба 6 цагийн аль алинд нь SLO-гоос давсан. Хэн ч сэрэх шаардлагагүй, гэхдээ энэ сарын 99.9% биелэхгүй болох замдаа явж байна.
Эхний 5 минут. Үлдсэн алдааны төсөв панелийг хар. Сөрөг бол зорилт аль хэдийн биелэхгүй болсон.
Засах. Тасалдсан хэдэн зам, эсвэл нэг тогтмол алдаа гаргадаг үйлдлийг
ол. Ихэвчлэн: боловсруулагдаагүй nil, timeout-гүй гадаад дуудлага, эсвэл
тодорхой өгөгдөл дээр л унадаг handler.
Өргөжүүлэх. Шаардлагагүй. Ажлын тасалбар үүсгэ.
NexusAPILatencyHigh
Юу болсон. Урт poll-оос бусад бүх замын p95 хариу 10 минутын турш 2 секундээс давлаа.
Эхний 5 минут.
- Prometheus дээр:
pgxpool_таазанд ойрхон,acquired_ conns empty_acquireөсөж байвал → шалтгаан нь pool. - Гадаад системүүд → p95. Аль нэг систем удааширсан бол handler-ууд түүнийг хүлээж байна.
- Инфраструктур → CPU, iowait. iowait өндөр бол диск.
Засах.
- Pool дүүрсэн → удаан query-г ол:
sql1SELECT pid, now() - query_start AS duration, state, left(query, 120)2 FROM pg_stat_activity3 WHERE state <> 'idle' AND now() - query_start > interval '5 seconds'4 ORDER BY duration DESC; - Гадаад систем удаан → тухайн rail-ыг түр хаах боломжтой эсэхийг хар (жишээ нь eSign HSM-ийг гарын үсгийн бодлогоос).
- Диск удаан → NexusDiskFillingUp шалга, дүүрсэн диск удаашралын түгээмэл шалтгаан.
Өргөжүүлэх. Хэрэглэгчид "систем ажиллахгүй байна" гэж мэдэгдэж эхэлбэл
page шиг хандах.
NexusLoadShedding
Юу болсон. Зэрэг үйлчлэх хүсэлтийн тааз (1000)-д хүрч, шинэ хүсэлтүүд 503-аар татгалзагдаж байна. Хамгаалалт ажиллаж байгаа хэрэг — гэхдээ хэрэглэгч алдаа хараад байна.
Эхний 5 минут.
- Тэсвэрлэлт → Зэрэг үйлчилж буй хүсэлт. Огцом үсэрсэн үү, аажим
өссөн үү?
- Огцом → урсгалын оргил эсвэл халдлага. API тойм → rps.
- Аажим → хүсэлтүүд дуусахгүй хуримтлагдаж байна: удаан гадаад дуудлага эсвэл өгөгдлийн сангийн түгжээ.
- Эх сурвалж нэг IP мөн эсэхийг nginx-ийн логоос:
bash1awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head
Засах.
- Халдлага бол → nginx дээр хязгаарла (тэнд аль хэдийн
limit_reqбүсүүд бий). - Бодит ачаалал бол → яагаад хүсэлтүүд удаж байгааг ол; таазыг өсгөх нь сүүлийн арга бөгөөд ихэвчлэн буруу арга — 1000 зэрэг хүсэлт нь 25 холболттой pool-той машины хувьд аль хэдийн их.
- Урт poll-ууд (eID) хуримтлагдсан бол энэ нь хэвийн: тэдгээр нь секундүүдээр барих зориулалттай.
Өргөжүүлэх. 15 минутаас удаан үргэлжилбэл.
03Гадаад системүүд
NexusExternalSystemFailing
Юу болсон. {{ system }} рүү хийсэн дуудлагын тэн хагасаас олон нь 10
минутын турш амжилтгүй. Энэ нь ихэвчлэн энэ платформын доголдол биш —
гэхдээ хэрэглэгчид нэвтэрч эсвэл гарын үсэг зурж чадахгүй байна.
Аль систем ямар үйлчилгээг зогсоох вэ:
| Систем | Зогсох зүйл |
|---|---|
eid | eID Mongolia-гаар нэвтрэх, баталгаажсан гарын үсэг |
dan | ДАН-аар нэвтрэх |
xyp | Иргэн/байгууллагын лавлагаа |
esign | HSM-ийн гарын үсэг (хуучин зам) |
gemini | AI туслах, орчуулга, яриа таних |
emailverify | Хаяг баталгаажуулах и-мэйл |
Эхний 5 минут.
- Гадаад системүүд dashboard → p95 — үйлдлээр. Бүх үйлдэл унасан уу, нэг нь уу?
- Гараар шалга — жишээ нь eID:
bash1docker compose exec backend wget -qO- --timeout=10 https://eidmongolia.mn/ >/dev/null && echo reachable - Лог:
bash1docker compose logs --since 1h backend | grep '"level":"ERROR"' | grep -i eid - Итгэмжлэл дууссан эсэхийг шалга — 401/403 нь тэдний уналт биш, бидний тохиргооны асуудал.
Засах.
- Тэдний тал бол: тухайн үйлчилгээ үзүүлэгчид мэдэгд. Хэмжилтээ хамт өг —
external_нь яг хэдэн цагт, ямар хувьтай гэдгийг хэлнэ.request_ duration_ seconds - Бидний тал бол (итгэмжлэл, тохиргоо):
.env-ийг шалга, backend-ыг дахин асаа. - Хэрэглэгчдэд: өөр нэвтрэх зам байгаа эсэхийг мэдэгд (eID унасан ч нууц үг, Google ажиллаж байгаа бол).
Өргөжүүлэх. Нэвтрэлтийн бүх зам (eid, dan, google, sso) зэрэг унасан бол шууд — тэр үед хэн ч орж чадахгүй байна.
NexusExternalSystemDegraded
Юу болсон. 30 минутын турш алдааны хувь 15%-иас дээш. Зургаа тутмын нэг хүсэлт унана — хэрэглэгчийн хувьд "заримдаа ажилладаг", энэ нь бүрэн уналтаас удаан анзаарагддаг тул илүү их гомдол авчирдаг.
Эхний 5 минут. Дээрхтэй адил. Нэмж: алдаа тодорхой хэв маягтай юу — тодорхой регистрийн дугаар, тодорхой хэмжээний файл?
Засах. Ихэвчлэн хүлээх нь зөв — эсвэл давтан оролдох логик нэмэх. Дуудлага бүр өөрийн timeout-той эсэхийг шалга.
Өргөжүүлэх. Шаардлагагүй. Ажлын тасалбар.
NexusExternalSystemSlow
Юу болсон. {{ system }}-ийн p95 хариу 10 секундээс удаан. Удаан гадаад
дуудлага нь хүсэлтийн goroutine болон pool-ын холболтыг барьж байдаг тул
тухайн систем рүү огт хандаагүй хүсэлтүүд ч удаашрана.
Эхний 5 минут. Pool-ын байдлыг шалга (Тэсвэрлэлт dashboard).
resilience_ өсөж байвал энэ нь удахгүй load shedding
болно.
Засах. Тухайн rail-ыг түр хаах, эсвэл timeout-ыг богиносгох. Хамгийн муу төлөв нь удаан дуудлага + урт timeout: платформ бүхэлдээ нэг гадаад системийн хурдаар ажиллана.
Өргөжүүлэх. Load shedding эхэлбэл.
04Инфраструктур
NexusDiskFillingUp
Юу болсон. {{ mountpoint }} дээр сул зай 15%-иас бага. 93% давбал
NexusDiskAlmostFull нь page болж ирнэ.
Энэ бол өгөгдөл алдагдах бодит эрсдэл бүхий цөөхөн дохионы нэг. 100% хүрэхэд Postgres бичихээ болино, WAL бичигдэхгүй, платформ бүхэлдээ зогсоно.
Эхний 5 минут.
bash1df -h2du -xh --max-depth=1 / 2>/dev/null | sort -rh | head -203docker system dfХамгийн түгээмэл гурван шалтгаан:
- Docker-ийн хуучин image, build cache — deploy бүр шинэ image татдаг.
- Prometheus-ийн өгөгдөл — 2 GB / 15 хоногийн таазтай
(
/).srv/ petronet/ prometheus - Postgres — үнэхээр өссөн, эсвэл vacuum ажиллаагүй.
Засах.
bash1# 1 — build cache. Хамгийн аюулгүй, ихэвчлэн хамгийн том.2docker builder prune -af3 4# 2 — хуучин tag-ууд. `prune -a` нь ашиглагдаагүй БҮХ image-ийг авах тул5# rollback хийх зүйлгүй үлдэнэ; оронд нь repo тус бүрээс ажиллаж байгаа6# нь + сүүлийн гурвыг үлдээнэ.7KEEP=38INUSE=$(docker ps -a --format '{{.Image}}' | sort -u)9for repo in ghcr.io/gerege-systems/petronet-gerege-nexus/backend \10 ghcr.io/gerege-systems/petronet-gerege-nexus/frontend; do11 docker images --format '{{.CreatedAt}}|{{.Repository}}:{{.Tag}}' "$repo" \12 | sort -r | cut -d'|' -f2 | tail -n +$((KEEP+1)) \13 | grep -vxF "$INUSE" | xargs -r -n 40 docker rmi14done15 16# Prometheus-ийн эзлэх хэмжээ17docker compose exec prometheus du -sh /prometheus18 19# Postgres-ийн хамгийн том хүснэгтүүд20docker compose exec -T postgres psql -U postgres -d petronet -c "21 SELECT relname, pg_size_pretty(pg_total_relation_size(c.oid)) AS size22 FROM pg_class c JOIN pg_namespace n ON n.oid = c.relnamespace23 WHERE n.nspname = 'public' AND c.relkind = 'r'24 ORDER BY pg_total_relation_size(c.oid) DESC LIMIT 15;"Устгаж болохгүй зүйлс: /, шифрлэлтийн
түлхүүр агуулсан .env файлууд, гарын үсэгтэй PDF-үүд.
Энэ нь дахин давтагдана: deploy бүр хоёр image нэмдэг ба тэдгээр нь
өөрөө явахгүй. core-app-02-ийг бусад үйлчилгээ хуваалцдаг тул бусдын
image-д хүрэхгүй.
Өргөжүүлэх. 95% давбал шууд — цаг хэдхэн байна.
NexusDiskAlmostFull
93%. Дээрхтэй ижил, гэхдээ page. Эхлээд docker image prune -af —
ихэвчлэн хэдэн арван GB чөлөөлдөг бөгөөд аюулгүй.
NexusHostMemoryPressure
Юу болсон. Сул санах ой 10%-иас бага. Дараагийн алхам нь OOM killer бөгөөд тэр нь ихэвчлэн хамгийн том процессыг — Postgres-ийг — алдаг.
Эхний 5 минут.
bash1free -h2docker stats --no-stream3dmesg | grep -i -E 'oom|killed process' | tail -20docker stats — аль контейнер өссөн бэ, тогтмол өсөж байна уу (leak) эсвэл
нэг үсрэлт үү? Хост бусад үйлчилгээтэй хуваалцдаг тул PetroNet-ийнх биш байж
болно.
Засах.
- Prometheus хэт их идэж байвал → retention багасга, эсвэл түр унтраа. Платформ түүнийг шаарддаггүй.
- Backend leak → дахин асаа, дараа нь
go_goroutinesграфикийг хар (API тойм). Тогтмол өсөж байгаа goroutine нь дуусаагүй урт poll. - Postgres →
shared_buffersхэт өндөр тохируулсан эсэхийг шалга.
Өргөжүүлэх. OOM killer аль хэдийн ажилласан бол шууд.
NexusPostgresDown
Юу болсон. postgres_exporter өгөгдлийн санд холбогдож чадахгүй байна.
Эхлээд ялга: үнэхээр Postgres унасан уу, эсвэл зөвхөн exporter-ийн нэвтрэлт эвдэрсэн үү? Хоёр дахь нь платформд огт нөлөөгүй.
bash1# Платформ өөрөө өгөгдлийн санд хүрч байна уу2curl -s localhost:8220/ready3 4docker compose ps postgres5docker compose logs --tail 100 postgres/ready нь {"status":"ready"} гэж хариулж байвал → Postgres хэвийн,
асуудал нь exporter-ийн нууц үг. backend/
доторх GRANT-ыг дахин ажиллуул.
Postgres үнэхээр унасан бол.
bash1docker compose up -d postgres2docker compose logs -f postgresДиск дүүрсэн эсэхийг заавал шалга — Postgres-ийн зогсох хамгийн түгээмэл шалтгаан бол сул зай дуусах.
Өргөжүүлэх. Postgres үнэхээр унасан бол шууд. Өгөгдөл эвдэрсэн шинж
тэмдэг (PANIC, corrupted) харагдвал дахин асаахаа боль — эхлээд
backup-аа шалга.
NexusPostgresConnectionsHigh
Юу болсон. Зөвшөөрөгдсөн холболтын 80% эзлэгдсэн. Дүүрэхэд шинэ холболт бүр татгалзагдана.
Платформын pool нь replica тутамд 25-аар хязгаарлагдсан тул энэ нь ихэвчлэн pool-оос гадуурх ямар нэг зүйл холбогдож байгааг илтгэнэ.
Эхний 5 минут.
sql1SELECT usename, application_name, state, count(*)2 FROM pg_stat_activity GROUP BY 1,2,3 ORDER BY 4 DESC;idle in transactionолон → commit хийгээгүй гүйлгээ. Түгжээ барьж, vacuum-ыг зогсооно.- Танихгүй
application_→ өөр стек, нээлттэй үлдсэнname psql, эсвэл дуусаагүй миграц.
Засах.
sql1-- 10 минутаас удаан idle in transaction байгаа холболтуудыг таслах2SELECT pg_terminate_backend(pid) FROM pg_stat_activity3 WHERE state = 'idle in transaction'4 AND now() - state_change > interval '10 minutes';max_-ыг өсгөх нь сүүлийн арга: холболт бүр санах ой иддэг,
өсгөх нь ихэвчлэн асуудлыг хойшлуулна.
Өргөжүүлэх. 95% давбал.
NexusDatabasePoolExhausted
Юу болсон. Платформын өөрийн pool-ын 90%-иас дээш нь 10 минутын турш эзлэгдсэн. Хүсэлтүүд холболт хүлээж эхэлнэ — энэ нь удаашралыг тайлбарлах хамгийн эхний газар.
Postgres чөлөөтэй атлаа энэ дүүрсэн байх нь бүрэн боломжтой: асуудал нь холболтын тоо биш, тэднийг барьж буй хугацаа.
Эхний 5 минут.
- Тэсвэрлэлт → Хүлээлт.
empty_acquireтэгээс салсан мөч нь эхлэл. - Удаан query:
sql1SELECT pid, now() - query_start AS duration, left(query, 200)2 FROM pg_stat_activity3 WHERE state = 'active' AND now() - query_start > interval '2 seconds'4 ORDER BY duration DESC; - Түгжээ:
sql1SELECT blocked.pid AS blocked_pid, blocking.pid AS blocking_pid,2 left(blocked.query, 80) AS blocked_query3 FROM pg_stat_activity blocked4 JOIN pg_stat_activity blocking5 ON blocking.pid = ANY(pg_blocking_pids(blocked.pid));
Засах. Удаан query-г ол, индекс нэм. Түр арга нь тухайн query-г таслах
(pg_). Pool-ын хэмжээг өсгөх нь Postgres руу асуудлыг
шилжүүлнэ.
Өргөжүүлэх. p95 2 секундээс давбал.
NexusRedisDown
Юу болсон. Redis хариу өгөхгүй байна.
Платформ ажиллана. Redis нь энд кэш хүчингүй болгох мессеж болон deployment-ийн хэмжээний хурдны хязгаарын тоолуурыг барьдаг. Унасан үед хязгаар нь процесс тус бүрийнх болж, эрх цуцлах нь бусад replica дээр кэшийн TTL-ийн хугацаагаар хоцрогдоно. Өгөгдөл алдагдахгүй — Redis-д хадгалагдах ёстой юу ч байхгүй.
Эхний 5 минут.
bash1docker compose ps redis2docker compose logs --tail 50 redis3docker compose exec redis redis-cli pingЗасах.
bash1docker compose up -d redisСанах ойн таазанд хүрсэн бол энэ нь хэвийн — allkeys-lru бодлого хуучин
түлхүүрүүдийг хаяна.
Өргөжүүлэх. Шаардлагагүй.
NexusContainerRestarting
Юу болсон. {{ name }} сүүлийн 30 минутад 3-аас олон удаа дахин эхэллээ.
Docker-ийн restart: unless-stopped нь эвдрэлийг нуух гол арга: үйлчилгээ
"ажиллаж байгаа" харагдана, гэхдээ хэсэг хугацаанд хариу өгөхгүй бөгөөд лог
нь контейнер бүрийн хамт алга болно.
Эхний 5 минут.
bash1docker inspect petronet-<нэр>-1 --format '{{.State.ExitCode}} {{.State.Error}}'2docker compose logs --tail 300 <нэр>- ExitCode 137 → OOM. NexusHostMemoryPressure.
- ExitCode 1 + тохиргооны алдаа →
.env. - Healthcheck унаж байгаа → шалтгаан нь тэр контейнер биш, түүний хамаарал.
Засах. Шалтгааныг зас. Дахин асаах нь мөчлөгийг л үргэлжлүүлнэ.
Өргөжүүлэх. backend эсвэл postgres бол шууд.
NexusTLSCertificateExpiringSoon
Гэрчилгээ ба certbot нь edge core-nginx-01 дээр — доорх тушаалууд тэнд.
Юу болсон. {{ domain }}-ийн сертификат 14 хоногт дуусна — өөрөөр хэлбэл
certbot-ын автомат сунгалт ажиллаагүй байна.
Дуусахад бүх браузер сэрэмжлүүлэг үзүүлнэ, native клиентүүд огт холбогдохоо болино (тэд сертификатын алдааг алгасах товчгүй).
Эхний 5 минут.
bash1sudo certbot certificates2sudo systemctl status certbot.timer3sudo journalctl -u certbot --since '7 days ago' | tail -50Засах.
bash1sudo certbot renew --dry-run # эхлээд туршилт2sudo certbot renew3sudo nginx -t && sudo systemctl reload nginxТүгээмэл шалтгаан: . руу очих зам nginx-д
хаагдсан, DNS өөрчлөгдсөн, эсвэл 80 порт хаалттай.
Өргөжүүлэх. 3 хоног үлдсэн бол шууд.
05Нөөцлөлт
NexusBackupStale
backup_ 26 цагаас хуучин. pg-backup нь өдөр
бүр 03:15-д (/).
tail -50 /var/ log/ petronet-backup. log - Cron бичигдсэн эсэх:
cat /— байхгүй болetc/ cron. d/ petronet-backup stack/-г дахин ажиллуул.petronet/ setup. sh /бүрэн эсэх (opt/ petronet/ backup. env RESTIC_,PASSWORD AWS_,ACCESS_ KEY_ ID AWS_) ба Garage хүрэлцэхүйц эсэх.SECRET_ ACCESS_ KEY - Дискний зай:
df -h /srv. - Гараар ажиллуулж алдааг нь хар:
sudo PGUSER=petronet /usr/ local/ bin/ pg-backup / opt/ petronet
06Операторын консол
Консолын дохионууд бусдаасаа өөр асуулт тавьдаг: "систем эрүүл үү" биш,
"хэн нэгэн орох гэж оролдож байна уу". Консол нь хаягийн
жагсаалтын (CONTROL_) ард байдаг тул эдгээр оролдлого нь зөвшөөрөгдсөн сүлжээнээс
ирж байна — гаднаас ирсэн бол энэ хүртэл хүрэхгүй байсан.
NexusControlPlaneLoginFailures
Юу болсон. 15 минутын дотор консол руу 5-аас олон удаа амжилтгүй нэвтрэх оролдлого болов.
Эхний 5 минут.
- Шалтгааныг ялга — Prometheus дээр:
text1sum by (result) (increase(cp_login_attempts_total[1h]))bad_passwordдавамгайлж байвал → нууц үг тааж байна.bad_codeдавамгайлж байвал → нууц үг нь зөв байж болзошгүй, зөвхөн хоёр дахь хүчин зүйл нь зогсоож байна. Энэ нь илүү яаралтай.unknownдавамгайлж байвал → байхгүй и-мэйл хаягуудыг оролдож байна: жагсаалт таамаглаж байгаа хэрэг.no_→ bootstrap тасалдсан бүртгэл байна. §3.4-ийг үз.second_ factor
- Аль хаягнаас ирснийг:
bash1# edge core-nginx-01 дээр2grep '/api/platform/v1/session' /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head - Тэр хаяг хэний вэ?
CONTROL_дотор хэн байгааг хар.PLANE_ ALLOWED_ CIDRS
Засах.
- Оператор өөрөө андуурсан бол → түгжээ 15 минутын дараа өөрөө тайлагдана.
Яаралтай бол DB-ээс:
sql1UPDATE operator_accounts SET failed_login_attempts = 0, locked_until = NULL2 WHERE lower(email) = lower('...'); - Танихгүй хаяг бол → тэр хаягийг стекийн compose-ийн
CONTROL_-ээс хасаадPLANE_ ALLOWED_ CIDRS docker compose up -d. Дараа нь тухайн сүлжээнд юу болж байгааг шалга: жагсаалтад байгаа хаягнаас оролдлого ирсэн нь тэр машин эсвэл VPN-ийн бүртгэл алдагдсан гэсэн үг. bad_passwordолон боловч дараа ньsuccessгарсан бол → тэр session-ыгoperator_audit-аас шалга: хэн, хаанаас, юу хийсэн.
Өргөжүүлэх. bad_code олноор гарсан, эсвэл амжилтгүйн дараа амжилттай
нэвтрэлт болсон бол — тухайн операторт утсаар холбогдож, өөрөө мөн эсэхийг
асуу. Тийм биш бол бүх session-ыг цуцалж, нууц үг ба TOTP-ийг дахин үүсгэ.
NexusControlPlaneLockout
Юу болсон. Аль хэдийн түгжигдсэн бүртгэл рүү оролдлого үргэлжилж байна. Хүн андуурсан бол зогсдог; үргэлжилж байгаа нь автоматжуулсан оролдлого.
Эхний 5 минут.
- Дээрхтэй ижил — аль бүртгэл, аль хаягнаас.
operator_audit-д тэр бүртгэлээр амжилттай юу болсныг шалга:sql1SELECT created_at, action, ip FROM operator_audit2 WHERE operator_email = '...' ORDER BY created_at DESC LIMIT 50;
Засах.
- Хаягийг шууд стекийн compose-ийн
CONTROL_-ээс хасаадPLANE_ ALLOWED_ CIDRS docker compose up -d. - Бүртгэлийг идэвхгүй болго:
sql1UPDATE operator_accounts SET disabled_at = NOW() WHERE lower(email) = lower('...');2UPDATE operator_sessions SET revoked_at = NOW()3 WHERE operator_id = (SELECT id FROM operator_accounts WHERE lower(email) = lower('...'))4 AND revoked_at IS NULL; - Бусад операторуудад мэдэгд.
Өргөжүүлэх. Шууд. Энэ бол хамгийн эрхтэй интерфэйс рүү чиглэсэн үргэлжилсэн оролдлого бөгөөд аль хэдийн дотоод сүлжээнд байгаа хэн нэгнээс ирж байна.
NexusBreakGlassUsed
Юу болсон. Онцгой байдлын (break-glass) операторын бүртгэлээр консол руу нэвтэрлээ. Энэ бүртгэлийн нууц үг офлайн сейфэнд байдаг бөгөөд ердийн үед хэзээ ч хэрэглэгддэггүй.
Эхний 5 минут.
- Хэн нээв? Сейфийг хариуцагчаас утсаар асуу — мессежээр биш.
- Хаанаас:Мөр нь и-мэйл ба IP-г агуулна.
bash1docker compose logs backend 2>&1 | grep "BREAK GLASS" - Тэр session юу хийснийг:
sql1SELECT created_at, action, target_type, target_id, reason, ip2 FROM operator_audit3 WHERE operator_email = '<break-glass email>'4 ORDER BY created_at DESC LIMIT 100;
Засах.
- Төлөвлөгөөт бол (бүх superadmin-ий TOTP алдагдсан г.м.): ажил дууссаны дараа нууц үгийг нь ЗААВАЛ солиж, сейфэнд шинээр хийнэ. Дараа нь энгийн superadmin бүртгэлүүдийг сэргээ.
- Төлөвлөгөөт биш бол — зөвшөөрөлгүй хандалт гэж үз:Дараа нь танихгүй хаягийг стекийн compose-ийн
sql1UPDATE operator_accounts SET disabled_at = NOW() WHERE break_glass;2UPDATE operator_sessions SET revoked_at = NOW() WHERE revoked_at IS NULL;CONTROL_-ээс хасаадPLANE_ ALLOWED_ CIDRS docker compose up -dхийж,operator_audit-ыг бүхэлд нь шалга.
Өргөжүүлэх. Шууд, хэн нэгнийг сэрээж. Энэ бол платформын хамгийн эрхтэй хаалга бөгөөд дуут дохио нь зориудаар чанга.
NexusControlPlaneUnrecordedWrite
Юу болсон. Консолын хүсэлт 500 буцаалаа. Хамгийн магадлалтай шалтгаан нь
RequireAudit — Service.Do-г тойрч бичсэн handler-ийн хариуг барьсан.
Эхний 5 минут.
bash1docker compose logs backend 2>&1 | grep -i "without an audit record"2docker compose logs backend 2>&1 | grep -i "control plane:" | tail -30- "answered successfully without an audit record" → кодын алдаа. Тухайн
handler
Do-г ашиглах ёстой. Мөрөнд бичигдсэнpathнь хаанаас хайхыг хэлнэ. - "is not available (run the migrations up to 00049_control_plane)" → миграц
ажиллаагүй.
docker compose run --rm migrate. - "permission denied for table ..." → operator role-д тухайн хүснэгтийн эрх олгогдоогүй. Энэ нь зөв ажиллаж буй хамгаалалт: query нь тэр хүснэгтийг унших ёстой эсэхийг эхлээд шийд, дараа нь миграцаар тодорхой нэмнэ.
Засах. Кодын алдаа тул засвар нь commit. Түр зуурын тойрох арга байхгүй — audit-гүй бичилтийг зөвшөөрөх нь энэ давхаргын утгыг бүхэлд нь алдагдуулна.
Өргөжүүлэх. Ажлын өдөр. Гэхдээ өгөгдлийн санд ул мөргүй өөрчлөлт орсон байж болзошгүй тул тухайн үйлдлийг гараар шалга.