PetroNet SystemБаримт бичиг
Ажиллагаа

Гарын авлага

13 мин уншихdocs/RUNBOOKS.mdGitHub дээр засах

Prometheus-ийн дохио бүрд: юу болсон, эхний 5 минутад юу шалгах, яаж засах, хэзээ өргөжүүлэх.

Дохионы нэрс нь цөмийн ажиглалтын стекийнх. PetroNet-ийн стек (/opt/petronet, core-app-02) өөрийн Prometheus-тай боловч дүрэм, Alertmanager, Loki байхгүй — тиймээс эдгээр нь «дохио ирэхэд» биш, ижил шинж тэмдэг харагдахад дагах алхмууд. Тушаалууд /opt/petronet дотроос; Prometheus нь стекийн дотор (docker compose exec prometheus …), TLS ба хандалтын лог edge core-nginx-01 дээр.


01Ерөнхий зарчим

Хоёр түвшин. severity: page нь хэн нэгнийг сэрээх ёстой — хэрэглэгч одоо хохирч байна. severity: ticket нь ажлын өдөр засах — засахгүй бол хохирол болно. Ticket дээр 03:00 цагт хариу үйлдэл хийх нь alert fatigue-ийн хамгийн богино зам бөгөөд түүний төгсгөл нь page-ийг ч үл тоох явдал.

Эхлээд хэмжилт, дараа нь тааварлалт. Дохио бүрийн эхний алхам нь самбар (monitoring.petronet.mn) дээр аль хэсэг эвдэрсэнийг харах. Restart нь бараг үргэлж шинжтомжийг арилгаад шалтгааныг нь нуудаг.

Юу хийснээ бич. Осол бүрийн дараа энэ файлыг засах нь дараагийн хүнд өгөх хамгийн үнэ цэнэтэй зүйл.

Тайван байдал. Платформын ихэнх дохио нь өгөгдөл алдагдсан гэсэн үг биш. Өгөгдөл алдагдах ганц бодит эрсдэл нь дискний дүүрэлт бөгөөд түүнд тусдаа хоёр дохио бий.


02API

NexusAPIDown

Юу болсон. Prometheus 2 минутын турш backend-ийн /metrics-ийг уншиж чадсангүй. Процесс унасан, гацсан, эсвэл сүлжээ тасарсан.

Энэ үед бусад бүх API дохио чимээгүй болно — өгөгдөл ирэхгүй тул дүрэм тооцоологдохгүй. Тиймээс энэ дохио дангаараа ирж байгаа нь "өөр юу ч болоогүй" гэсэн үг биш.

Эхний 5 минут.

bash
docker compose ps backenddocker compose logs --tail 200 backendcurl -s localhost:8220/healthcurl -s localhost:8220/ready
  • Контейнер огт байхгүй эсвэл Restarting бол → логоос яагаад гарсныг унш.
  • /health хариулж байгаа атлаа /metrics уншигдахгүй бол → сүлжээний асуудал, Prometheus-ийн target-ийг шалга (docker compose exec prometheus wget -qO- localhost:9090/api/v1/targets).
  • /health OK, /ready 503 бол → энэ бол өгөгдлийн сангийн асуудал, NexusPostgresDown руу оч.

Засах.

bash
docker compose up -d backend

Дахин асаахын өмнө логийг хадгал — лог цуглуулагч байхгүй тул контейнер дахин үүсэхэд мөрүүд алга болно:

bash
docker compose logs backend > /tmp/backend-crash-$(date +%s).log 2>&1

Байнга унаж байвал: санах ой (docker stats), OOM (dmesg | tail -50), эсвэл миграц дуусаагүй байх магадлалтай.

Өргөжүүлэх. 15 минутын дотор сэргээгээгүй бол платформын хариуцсан хүнд. Өгөгдлийн сан хөндөгдсөн сэжигтэй бол шууд.


NexusAPIErrorBudgetBurningFast

Юу болсон. Сүүлийн 1 цаг ба сүүлийн 5 минутад хоёуланд нь 5xx-ийн хувь 1.44%-иас давлаа. Ийм хурдаар сарын алдааны төсөв 2 хоногт дуусна.

Хоёр цонх зэрэг давсан үед л дохио өгдөг гэдэг нь чухал: түр зуурын үсрэлт энэ дохиог өгөхгүй, харин одоо ч үргэлжилж байгаа эвдрэл өгнө.

Эхний 5 минут. PetroNet · API тойм самбар:

  1. Алдаа хамгийн их гаргаж буй замууд — нэг зам уу, бүгд үү?
    • Нэг зам → тэр функцийн саяхны өөрчлөлт, эсвэл түүний хамаарал.
    • Бүх зам → өгөгдлийн сан, эсвэл дөнгөж deploy хийсэн хувилбар.
  2. Хүсэлтийн урсгал — 5xx-ийн эхэлсэн мөч deploy-тэй давхцаж байна уу?
  3. Лог:
    bash
    docker compose logs --since 1h backend | grep '"level":"ERROR"'

Засах.

  • Deploy-ийн дараа эхэлсэн бол → буцаа. Оношлохоос өмнө буцаах нь зөв дараалал:
    bash
    IMAGE_TAG=<өмнөх sha> docker compose up -d backend
  • Гадаад системээс шалтгаалсан бол → NexusExternalSystemFailing.
  • Өгөгдлийн сангаас → NexusDatabasePoolExhausted.

Өргөжүүлэх. 30 минутын дотор алдааны хувь буурахгүй бол.


NexusAPIErrorBudgetBurning

Юу болсон. 6 цаг ба 30 минутын цонхонд 0.6%-иас дээш. Огцом уналт биш, тогтвортой эвдрэлтэй төлөв — ихэвчлэн нэг зам, нэг гадаад систем, эсвэл зөвхөн тодорхой нөхцөлд гардаг алдаа.

Эхний 5 минут. Дээрхтэй адил, гэхдээ 6 цагийн хугацаанд: Алдаа хамгийн их гаргаж буй замууд панелийн хугацааг 6 цаг болго. Тогтмол нэг зам харагдвал тэр нь шалтгаан.

Засах. Ихэвчлэн код засвар шаардана. Хэрэглэгчид үргэлжлүүлэн хохирч байгаа тул засвар нь дараагийн ээлжийн ажил биш, өнөөдрийнх.

Өргөжүүлэх. Ажлын цагт хариуцсан багт. Шөнө сэрээх шаардлагагүй — энэ нь page боловч 15 минутын for-той бөгөөд дэлбэрэлт биш.


NexusAPIErrorBudgetSlowBurn

Юу болсон. 3 хоног ба 6 цагийн аль алинд нь SLO-гоос давсан. Хэн ч сэрэх шаардлагагүй, гэхдээ энэ сарын 99.9% биелэхгүй болох замдаа явж байна.

Эхний 5 минут. Үлдсэн алдааны төсөв панелийг хар. Сөрөг бол зорилт аль хэдийн биелэхгүй болсон.

Засах. Тасалдсан хэдэн зам, эсвэл нэг тогтмол алдаа гаргадаг үйлдлийг ол. Ихэвчлэн: боловсруулагдаагүй nil, timeout-гүй гадаад дуудлага, эсвэл тодорхой өгөгдөл дээр л унадаг handler.

Өргөжүүлэх. Шаардлагагүй. Ажлын тасалбар үүсгэ.


NexusAPILatencyHigh

Юу болсон. Урт poll-оос бусад бүх замын p95 хариу 10 минутын турш 2 секундээс давлаа.

Эхний 5 минут.

  1. Prometheus дээр: pgxpool_acquired_conns таазанд ойрхон, empty_acquire өсөж байвал → шалтгаан нь pool.
  2. Гадаад системүүд → p95. Аль нэг систем удааширсан бол handler-ууд түүнийг хүлээж байна.
  3. Инфраструктур → CPU, iowait. iowait өндөр бол диск.

Засах.

  • Pool дүүрсэн → удаан query-г ол:
    sql
    SELECT pid, now() - query_start AS duration, state, left(query, 120)  FROM pg_stat_activity WHERE state <> 'idle' AND now() - query_start > interval '5 seconds' ORDER BY duration DESC;
  • Гадаад систем удаан → тухайн rail-ыг түр хаах боломжтой эсэхийг хар (жишээ нь eSign HSM-ийг гарын үсгийн бодлогоос).
  • Диск удаан → NexusDiskFillingUp шалга, дүүрсэн диск удаашралын түгээмэл шалтгаан.

Өргөжүүлэх. Хэрэглэгчид "систем ажиллахгүй байна" гэж мэдэгдэж эхэлбэл page шиг хандах.


NexusLoadShedding

Юу болсон. Зэрэг үйлчлэх хүсэлтийн тааз (1000)-д хүрч, шинэ хүсэлтүүд 503-аар татгалзагдаж байна. Хамгаалалт ажиллаж байгаа хэрэг — гэхдээ хэрэглэгч алдаа хараад байна.

Эхний 5 минут.

  1. Тэсвэрлэлт → Зэрэг үйлчилж буй хүсэлт. Огцом үсэрсэн үү, аажим өссөн үү?
    • Огцом → урсгалын оргил эсвэл халдлага. API тойм → rps.
    • Аажим → хүсэлтүүд дуусахгүй хуримтлагдаж байна: удаан гадаад дуудлага эсвэл өгөгдлийн сангийн түгжээ.
  2. Эх сурвалж нэг IP мөн эсэхийг nginx-ийн логоос:
    bash
    awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head

Засах.

  • Халдлага бол → nginx дээр хязгаарла (тэнд аль хэдийн limit_req бүсүүд бий).
  • Бодит ачаалал бол → яагаад хүсэлтүүд удаж байгааг ол; таазыг өсгөх нь сүүлийн арга бөгөөд ихэвчлэн буруу арга — 1000 зэрэг хүсэлт нь 25 холболттой pool-той машины хувьд аль хэдийн их.
  • Урт poll-ууд (eID) хуримтлагдсан бол энэ нь хэвийн: тэдгээр нь секундүүдээр барих зориулалттай.

Өргөжүүлэх. 15 минутаас удаан үргэлжилбэл.


03Гадаад системүүд

NexusExternalSystemFailing

Юу болсон. {{ system }} рүү хийсэн дуудлагын тэн хагасаас олон нь 10 минутын турш амжилтгүй. Энэ нь ихэвчлэн энэ платформын доголдол биш — гэхдээ хэрэглэгчид нэвтэрч эсвэл гарын үсэг зурж чадахгүй байна.

Аль систем ямар үйлчилгээг зогсоох вэ:

СистемЗогсох зүйл
eideID Mongolia-гаар нэвтрэх, баталгаажсан гарын үсэг
danДАН-аар нэвтрэх
xypИргэн/байгууллагын лавлагаа
esignHSM-ийн гарын үсэг (хуучин зам)
geminiAI туслах, орчуулга, яриа таних
emailverifyХаяг баталгаажуулах и-мэйл

Эхний 5 минут.

  1. Гадаад системүүд dashboard → p95 — үйлдлээр. Бүх үйлдэл унасан уу, нэг нь уу?
  2. Гараар шалга — жишээ нь eID:
    bash
    docker compose exec backend wget -qO- --timeout=10 https://eidmongolia.mn/ >/dev/null && echo reachable
  3. Лог:
    bash
    docker compose logs --since 1h backend | grep '"level":"ERROR"' | grep -i eid
  4. Итгэмжлэл дууссан эсэхийг шалга — 401/403 нь тэдний уналт биш, бидний тохиргооны асуудал.

Засах.

  • Тэдний тал бол: тухайн үйлчилгээ үзүүлэгчид мэдэгд. Хэмжилтээ хамт өг — external_request_duration_seconds нь яг хэдэн цагт, ямар хувьтай гэдгийг хэлнэ.
  • Бидний тал бол (итгэмжлэл, тохиргоо): .env-ийг шалга, backend-ыг дахин асаа.
  • Хэрэглэгчдэд: өөр нэвтрэх зам байгаа эсэхийг мэдэгд (eID унасан ч нууц үг, Google ажиллаж байгаа бол).

Өргөжүүлэх. Нэвтрэлтийн бүх зам (eid, dan, google, sso) зэрэг унасан бол шууд — тэр үед хэн ч орж чадахгүй байна.


NexusExternalSystemDegraded

Юу болсон. 30 минутын турш алдааны хувь 15%-иас дээш. Зургаа тутмын нэг хүсэлт унана — хэрэглэгчийн хувьд "заримдаа ажилладаг", энэ нь бүрэн уналтаас удаан анзаарагддаг тул илүү их гомдол авчирдаг.

Эхний 5 минут. Дээрхтэй адил. Нэмж: алдаа тодорхой хэв маягтай юу — тодорхой регистрийн дугаар, тодорхой хэмжээний файл?

Засах. Ихэвчлэн хүлээх нь зөв — эсвэл давтан оролдох логик нэмэх. Дуудлага бүр өөрийн timeout-той эсэхийг шалга.

Өргөжүүлэх. Шаардлагагүй. Ажлын тасалбар.


NexusExternalSystemSlow

Юу болсон. {{ system }}-ийн p95 хариу 10 секундээс удаан. Удаан гадаад дуудлага нь хүсэлтийн goroutine болон pool-ын холболтыг барьж байдаг тул тухайн систем рүү огт хандаагүй хүсэлтүүд ч удаашрана.

Эхний 5 минут. Pool-ын байдлыг шалга (Тэсвэрлэлт dashboard). resilience_in_flight_requests өсөж байвал энэ нь удахгүй load shedding болно.

Засах. Тухайн rail-ыг түр хаах, эсвэл timeout-ыг богиносгох. Хамгийн муу төлөв нь удаан дуудлага + урт timeout: платформ бүхэлдээ нэг гадаад системийн хурдаар ажиллана.

Өргөжүүлэх. Load shedding эхэлбэл.


04Инфраструктур

NexusDiskFillingUp

Юу болсон. {{ mountpoint }} дээр сул зай 15%-иас бага. 93% давбал NexusDiskAlmostFull нь page болж ирнэ.

Энэ бол өгөгдөл алдагдах бодит эрсдэл бүхий цөөхөн дохионы нэг. 100% хүрэхэд Postgres бичихээ болино, WAL бичигдэхгүй, платформ бүхэлдээ зогсоно.

Эхний 5 минут.

bash
df -hdu -xh --max-depth=1 / 2>/dev/null | sort -rh | head -20docker system df

Хамгийн түгээмэл гурван шалтгаан:

  1. Docker-ийн хуучин image, build cache — deploy бүр шинэ image татдаг.
  2. Prometheus-ийн өгөгдөл — 2 GB / 15 хоногийн таазтай (/srv/petronet/prometheus).
  3. Postgres — үнэхээр өссөн, эсвэл vacuum ажиллаагүй.

Засах.

bash
# 1 — build cache. Хамгийн аюулгүй, ихэвчлэн хамгийн том.docker builder prune -af # 2 — хуучин tag-ууд. `prune -a` нь ашиглагдаагүй БҮХ image-ийг авах тул#     rollback хийх зүйлгүй үлдэнэ; оронд нь repo тус бүрээс ажиллаж байгаа#     нь + сүүлийн гурвыг үлдээнэ.KEEP=3INUSE=$(docker ps -a --format '{{.Image}}' | sort -u)for repo in ghcr.io/gerege-systems/petronet-gerege-nexus/backend \            ghcr.io/gerege-systems/petronet-gerege-nexus/frontend; do  docker images --format '{{.CreatedAt}}|{{.Repository}}:{{.Tag}}' "$repo" \    | sort -r | cut -d'|' -f2 | tail -n +$((KEEP+1)) \    | grep -vxF "$INUSE" | xargs -r -n 40 docker rmidone # Prometheus-ийн эзлэх хэмжээdocker compose exec prometheus du -sh /prometheus # Postgres-ийн хамгийн том хүснэгтүүдdocker compose exec -T postgres psql -U postgres -d petronet -c "  SELECT relname, pg_size_pretty(pg_total_relation_size(c.oid)) AS size    FROM pg_class c JOIN pg_namespace n ON n.oid = c.relnamespace   WHERE n.nspname = 'public' AND c.relkind = 'r'   ORDER BY pg_total_relation_size(c.oid) DESC LIMIT 15;"

Устгаж болохгүй зүйлс: /srv/petronet/postgres, шифрлэлтийн түлхүүр агуулсан .env файлууд, гарын үсэгтэй PDF-үүд.

Энэ нь дахин давтагдана: deploy бүр хоёр image нэмдэг ба тэдгээр нь өөрөө явахгүй. core-app-02-ийг бусад үйлчилгээ хуваалцдаг тул бусдын image-д хүрэхгүй.

Өргөжүүлэх. 95% давбал шууд — цаг хэдхэн байна.


NexusDiskAlmostFull

93%. Дээрхтэй ижил, гэхдээ page. Эхлээд docker image prune -af — ихэвчлэн хэдэн арван GB чөлөөлдөг бөгөөд аюулгүй.


NexusHostMemoryPressure

Юу болсон. Сул санах ой 10%-иас бага. Дараагийн алхам нь OOM killer бөгөөд тэр нь ихэвчлэн хамгийн том процессыг — Postgres-ийг — алдаг.

Эхний 5 минут.

bash
free -hdocker stats --no-streamdmesg | grep -i -E 'oom|killed process' | tail -20

docker stats — аль контейнер өссөн бэ, тогтмол өсөж байна уу (leak) эсвэл нэг үсрэлт үү? Хост бусад үйлчилгээтэй хуваалцдаг тул PetroNet-ийнх биш байж болно.

Засах.

  • Prometheus хэт их идэж байвал → retention багасга, эсвэл түр унтраа. Платформ түүнийг шаарддаггүй.
  • Backend leak → дахин асаа, дараа нь go_goroutines графикийг хар (API тойм). Тогтмол өсөж байгаа goroutine нь дуусаагүй урт poll.
  • Postgres → shared_buffers хэт өндөр тохируулсан эсэхийг шалга.

Өргөжүүлэх. OOM killer аль хэдийн ажилласан бол шууд.


NexusPostgresDown

Юу болсон. postgres_exporter өгөгдлийн санд холбогдож чадахгүй байна.

Эхлээд ялга: үнэхээр Postgres унасан уу, эсвэл зөвхөн exporter-ийн нэвтрэлт эвдэрсэн үү? Хоёр дахь нь платформд огт нөлөөгүй.

bash
# Платформ өөрөө өгөгдлийн санд хүрч байна ууcurl -s localhost:8220/ready docker compose ps postgresdocker compose logs --tail 100 postgres

/ready нь {"status":"ready"} гэж хариулж байвал → Postgres хэвийн, асуудал нь exporter-ийн нууц үг. backend/db/migrations/00044_monitoring_role.sql доторх GRANT-ыг дахин ажиллуул.

Postgres үнэхээр унасан бол.

bash
docker compose up -d postgresdocker compose logs -f postgres

Диск дүүрсэн эсэхийг заавал шалга — Postgres-ийн зогсох хамгийн түгээмэл шалтгаан бол сул зай дуусах.

Өргөжүүлэх. Postgres үнэхээр унасан бол шууд. Өгөгдөл эвдэрсэн шинж тэмдэг (PANIC, corrupted) харагдвал дахин асаахаа боль — эхлээд backup-аа шалга.


NexusPostgresConnectionsHigh

Юу болсон. Зөвшөөрөгдсөн холболтын 80% эзлэгдсэн. Дүүрэхэд шинэ холболт бүр татгалзагдана.

Платформын pool нь replica тутамд 25-аар хязгаарлагдсан тул энэ нь ихэвчлэн pool-оос гадуурх ямар нэг зүйл холбогдож байгааг илтгэнэ.

Эхний 5 минут.

sql
SELECT usename, application_name, state, count(*)  FROM pg_stat_activity GROUP BY 1,2,3 ORDER BY 4 DESC;
  • idle in transaction олон → commit хийгээгүй гүйлгээ. Түгжээ барьж, vacuum-ыг зогсооно.
  • Танихгүй application_name → өөр стек, нээлттэй үлдсэн psql, эсвэл дуусаагүй миграц.

Засах.

sql
-- 10 минутаас удаан idle in transaction байгаа холболтуудыг таслахSELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE state = 'idle in transaction'   AND now() - state_change > interval '10 minutes';

max_connections-ыг өсгөх нь сүүлийн арга: холболт бүр санах ой иддэг, өсгөх нь ихэвчлэн асуудлыг хойшлуулна.

Өргөжүүлэх. 95% давбал.


NexusDatabasePoolExhausted

Юу болсон. Платформын өөрийн pool-ын 90%-иас дээш нь 10 минутын турш эзлэгдсэн. Хүсэлтүүд холболт хүлээж эхэлнэ — энэ нь удаашралыг тайлбарлах хамгийн эхний газар.

Postgres чөлөөтэй атлаа энэ дүүрсэн байх нь бүрэн боломжтой: асуудал нь холболтын тоо биш, тэднийг барьж буй хугацаа.

Эхний 5 минут.

  1. Тэсвэрлэлт → Хүлээлт. empty_acquire тэгээс салсан мөч нь эхлэл.
  2. Удаан query:
    sql
    SELECT pid, now() - query_start AS duration, left(query, 200)  FROM pg_stat_activity WHERE state = 'active' AND now() - query_start > interval '2 seconds' ORDER BY duration DESC;
  3. Түгжээ:
    sql
    SELECT blocked.pid AS blocked_pid, blocking.pid AS blocking_pid,       left(blocked.query, 80) AS blocked_query  FROM pg_stat_activity blocked  JOIN pg_stat_activity blocking    ON blocking.pid = ANY(pg_blocking_pids(blocked.pid));

Засах. Удаан query-г ол, индекс нэм. Түр арга нь тухайн query-г таслах (pg_cancel_backend). Pool-ын хэмжээг өсгөх нь Postgres руу асуудлыг шилжүүлнэ.

Өргөжүүлэх. p95 2 секундээс давбал.


NexusRedisDown

Юу болсон. Redis хариу өгөхгүй байна.

Платформ ажиллана. Redis нь энд кэш хүчингүй болгох мессеж болон deployment-ийн хэмжээний хурдны хязгаарын тоолуурыг барьдаг. Унасан үед хязгаар нь процесс тус бүрийнх болж, эрх цуцлах нь бусад replica дээр кэшийн TTL-ийн хугацаагаар хоцрогдоно. Өгөгдөл алдагдахгүй — Redis-д хадгалагдах ёстой юу ч байхгүй.

Эхний 5 минут.

bash
docker compose ps redisdocker compose logs --tail 50 redisdocker compose exec redis redis-cli ping

Засах.

bash
docker compose up -d redis

Санах ойн таазанд хүрсэн бол энэ нь хэвийн — allkeys-lru бодлого хуучин түлхүүрүүдийг хаяна.

Өргөжүүлэх. Шаардлагагүй.


NexusContainerRestarting

Юу болсон. {{ name }} сүүлийн 30 минутад 3-аас олон удаа дахин эхэллээ.

Docker-ийн restart: unless-stopped нь эвдрэлийг нуух гол арга: үйлчилгээ "ажиллаж байгаа" харагдана, гэхдээ хэсэг хугацаанд хариу өгөхгүй бөгөөд лог нь контейнер бүрийн хамт алга болно.

Эхний 5 минут.

bash
docker inspect petronet-<нэр>-1 --format '{{.State.ExitCode}} {{.State.Error}}'docker compose logs --tail 300 <нэр>
  • ExitCode 137 → OOM. NexusHostMemoryPressure.
  • ExitCode 1 + тохиргооны алдаа → .env.
  • Healthcheck унаж байгаа → шалтгаан нь тэр контейнер биш, түүний хамаарал.

Засах. Шалтгааныг зас. Дахин асаах нь мөчлөгийг л үргэлжлүүлнэ.

Өргөжүүлэх. backend эсвэл postgres бол шууд.


NexusTLSCertificateExpiringSoon

Гэрчилгээ ба certbot нь edge core-nginx-01 дээр — доорх тушаалууд тэнд.

Юу болсон. {{ domain }}-ийн сертификат 14 хоногт дуусна — өөрөөр хэлбэл certbot-ын автомат сунгалт ажиллаагүй байна.

Дуусахад бүх браузер сэрэмжлүүлэг үзүүлнэ, native клиентүүд огт холбогдохоо болино (тэд сертификатын алдааг алгасах товчгүй).

Эхний 5 минут.

bash
sudo certbot certificatessudo systemctl status certbot.timersudo journalctl -u certbot --since '7 days ago' | tail -50

Засах.

bash
sudo certbot renew --dry-run   # эхлээд туршилтsudo certbot renewsudo nginx -t && sudo systemctl reload nginx

Түгээмэл шалтгаан: .well-known/acme-challenge/ руу очих зам nginx-д хаагдсан, DNS өөрчлөгдсөн, эсвэл 80 порт хаалттай.

Өргөжүүлэх. 3 хоног үлдсэн бол шууд.


05Нөөцлөлт

NexusBackupStale

backup_last_success_timestamp_seconds 26 цагаас хуучин. pg-backup нь өдөр бүр 03:15-д (/etc/cron.d/petronet-backup).

  1. tail -50 /var/log/petronet-backup.log
  2. Cron бичигдсэн эсэх: cat /etc/cron.d/petronet-backup — байхгүй бол stack/petronet/setup.sh-г дахин ажиллуул.
  3. /opt/petronet/backup.env бүрэн эсэх (RESTIC_PASSWORD, AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY) ба Garage хүрэлцэхүйц эсэх.
  4. Дискний зай: df -h /srv.
  5. Гараар ажиллуулж алдааг нь хар: sudo PGUSER=petronet /usr/local/bin/pg-backup /opt/petronet

06Операторын консол

Консолын дохионууд бусдаасаа өөр асуулт тавьдаг: "систем эрүүл үү" биш, "хэн нэгэн орох гэж оролдож байна уу". Консол нь хаягийн жагсаалтын (CONTROL_PLANE_ALLOWED_CIDRS) ард байдаг тул эдгээр оролдлого нь зөвшөөрөгдсөн сүлжээнээс ирж байна — гаднаас ирсэн бол энэ хүртэл хүрэхгүй байсан.

NexusControlPlaneLoginFailures

Юу болсон. 15 минутын дотор консол руу 5-аас олон удаа амжилтгүй нэвтрэх оролдлого болов.

Эхний 5 минут.

  1. Шалтгааныг ялга — Prometheus дээр:
    text
    sum by (result) (increase(cp_login_attempts_total[1h]))
    • bad_password давамгайлж байвал → нууц үг тааж байна.
    • bad_code давамгайлж байвал → нууц үг нь зөв байж болзошгүй, зөвхөн хоёр дахь хүчин зүйл нь зогсоож байна. Энэ нь илүү яаралтай.
    • unknown давамгайлж байвал → байхгүй и-мэйл хаягуудыг оролдож байна: жагсаалт таамаглаж байгаа хэрэг.
    • no_second_factor → bootstrap тасалдсан бүртгэл байна. §3.4-ийг үз.
  2. Аль хаягнаас ирснийг:
    bash
    # edge core-nginx-01 дээрgrep '/api/platform/v1/session' /var/log/nginx/access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
  3. Тэр хаяг хэний вэ? CONTROL_PLANE_ALLOWED_CIDRS дотор хэн байгааг хар.

Засах.

  • Оператор өөрөө андуурсан бол → түгжээ 15 минутын дараа өөрөө тайлагдана. Яаралтай бол DB-ээс:
    sql
    UPDATE operator_accounts SET failed_login_attempts = 0, locked_until = NULL WHERE lower(email) = lower('...');
  • Танихгүй хаяг бол → тэр хаягийг стекийн compose-ийн CONTROL_PLANE_ALLOWED_CIDRS-ээс хасаад docker compose up -d. Дараа нь тухайн сүлжээнд юу болж байгааг шалга: жагсаалтад байгаа хаягнаас оролдлого ирсэн нь тэр машин эсвэл VPN-ийн бүртгэл алдагдсан гэсэн үг.
  • bad_password олон боловч дараа нь success гарсан бол → тэр session-ыг operator_audit-аас шалга: хэн, хаанаас, юу хийсэн.

Өргөжүүлэх. bad_code олноор гарсан, эсвэл амжилтгүйн дараа амжилттай нэвтрэлт болсон бол — тухайн операторт утсаар холбогдож, өөрөө мөн эсэхийг асуу. Тийм биш бол бүх session-ыг цуцалж, нууц үг ба TOTP-ийг дахин үүсгэ.

NexusControlPlaneLockout

Юу болсон. Аль хэдийн түгжигдсэн бүртгэл рүү оролдлого үргэлжилж байна. Хүн андуурсан бол зогсдог; үргэлжилж байгаа нь автоматжуулсан оролдлого.

Эхний 5 минут.

  1. Дээрхтэй ижил — аль бүртгэл, аль хаягнаас.
  2. operator_audit-д тэр бүртгэлээр амжилттай юу болсныг шалга:
    sql
    SELECT created_at, action, ip FROM operator_audit WHERE operator_email = '...' ORDER BY created_at DESC LIMIT 50;

Засах.

  1. Хаягийг шууд стекийн compose-ийн CONTROL_PLANE_ALLOWED_CIDRS-ээс хасаад docker compose up -d.
  2. Бүртгэлийг идэвхгүй болго:
    sql
    UPDATE operator_accounts SET disabled_at = NOW() WHERE lower(email) = lower('...');UPDATE operator_sessions SET revoked_at = NOW() WHERE operator_id = (SELECT id FROM operator_accounts WHERE lower(email) = lower('...'))   AND revoked_at IS NULL;
  3. Бусад операторуудад мэдэгд.

Өргөжүүлэх. Шууд. Энэ бол хамгийн эрхтэй интерфэйс рүү чиглэсэн үргэлжилсэн оролдлого бөгөөд аль хэдийн дотоод сүлжээнд байгаа хэн нэгнээс ирж байна.

NexusBreakGlassUsed

Юу болсон. Онцгой байдлын (break-glass) операторын бүртгэлээр консол руу нэвтэрлээ. Энэ бүртгэлийн нууц үг офлайн сейфэнд байдаг бөгөөд ердийн үед хэзээ ч хэрэглэгддэггүй.

Эхний 5 минут.

  1. Хэн нээв? Сейфийг хариуцагчаас утсаар асуу — мессежээр биш.
  2. Хаанаас:
    bash
    docker compose logs backend 2>&1 | grep "BREAK GLASS"
    Мөр нь и-мэйл ба IP-г агуулна.
  3. Тэр session юу хийснийг:
    sql
    SELECT created_at, action, target_type, target_id, reason, ip  FROM operator_audit WHERE operator_email = '<break-glass email>' ORDER BY created_at DESC LIMIT 100;

Засах.

  • Төлөвлөгөөт бол (бүх superadmin-ий TOTP алдагдсан г.м.): ажил дууссаны дараа нууц үгийг нь ЗААВАЛ солиж, сейфэнд шинээр хийнэ. Дараа нь энгийн superadmin бүртгэлүүдийг сэргээ.
  • Төлөвлөгөөт биш бол — зөвшөөрөлгүй хандалт гэж үз:
    sql
    UPDATE operator_accounts SET disabled_at = NOW() WHERE break_glass;UPDATE operator_sessions SET revoked_at = NOW() WHERE revoked_at IS NULL;
    Дараа нь танихгүй хаягийг стекийн compose-ийн CONTROL_PLANE_ALLOWED_CIDRS-ээс хасаад docker compose up -d хийж, operator_audit-ыг бүхэлд нь шалга.

Өргөжүүлэх. Шууд, хэн нэгнийг сэрээж. Энэ бол платформын хамгийн эрхтэй хаалга бөгөөд дуут дохио нь зориудаар чанга.

NexusControlPlaneUnrecordedWrite

Юу болсон. Консолын хүсэлт 500 буцаалаа. Хамгийн магадлалтай шалтгаан нь RequireAudit — Service.Do-г тойрч бичсэн handler-ийн хариуг барьсан.

Эхний 5 минут.

bash
docker compose logs backend 2>&1 | grep -i "without an audit record"docker compose logs backend 2>&1 | grep -i "control plane:" | tail -30
  • "answered successfully without an audit record" → кодын алдаа. Тухайн handler Do-г ашиглах ёстой. Мөрөнд бичигдсэн path нь хаанаас хайхыг хэлнэ.
  • "is not available (run the migrations up to 00049_control_plane)" → миграц ажиллаагүй. docker compose run --rm migrate.
  • "permission denied for table ..." → operator role-д тухайн хүснэгтийн эрх олгогдоогүй. Энэ нь зөв ажиллаж буй хамгаалалт: query нь тэр хүснэгтийг унших ёстой эсэхийг эхлээд шийд, дараа нь миграцаар тодорхой нэмнэ.

Засах. Кодын алдаа тул засвар нь commit. Түр зуурын тойрох арга байхгүй — audit-гүй бичилтийг зөвшөөрөх нь энэ давхаргын утгыг бүхэлд нь алдагдуулна.

Өргөжүүлэх. Ажлын өдөр. Гэхдээ өгөгдлийн санд ул мөргүй өөрчлөлт орсон байж болзошгүй тул тухайн үйлдлийг гараар шалга.

Энэ хуудас тус болсон уу?Таны хариу баримтыг сайжруулахад тусална.
    DEV · Хөгжүүлэлтийн орчин