개요 프로젝트 내에서 A EventBridge에서 prod-sagemaker-notebook-rule이라는 규칙 참조를 제거하려고 하였으나, 해당 규칙에 아직 타겟이 연결되어 있어서 삭제할 수 없다는 것을 의미한다. 원인 AWS는 EventBridge 규칙을 삭제하기 전에 해당 규칙에 연결된 모든 타겟을 먼저 제거해야 한다. 현재 규칙에 타겟이 남아있어 삭제가 불가능한 상태인 것이다. deleting EventBridge Rule (prod-sagemaker-notebook-rule): operation error EventBridge: DeleteRule, https response error StatusCode: 400, RequestID: d7114e9a-9cef-404e-8489-19ec5f761..
트러블 슈팅
개요 Trino를 사용하는 어플리케이션에서 아래와 같은 에러가 발생하였다./tmp/trino-s3-13154018856034091017.tmp: Read-only file system; nested exception is java.sql.SQLException해당 장애의 트러블 슈팅 방안을 살펴보자. 내용/tmp 디렉토리는 무엇인가?Trino를 쿠버네티스 환경에 클러스터로 배포하기 위해서 이 레포지토리의 helm 차트를 사용하고 있다. GitHub - joshuarobinson/trino-on-k8s: Setup for running Trino with Hive Metastore on KubernetesSetup for running Trino with Hive Metastore on Kubernete..
상황 로그 스테이시의 Lag이 갑자기 선형적으로 증가하고, Kibana에서 ES 데이터가 조회가 안되는 상황. 원인[INFO ][logstash.outputs.elasticsearch][main][e38dddd91e7fd542db9b636944e2d369cbc7ce18c8d0a46ff86880f6be7cfd2b] retrying failed action with response code: 429 ({"type"=>"cluster_block_exception", "reason"=>"index [log-2024-10-05] blocked by: [TOO_MANY_REQUESTS/12/disk usage exceeded flood-stage watermark, index has read-only-allow-..
개요 기존에 20초 이상 걸리는 보고서 쿼리가 있었다. 해당 쿼리는 스프링 어플리케이션에서 native 쿼리를 사용하여 원시 통계 테이블을 조회한 후 보고서 형식에 맞게 반환해주는 코드였다. admin 페이지 특성 상 BtoC 프로덕트 보다는 성능 이슈가 덜하지만 개선할 수 있는 여지가 있어 이를 개선하였다. 내용 내가 생각하는 가장 큰 원인은 두 가지였다. 첫번째는 원시 통계 테이블을 그대로 조회한다는 것이었고, 두번째는 계층 구조의 이점을 살리지 못한다는 것이 그것이다. 기존의 구조, 원시 통계 테이블 참조 원시 통계 테이블을 참조했을 때 발생하는 가장 큰 이슈는 쿼리를 날렸을 때 스캔해야 할 row 수가 너무 많다는 것이다.(조회 기준이 따라 다르지만 수천만 ~ 수억건이 될 수 있다) 이렇게 데이..
