파일시스템 사용량 임계치 초과 시 조치 방법

2021.9.21.(화)

 

휴일에 AIX 서버 한 대의 특정 파일시스템 사용량이 임계치인 10%를 초과하였습니다.

해당 경로 하위를 트리구조로 타고 들어가 사용량을 조회해보았습니다.

 

# du -sg *

 

원인은 해당 파일시스템 하위에 저장되는 WAS 로그에 평소와 다르게 오류가 다수 출력되면서 로그 파일 사이즈가 급격히 증가한 것이었습니다.

오류가 출력되는 것을 바로잡는 것은 웹서비스 운영 팀에서 보아야 하기 때문에 크기가 큰 파일들을 압축하여 임시 조치하였습니다. 

 

# compress *.log

 

 

2021.9.23.(목)

 

웹서비스 운영 팀에서 확인 결과 GET 방식의 URL 호출이 파라미터 없이 다수의 IP로부터 이루어지고 있었고, 정상적인 호출은 파라미터가 있어야 하므로 비정상으로 판단된다고 하였습니다. 

해당 내용이 네트워크 팀에 전달되어 IPS 시스템에서 차단하겠다는 답변이 왔고 이 날 오후부터 로그에 오류가 출력되는 것이 멈추었습니다.

 

 

2021.9.24.(금)

 

주말을 앞두고 혹시나 파일시스템 사용량이 다시 높아질까봐 퇴근 전에 로그를 전부 압축하여 용량 확보를 해 두었습니다.

 

2021.9.25.(토)

 

전날 로그를 압축했음에도 불구하고 또 다시 파일시스템 용량이 찼습니다.

이 날 출근하신 분이 있어서 일단 로그를 압축하여 용량 확보를 하였습니다.

원인은 다음주 출근하여 확인하여야 할 것 같습니다.

 

 

2021.9.27.(월)

 

주말 파일시스템 임계치 초과는 전혀 다른 원인으로 인한 것이었습니다.

WAS 로그를 하루마다 날짜별로 rotate하게 되어 있는데

rotate하는 순간 로그에 공백 문자열이 다량 출력되어 

로그파일 크기가 7GB 이상 되었습니다.