완전히 안정적으로 보이던 헤놀이 몇가지 사태를 거쳐 완전히 날아가는 일이 발생했다.

 

1. 갑자기 디스크가 가득 차 로그인이 안된다는 에러 발생

2. ssh로 접속하여 대형 백업파일들 삭제

3. 여전히 같은 에러 반복

4. ssh로 접속하여 snapshot 삭제

5. 로그인이 되나 했는데 앱들 삭제됨. 재부팅 시도

6. 완전 먹통 상황에 빠짐 - 일단 임시 백업 서버 가동

7. dsm.pat 재설치 시도

8. 설치 중 파일 손상 에러 반복됨

9. pid, vid 다시 확인하여 부트로더 새로 구움

10. 파일 손상에러 사라지고 정상 설치

11. 기존 하드 붙이니 마이그레이션 진행

12. 기본적 복구 성공. php mariadb apache 설치

13. 백업 웹데이터 복원

14. 개별 db 백업 파일들 업로드

15. 인증서 재발급

16. 권한 및 가상호스트 설정

17. 깃 서버 복구

18. 백업 스크립트 수정

 

24시간이 풀로 걸린다. 헐.

현재 원인으로 짐작되는 것들

 

1. 백업스크립트와 스냅샷의 결합으로 인한 데이타 폭주

2. pid, vid가 안맞은채 설치된 상황에서 애초에 우연히 동작하고 있었을 가능성

 

아니 왜 pid vid를 안맞췄지? ㅋㅋ 이해가 안됨.