KHUB

스냅샷(snapshot) 방식 증분 복사시 .snf 자동 삭제 스크립트

Writer 오창민

Description	snapshot 방식 증분 복사를 이용할 때 .snf를 삭제하는 스크립트이다. 스크립트가 servers.lst에 명시된 서버들에 접속해서 볼륨의 age들을 알아낸 다음, 최소 age 값 미만의 .snf를 삭제하게 된다. (4.11.x 이상 버전(4.10.x 이하는 테스트 못해봄)은 purge_snf.k를, 5.x 이상은 purge_snf_v5.k를 이용하기 바람. ) 두 가지 환경 설정이 필요하다. * <엔진설치폴더>/bin/servers.lst (파일 이름은 꼭 이것이 아니어도 됨. e.g. searches.rc 등으로 지어도 무방함) 색인 서버에서 특정 볼륨을 증분 복사해 가는(스냅샷 방식 - use snapshot) 검색 서버 주소(IP:PORT) 리스트를 적는다. IP대신 호스트 이름을 사용해도 된다. ``` $ cat servers.lst clan3:4115 clan4:4115 clan5:4115 ``` * 스케쥴 등록(색인 서버에만 하면 됨) 자동 삭제를 주기적으로 하기 위해서 색인 서버 스케쥴에 등록한다. 스케쥴 이름은 적당히 지으면 된다. main() 함수의 인자로 위에서 작성한 servers.lst와 .snf를 삭제할 볼륨 이름을 지정한다. 삭제 주기 역시 적당히 설정하면 된다. 증분 복사 주기의 5~10 배 정도로 잡으면 적당할 듯. ``` schedule = sample_vol_purge_snf, "run purge_snf.k main('servers.lst', 'sample');", every 10 min ``` ---------- purge_snf.k 스크립트를 <엔진설치폴더>/bin/ 아래로 복사한다. 모든 것이 제대로 동작하면 색인 서버의 kql.log에 다음과 같은 형식으로 로그들이 남는다. ``` ... [2018-11-07 17:05:55,589] T7/0 sample snapshot ts00314_000.snf being transferred ... [2018-11-07 17:05:55,591] T7/0 sample snapshot copying OK (314-320, 160.0 KB, 0.0 sec). [2018-11-07 17:06:00,656] S0/0 START / Schedule 0 [purge, "run purge_snf.k main('servers.lst','sample');"] [2018-11-07 17:06:00,665] S0/0 clan3:4115/sample age=454 [2018-11-07 17:06:00,666] S0/0 clan4:4115/sample age=320 [2018-11-07 17:06:00,668] S0/0 clan5:4115/sample age=320 [2018-11-07 17:06:00,669] S0/0 removing ... ../volume/sample/ts00216_000.snf [2018-11-07 17:06:00,669] S0/0 removing ... ../volume/sample/ts00268_000.snf [2018-11-07 17:06:00,669] S0/0 removing ... ../volume/sample/ts00270_000.snf [2018-11-07 17:06:00,670] S0/0 removing ... ../volume/sample/ts00280_000.snf [2018-11-07 17:06:00,670] S0/0 removing ... ../volume/sample/ts00284_000.snf [2018-11-07 17:06:00,670] S0/0 removing ... ../volume/sample/ts00305_000.snf [2018-11-07 17:06:00,670] S0/0 removing ... ../volume/sample/ts00314_000.snf [2018-11-07 17:06:00,671] S0/0 OK / Schedule 0 [purge, "run purge_snf.k main('servers.lst','sample');"] 20181107:170600-20181107:170600 (0:00) [2018-11-07 17:06:05,245] T2/0 sample snapshot copying to //10.10.20.92:48630/sample [578BE5DB 454] ... [2018-11-07 17:06:05,245] T2/0 sample snapshot ts00455_000.snf being transferred ... [2018-11-07 17:06:05,247] T2/0 sample snapshot copying OK (455-467, 192.1 KB, 0.0 sec). [2018-11-07 17:06:05,410] T1/0 sample snapshot copying to //10.10.20.94:53493/sample [578BE5DB 320] ... [2018-11-07 17:06:05,411] T1/0 sample snapshot ts00321_000.snf being transferred ... [2018-11-07 17:06:05,412] T1/0 sample snapshot copying OK (321-332, 176.0 KB, 0.0 sec). [2018-11-07 17:06:05,620] T13/0 sample snapshot copying to //10.10.20.93:47823/sample [578BE5DB 320] ... [2018-11-07 17:06:05,620] T13/0 sample snapshot ts00321_000.snf being transferred ... [2018-11-07 17:06:05,622] T13/0 sample snapshot copying OK (321-332, 176.0 KB, 0.0 sec). [2018-11-07 17:06:15,271] T8/0 sample snapshot copying to //10.10.20.92:48638/sample [578BE5DB 467] ... ... ... ```
Tag	snf 자동삭제 스케쥴 스냅샷
Module Name	purge_snf
Attachments	purge_snf.k (1.8kb) purge_snf_v5.k (1.7kb)

Comments