AIX 메모리 덤프 생성 & 분석

※ AIX를 직접 테스트할 서버가 없어 구글링 및 메뉴얼 기반으로 간략하게 정리한 글이므로, 실제 운용환경과는 맞지 않거나 틀린 내용이 있을 수 있습니다.

1. AIX 메모리 덤프 수행

AIX는 snap 명령을 통해 core 덤프를 획득하는 방식으로 메모리 덤프를 수행합니다.

snap 명령을 이용하여 core 덤프 이외에도 많은 시스템 정보를 함께 획득할 수 있으며, 덤프를 수행하기 이전에 덤프 설정을 확인하는 작업이 필요합니다.

sysdumpdev 명령은 AIX 시스템에서 덤프 장치를 확인 및 설정하는 명령이며 -l 옵션으로 현재 덤프 설정값을확인할 수 있습니다.

# sysdumpdev -l

dumpcheck 명령은 덤프 수행시 발생가능한 에러 정보를 확인할 수 있습니다.

# /usr/lib/ras/dumpcheck -p

덤프가 정상적으로 수행가능한 경우 아무런 출력값이 존재하지 않으며 덤프 장치 크기가 너무 작거나 덤프 디렉토리에 사용 가능한 공간이 작은 경우 등, 덤프가 정상적으로 수행이 불가능할 경우 해당 내용이 출력됩니다.

dumpcheck 명령 실행 결과 덤프 장치 사이즈가 너무 작다는 에러가 발생하는 경우 덤프 장치의 크기를 늘려주거나 좀 더 사이크가 큰 덤프 장치로 변경해주어야 합니다.

1.1 덤프 장치 사이즈 확장

# /usr/lib/ras/dumpcheck -p The largest dump device is too small. Largest dump device         lg_dumplv Largest dump device size in kb         4194304 Current estimated dump size in kb         4273971

우선, 현재 덤프 장치의 PP(Physical Partition) 정보를 lsvg 명령을 통해 확인합니다.

# lsvg -l rootvg | grep lg_dumplv lg_dumplv        sysdump        16        16        1         open/syncd        N/A # lsvg rootvg PP SIZE:         256 megabyte(s) TOTAL PPs:    1092 (279552megabytes) FREE PPs:      412 (105472 megabytes) USED PPs:      680 (174080 megabytes)

출력 내용은 순서대로 LV NAME, TYPE, LPs, PPs, PVs, LV STATE, MOUNT 입니다.

덤프 장치의 크기는 256MB * 16 = 4096MB (4GB) 이며 예시에서는 79667KB (77MB) 가 모자란 상태이고 PP 사이즈는 256MB이므로 1개 이상의 PP를 추가해주면 됩니다.

PP의 추가는 extendlv 명령을 통해 가능합니다.

# extendlv lg_dumlv 2 # lsvg -l rootvg | grep lg_dumplv lg_dumplv        sysdump        18        18        1         open/syncd        N/A

2.2 덤프 장치 변경

기존 덤프 장치의 사이즈를 늘리는 방법 이외에 새로운 논리적 볼륨을 생성하여 해당 볼륨을 덤프장치로 이용할 수도 있습니다.

새로운 볼륨 생성은 mklv 명령을 통해 가능합니다.

# mklv -t sysdump -y lg_dumplv2 rootvg 18

위 명령은 sysdump라는 논리적 볼륨 유형의 lg_dumplv2라는 라벨명으로 rootvg 볼륨 그룹에서 18 PP를 할당받아 생성합니다.

덤프 장치의 변경은 sysdumpdev 명령의 -p 또는 -s 옵션을 이용하여 간단하게 적용할 수 있습니다.

(-P 옵션과 함께 지정하는경우 재부팅 후에도 계속 지정된 덤프 장치를 사용합니다.)

# sysdumpdev -p /dev/lg_dumplv2 primary /dev/lg_dumplv2 secondary /dev/sysdumpnull copy directory /var/adm/ras forced copy flag TRUE always allow dump FALSE dump compression ON

always allow dump 값이 FALSE인 경우 -K 옵션을 이용하여 TRUE로 바꿀 수 있고 -k 옵션을 이용하여 FALSE로 바꿀 수 있습니다.

덤프 설정이 완료되면 snap 명령을 통해 메모리 덤프를 수행합니다.

덤프의 기본 출력 디렉토리는 /tmp/ibmsupt 이며 -d 옵션을 이용하여 별도의 디렉토리를 설정할 수도 있습니다. 

# snap -gfkvGLDN

각 옵션의 역할은 아래와 같습니다.

옵션	설명
-g	정확한 운영 시스템환경을 재작성하는데 필요한 lslpp -hBc 명령 결과 축적  (lslpp : 설치된 소프트웨어 파일 세트 정보 출력을 위한 명령)
-f	파일 시스템 정보 축적
-k	커널 정보 축적
-G	사전 정의된 오브젝트 데이터 관리자(ODM) 파일 -g 플래그로 축적한 일반 정보에 포함
-L	LVM 정보 축적
-D	덤프 및 /unix 정보 축적
-N	사용 가능한 공간이 있는지 검사하지 않음

2. AIX 메모리 덤프 분석

AIX는 기본적으로 제공되는 kdb를 이용하여 메모리 분석을 진행하며, 각종 subcommand를 이용하여 정보를 추출할 수 있습니다.

kdb 명령의 인자값으로는 snap명령 등에 의해 생성된 dump,unix 파일이 필요합니다.

snap 명령의 결과는 보통 pax.Z 또는 .Z으로 압축이되어있는데, 아래 명령으로 압축 해제가 가능합니다.

# uncompress snap.pax.Z # pax -rf snap.pax # cd ./dump # uncompress unix.Z # uncompress dump.Z # kdb ./dump ./unix

kdb 명령의 subcommand 종류는 매우 다양하나 유용한 몇가지만 간략하게 보자면 아래와 같습니다.

SubCommand	설명
> p *	프로세스 테이블 출력
> lle -k	커널 모듈 목록 출력
> lle -l32	32bit 라이브러리 모듈 목록 출력
> lle -l64	64bit 라이브러리 모듈 목록 출력
> netstat -Aan	네트워크 목록 출력

-AIX Dump 분석: kdb 사용하기

http://blog.naver.com/PostView.nhn?blogId=longskyf&logNo=110051978908

-kdb kernel debugger and kdb command

http://aix4admins.blogspot.kr/2012/05/kdb-kdb-kernel-debugger-and-kdb-command.html

-AIX에서 "The Largest dump device is too small" 이라 ERROR 메시지가 발생할 때

http://kunta.tistory.com/5

-aix dumpdev 생성과 사용

http://blog.boxcorea.com/wp/archives/591

-IBM KDB kernel debugger Menual

kdb_pdf.pdf

-eIBM AIX 명령어 모음 (현재 URL이 사라진 상태이므로 미리 수집해둔 페이지파일을 첨부합니다.)

http://eibm.co.kr/product/aix_command.html

 

aix_cmd.7z