Nginx HTTP Proxy에서 Protocol 혼용에 따른 HTTP 502 발생 CASE 검토

1.server architect

client <-http-> nginx(proxy) <-http-> java was(tomcat, Armeria..etc)

(이 외에 tomcat AJP, weblogic,jboss등의 전용 proxy모듈등이 있을 수 있음, 케이스마다 다르다)

2. basic information
2.1 nginx의 proxy module을 사용하여  upstream(WAS등 여하의 뒷단 서비스)과 HTTP 통신시 프로토콜정보

porxy 모듈의 소스(메뉴얼에도 설명이 없다....)
 https://github.com/nginx/nginx/blob/68b50f71e193e58ee117ef36f25387cbaa75edf3/src/http/modules/ngx_http_proxy_module.c


2902 ngx_http_proxy_merge_loc_conf(ngx_conf_t *cf, void *parent, void *child)
{....
3281 ngx_conf_merge_uint_value(conf->http_version, prev->http_version,
3282                              NGX_HTTP_VERSION_10);

- HTTP 1.0 지원
nginx의 proxy module의 기본 protocol은 http 1.0

- HTTP 1.1 지원
http 1.1로 동작시키기 위해서 keepalive 구문을 사용한다.

    upstream proxy_service {
        server 127.0.0.1:20080;
        keepalive 32;
    }

- HTTP 2.0 지원
일반적으로 우리는 revers proxy구조를 만들고 이때 Client와 upstream 사이에 정보확인 안되므로
프로토콜 업그레이드가 필요할 수 있다.이러한 경우 HTTP 2.0(websocket,SPDY)으로 동작시킬 수 있다 (1.3.13+)

http://nginx.org/en/docs/http/websocket.html

location /chat/ {
    proxy_pass http://backend;
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";
}

3. Case Study
3.1 HTTP 502
Client에서의 요청을 처리하던중 가끔 HTTP 502에러가 발생한다.????

3.1.1 WAS Restart, WAS Full GC
여하간의 문제로 upstream server가 nginx의 socket 생성 자체를 해주지 못한다면 502 (bad gateway)가 발생할 수 있다. (느리거나 용량문제로 발생하는 504와 다르다)
여기서는 이 문제를 다루지 않는다

3.1.2 proxy connection에 http 1.0, 1.1 혼용사용
HTTP 1.0은 keepalive를 지원하지 않는다
또한
HTTP 1.1도 keepalive를 off 할 수 있다. 다만 HTTP 1.1은 keep alive가 주요 목적이라고 감안하고 다음 이야기를 진행 한다.

client -> upstream 으로 접속시  keepalive를 켜는 경우와 끄는경우가 존재한다.
대부분 관리자의 취향(?)에 따르지만 이론적인 장단점은 다음과 같다 .

keepalive off(HTTP1.0) : 매 요청시 connection을 재 생성하여 upstream에 접속한다. 잘못된 요청에 의한 connection오염위험이 적으나 대량부하 사이트에서 다수의 socket자원이 생성된다
Keepalive on(HTTP1.1) : 일정수의 접속유지 connection을 생성하여 공유한다. connection이 오염되는경우 장애 위험이 있으나 proxy모듈과 upstream software적인 결함없이 안정적이라면 자원을 재활용하고 미리 생성해 놓을수 있으므로 안정적이고 속도가 빠르다

다음과 같이 설정하면 80으로 들어온 모든 요청은 keepalive로 접속하여 upstream으로 전달되고 32개의 connection은 지속적으로 재활용된다.


    upstream proxy_service {
        server 127.0.0.1:8080;
        keepalive 32;
    }


    server {
        listen 80;

        location / {
            proxy_pass http://proxy_service;

            proxy_http_version 1.1;
            proxy_connect_timeout 5;
.....
        }


문제는 다음과 같이 혼용되는 경우

    upstream proxy_service {
        server 127.0.0.1:8080;
        keepalive 32;
    }


    server {
        listen 80;
        #proxy_http_version 1.1; 지시자가 있으므로 1.1로 upstream으로 향한다.
        location / {
            proxy_pass http://proxy_service;

            proxy_http_version 1.1;
            proxy_connect_timeout 5;
.....
        }

        # 지시자가 없으므로 기본값인 1.0으로 upstream으로 향한다.
        location /statcheck {
            allow 127.0.0.1;
            deny all;
            proxy_pass http://proxy_service;
        }


모든 요청이 정상적으로 처리될 것 같으나

client가 /statcheck 를 호출하는 경우  http1.0 으로 upstream으로 요청이 넘어가고 upstream은 keepAlive off로 판단하여
기존의 KeepAlive로 생성된 해당 요청 Connection을 끊어버리게 된다.

client                                      upstream
1. A GET /index.html HTTP1.1 요청 전송 ->
2.                                          <- 응답 200 ok
3. B GET /statcheck HTTP1.0 요청 전송 ->
5.                                          <- 응답 200 ok
6.                                     <- Fin 전송
7. C GET /hello.html HTTP1.1 요청 전송 ->
8.                                     <- RST 전송

위의 경우 A 요청은 정상 처리가 되고 사용된 Connection정상
B 요청이 들어오면 1.0 이므로 정상처리후 해당 Connection을 끊는 동작시작
(HTTP Protocol의 정상 동작이나 추가 설명은 아래쪽에)
C요청을 전송하였으나 upstream에서 RST 전송으로 끊어지면서 HTTP 502오류 처리





3.1.3 upstream connection 구현체의 timeout (nginx proxy timeout 가 upstream보다 짧아야 문제가 없다. upstream으로 tomcat을 사용하는 경우 connectionTimeout에 지정된다.)
네트워크통신의 가장 일반적인 방법은 요청을 수행한 Client가 작업이 끝나면 Server쪽에 Connection을 끊는 요청을 하는 케이스다.
만약 Server쪽에서 끊어버리거나 중간의 방화벽, Porxy등에서 끊어지는현상이 있다면 의도한(과도한 자원잠식방지, 자원재활용, 보안정책)결과 일 수 있으나
간혹 nginx와 upstream간의 timeout문제로 connection이 끊어지면서 502 가 발생하는 경우가 있다

ex)
nginx proxy_timeout 10sec
tomcat connectionTimeout 5sec

인 경우 tomcat의 connection 관리자가 5초가 넘게 Idel인 Connection에 대하여 RST(reset)을 전송하여 요청을 끊어버릴 수 있다.
이런 경우 절묘한 타이밍에(?) 요청처리를 위해 connection을 사용중이였다면 완료되지 못하고 connection이 유실되고
해당 요청은 502처리된다.

client          upstream
1. A요청 전송 ->
2.              <- 응답
3.          5초 IDLE
4. <- Fin 전송
5. B요청 전송 ->
6. <- RST 전송

상기와 같이 Client에서 정상적으로 종료 요청을 해서 정리되는 케이스가 아니라면
upstream 에서 Fin 전송(끊기위해) 후 RST를 전송하기 전 까지 사이의 짧은 시간에 B 요청이 들어올 수 있고(낮은 확율로)
이 경우 사용자는 nginx log에서 HTTP 502에러를 보게 된다. 물론 WAS의 log에는 아무 내용이 없다.

대부분 이러한 케이스에 대하여
proxy_timeout (nginx proxy, AJP...etc)  == upstream timeout 을 권장하지만
WEB과 WAS가 같은 서버가 아닌경우 NTP로 동기화 한다고 하더라도 ms 수준의 차이가 발생할 수 있으므로

proxy_timeout (nginx proxy, AJP...etc)  < upstream timeout 로 설정 하는것이 권장된다.


4. WorkAround
상기의 타이밍 문제(Fin과 RST 사이의 짧은 시간에 요청이 들어오는)는 KeepAlive + http proxy모듈을 사용하는경우 다음사항이 검토되어야 한다.

4.1. upstream keepAlive OFF  (비권장)
KeepAlive를 끄면 모든 요청처리는 매번 새로운 Connection에서 처리되므로 상기 발생되는 문제를 회피할 수 있다
하지만
대량부하 사이트에서 proxy 처리를 하는 경우 다수의 socket자원이 생성되게 되며 자원관리를 위해 overhead가 필연적이므로 권장하지 않는다.

tomcat AJP, JBoss, Weblogic등의 경우 connection Pool을 사용하지 않는경우와 같아진다. 성능문제


4.2. upstream KeepAlive ON (권장)
Config시에 주의를 요한다
모든 요청은 KeepAlive로 upstream으로 전달 되도록 구성되어야 한다. 상기 3.1.2항의 프로토콜 혼용상태로 구성되면 문제가 발생한다.


5. 기타

그렇다면 tomcat mod_jk AJP, weblogic mod_wl, JBoss mod_cluster 등의 다른 proxy 모듈을 사용해도 이러한 제약 사항에 걸리는가?
그렇지는 않다
대표적인 AJP를 예를 들면 AJP는 별도의 프로토콜 stack을 구성하므로 상기와 같은 문제가 발생하지 않는다.
사용자의 http 요청이 web 으로 들어오면 AJP protocol로 wraping 되어 tomcat의 별도 AJP Port로 통신한다.
또한 keepalive의 지원여부가 AJP Connection의 생명주기와 무관하기 때문에 끊어지는 일은 없다.

다만 3.1.3항의 timeout 문제는 발생할 수 있으므로 주의가 필요하다 (이경우 AJP에 Cluster 설정이 없는 경우 502가 발생한다)


.이상

게스트하우스의 파티에 대한 기억

2012년 21코스 연결로

한창 올레길 붐이 일던 시기 도착한 제주

게하에 들어가 수더분한 형님과 인사하고

멍 때리며 시간을 보내던 중

랜트카에서 여자둘 남자둘의 한무리가 도착

양손 가득 봉지에는 술과 고기등 먹을 거리가 있었고

너무나 당연하다는양 저녁에 파티안하냐며...

쥔장 형님과 썩은 웃음을 교환하고

저녁에 불픠워주고 즈들끼리 먹게 그냥 방치

다음날은 조용조용한 남여 몇몇이 따로 따로 도착

저녁시간 형님이 냉동실에 짱박아둔 고기를 꺼내고

라면을 끓이고 이리저리 주섬주섬 모아 간소하지만

긴시간 서로 이야기를 나누며 시간을 보냈고

흥이 오른 누군가는 폰에서 나오는 노래에 바운스를 튕기던 ...

게스트 하우스의 주인은 호스트였다

게스트는 말 그대로 여행중 하루 쉬었다갈 손님이

씼고 먹고 정보를 교환하고 등대고 잘 공간만 제공하면 그만 이였다.

그래서 저렴했고 사람들끼리 맞으면 같이 가고 같이 먹고

아니면 조용히 자기의 시간을 가지던 개인적인 공간 이였다

올레길이 흥하면서 서비스의 질은 팬션에

가격은 싸게 지내고 싶은 사람들과

가벼운 주머니에 하루이틀 관광삼아 케리어를 끌고온 사람들이

이성을 만나서 술한잔 하는 재미를 찾기 시작했고

때마침

육지사람들의 엄청난 유입과 우우죽순 생겨난 게스트하우스에 의해

서비스 인플레이션이 심해지면서 1세대 게스트하우스 들은 적당한 가격에 돈을 벌고 빠져 버렸다

그 이후  아프X카, 산티X고 등등의 유명한 파티 게하들의 모델을 그대로 답습한 많은 숙소가 생겼고

가끔 썸이나 지분거림 정도로 끝나던 이성간의  충돌은 사고와 사건으로 커져 갔다

나처럼 배낭매고 땀에 절은 게스트가 도착해서

세탁기 돌리는데 눈치를 봐야하는곳이 생겼고
(오해말자 좋은곳도 많다.)

대화의 시간에 자신의 여행이야기 보다

족보 이야기 회사이야기 연애 이야기가 우선으로 오르내리게 되었다

1년에 한두번 정도 찾아가던 나는 가끔 조용하면서 나름의 기준으로 운영하던

많은 게스트하우스가 사라지는것을 보았고 안타까웠다

개인적으로 특히나 해오름게하...

북카페였던 사이게스트하우스와 한라산게스트하우스는 아쉬움으로 남는다
(인수 하시기도 했고 폐업하기도 했다.)

호스트가 주인인 게스트하우스의 파티를 본것이 오래된 것 같다

게스트들 끼리 모여 짝짓기 놀이 하듯 서로 호구조사를 하고

술을 주량넘어 벌컥대는 시간은 어느정도 없어 졌으면 좋겠다



전날 짱박아 뒸던 모든 소주와 맥주를 털어먹고

새벽까지 같이 달렸던 전우(?)들과

호스트형님이 끓여주던 해장라면을 먹던 시절이 그립다.

아는게 아는게 아닌

살아온 시간이 늘어날수록

알면 알수록 모르는게 많아지고

알면 알수록 고통스러워 질까

40대를 지나고 몇 년

여행지에서 또는 회사 근처에서 만나다 보면

대부분 껍대를 뒤집어쓴 자신의 모습과

여행지에서 괴리되어 있는 자신의 모습에서 혼동을 느낀다 (나또한)


안나푸르나 어라운드 이후 나는 한달의 시간을 그냥 쉬기로 했다

ABC를 가지는 못했으나   못 한게 아니라 안 한다고 마음 먹고 접어버렸고

온전히 2주간의 포카라 생활을 즐겼다

오픈소스 백업 bacula backup - draft

바큘라설치 

이슈사항 

- 백업시 네트워크 대역폭 

- NAS IO 성능 확인 

- 저장되는 데이터의 보안(암호화여부)

- 다양한 device 지원 (Disk, NFS, Tape)

0. 준비

서버, 버박에 2개 생성, vm1에  dir,sd,catalog 구성 

192.168.56.101 vm1 backup_dir backup_sd

192.168.56.102 vm2 backup_dest1 backup_fd1

서비스 구성 3데몬, 1DB

-bacula Director 디렉터(서버) , chleo 1천대정도 컨트롤, 9101port 사용 

-bacula File 파일데몬(클라이언트 에이전트), 9102 Port, bacula-common, bacula-fd 

-bacula Storage 스토리지(저장소), 9103 Port 

-Catalog 카탈로그 (백업 카탈로그 저장 DB)

관리 

-bacula monitor 모니터 (Xwin 기반 GUI)

-bacula Console 콘솔 (CLI)

-webmin (Web Base Console-별도 프로젝트 )

의미 

Pool : Volume의 집합, 하나의 파일로 뭉쳐진다.

Volume : 백업된 데이터 들이 분류별로 저장됨, 하나의 백업작업에 하나의 Volume, 볼륨사이즈제한가능, 볼륨 갯수 제한 가능,

centos에는 yum설치시 5.x 버젼으로 설치됨

https://repos.fedorapeople.org/slaanesh/bacula7/epel-bacula7.repo 에서 제공하는 yum으로 하려고 해도 최대 버젼이 7 기준임

이번에 설치시 설치버젼  Baclula 7x

1. Director 설치 

1.1 관리 서버가 될 곳부터 (director 와 Stroage 구성)

1.1.1 리포 추가 

cd /etc/yum/repo.d

wget https://repos.fedorapeople.org/slaanesh/bacula7/epel-bacula7.repo 

yum으로 설치하고나면

5.x와 7.x 가 같이 출력 되므로 해깔리지 않도록 주의 해당 rpm만 정리하면 아래와 같음

[root@centos6-9 yum.repos.d]# yum list | grep bacula

#이거 깔면 아래것은 의존성으로 설치됨

bacula-director.x86_64 7.0.5-7.el6 epel-bacula7   <==

bacula-common.x86_64 7.0.5-7.el6 epel-bacula7

bacula-libs.x86_64 7.0.5-7.el6 epel-bacula7

bacula-libs-sql.x86_64 7.0.5-7.el6 epel-bacula7

#콘솔, 모니터 각각 설치

# 이거 설치하면 Xwin의 시스템도구에 bacula bat console과 bacula monitor 항목이 생성된다.

bacula-console.x86_64 7.0.5-7.el6 epel-bacula7

bacula-console-bat.x86_64 7.0.5-7.el6 epel-bacula7

bacula-traymonitor.x86_64 7.0.5-7.el6 epel-bacula7

#저장소 패키지 별도 서버에 구성 가능 

#의존성으로 mt-st 설치됨

bacula-storage.x86_64 7.0.5-7.el6 epel-bacula7

#로그를 모니터링하는 뭔가인듯....  디렉터만 깔면 되나???

bacula-logwatch.noarch 7.0.5-7.el6 epel-bacula7

#클라이언트쪽에 설치

bacula-client.x86_64 7.0.5-7.el6 epel-bacula7

# 문서나 개발뭔가인데 필요하면 설치

bacula-devel.x86_64 7.0.5-7.el6 epel-bacula7

bacula-docs.noarch 7.0.5-1.el6 epel-bacula7

nagios-plugins-bacula.x86_64 7.0.5-7.el6 epel-bacula7

# 설치후 정보 위치 

/etc/bacula : 설정파일

/usr/libexec/bacula : db 스키마생성등의 스크립트

/var/spool/bacula/ : 로그파일

/etc/init.d/bacula-* : 시작 스크립트 

/usr/sbin/ : 바큘라 실행파일 

bacula-dir  bacula-sd  bacula-tray-monitor

1.2. DB설치 

# yum으로 그냥 때려설치...의존성으로 깔리는건 그냥 깔아줌 

yum install mysql-server mysql-devel

#기동 (튜닝 따위는 나중에)

service mysqld start

# 부팅될때 닥시고 구동 

chkconfig  mysqld on

1.3. 스키마 생성 과 권한 및 패스워드  (바큘라 설치하면 생성용 스크립트가 /usr/libexec/bacula 에 있다)

DB에 bacula 관련 DB를 설정해야 한다.

기본 DB가 postgresql 이다 파일을 수정해서 값을 변경한다.

아래 변수값을 기준으로 필요한 스크립트를 수행하므로 오타 주의

1.3.1 DB생성

$vi create_bacula_database

....

default_db_type=postgresql  을  mysql로 

....

[root@centos6-9 bacula]# ./create_bacula_database 

Creating mysql database

Creation of bacula database succeeded.

1.3.2 스키마생성

$vi make_bacula_tables

....

default_db_type=postgresql  을  mysql로 

....

[root@centos6-9 bacula]# ./make_bacula_tables 

Making mysql tables

Creation of Bacula MySQL tables succeeded.

1.3.3 권한설정 

$vi grant_bacula_privileges

....

default_db_type=postgresql  을  mysql로 

....

[root@centos6-9 bacula]# ./grant_bacula_privileges 

Granting mysql privileges

Host User Password Select_priv Insert_priv Update_priv Delete_priv Create_priv Drop_priv Reload_priv Shutdown_priv Process_priv File_priv Grant_priv References_priv Index_priv Alter_priv Show_db_priv Super_priv Create_tmp_table_priv Lock_tables_priv Execute_priv Repl_slave_priv Repl_client_priv Create_view_priv Show_view_privCreate_routine_priv Alter_routine_priv Create_user_priv Event_priv Trigger_priv ssl_type ssl_cipher x509_issuer x509_subject max_questions max_updates max_connections max_user_connections

localhost root Y Y Y Y Y Y Y Y Y Y Y Y Y Y YY Y Y Y Y Y Y Y Y Y Y Y Y 0 00 0

centos6-9 root Y Y Y Y Y Y Y Y Y Y Y Y Y Y YY Y Y Y Y Y Y Y Y Y Y Y Y 0 00 0

127.0.0.1 root Y Y Y Y Y Y Y Y Y Y Y Y Y Y YY Y Y Y Y Y Y Y Y Y Y Y Y 0 00 0

localhost N N N N N N N N N N N N N N NN N N N N N N N N N N N N 0 00 0

centos6-9 N N N N N N N N N N N N N N NN N N N N N N N N N N N N 0 00 0

localhost bacula N N N N N N N N N N N N N N NN N N N N N N N N N N N N 0 00 0

% bacula N N N N N N N N N N N N N N N NN N N N N N N N N N N N 0 0 00

Privileges for user bacula granted on database bacula.

스크립트를 열어 보면 db_password= 항목이있다. 직접 넣어주고 돌려도 된다.

만약 mysql 설치시 패스워드가 있다면 /etc/my.cnf에 mysql root 패스워드 설정을 추가하거나 

위에 스크립트 수행할 때 뒤에 옵션을 줘서 수행한다

ex) 

스크립트에 패스워드 옵션 먹여서 실행 (값은 없으므로 그냥 -p 만주고 실행 쓰고 있던 DB나 패스워드를 넣었다면 그 값으로)

/usr/libexec/bacula/grant_mysql_privileges -u root -p 

/usr/libexec/bacula/create_mysql_database -u root -p

/usr/libexec/bacula/make_mysql_tables -u root -p

/usr/libexec/bacula/grant_bacula_privileges  -u root -p

1.3.4. bacula 패스워드 변경 

$mysql -u root -p

>UPDATE mysql.user SET password=PASSWORD("xxxxxx") WHERE user='bacula';

>FLUSH PRIVILEGES;

ex)

mysql> UPDATE mysql.user SET password=PASSWORD("xxxxxc") WHERE user='bacula';

Query OK, 2 rows affected (0.00 sec)

Rows matched: 2 Changed: 2 Warnings: 0

mysql> FLUSH PRIVILEGES;

Query OK, 0 rows affected (0.00 sec)

Director 설치는 끝났다.

시작시키려면 서비스명은 

[root@centos6-9 bacula]# chkconfig | grep bacula

bacula-dir      0:해제 1:해제 2:해제 3:활성 4:활성 5:활성 6:해제  (디렉터)

bacula-sd      0:해제 1:해제 2:해제 3:활성 4:활성 5:활성 6:해제  (스토리지)

1.3.5 mysql과 연결

bacula를 rpm으로 설치하면 기본 postgra로 연결하게 되어 있다.

이걸 mysql로 바꿔줘야 구동시 mysql로 접근해서 catalog 서비스가 가능하다.

alternatives 로 지정을 바꾸어준다

[root@centos6-9 bacula]# alternatives --config libbaccats.so

3 개의 프로그램이 'libbaccats.so'를 제공합니다.

  선택 명령

-----------------------------------------------

   1 /usr/lib64/libbaccats-mysql.so

   2 /usr/lib64/libbaccats-sqlite3.so

*+ 3 /usr/lib64/libbaccats-postgresql.so

현재 선택[+]을 유지하려면 엔터키를 누르고, 아니면 선택 번호를 입력하십시오:1  <== 1을 선택해서 mysql로 변경

연결이 안되면 아래같은 에러가 발생한다.

/var/log/bacula/bacula.log

17- 1월 11:33 bacula-dir JobId 0: Fatal error: Could not open Catalog "MyCatalog", database "bacula".

17- 1월 11:33 bacula-dir JobId 0: Fatal error: postgresql.c:236 Unable to connect to PostgreSQL server. Database=bacula User=bacula

Possible causes: SQL server not running; password incorrect; max_connections exceeded.

17- 1월 11:33 bacula-dir ERROR TERMINATION

Please correct configuration file: /etc/bacula/bacula-dir.conf

2. Storage 구성 

dir과 별도의 서버에 구성할 경우 

bacula-storage.x86_64 7.0.5-7.el6 epel-bacula7

bacula-common.x86_64 7.0.5-7.el6 epel-bacula7

bacula-libs-sql.x86_64 7.0.5-7.el6 epel-bacula7   설치 하면 된다고함 (인터넷 정보 확인은 안해봤음 안되면 찾아서 하자)

2.1 config 파일 구성 

백업을 하려면 저장소가 필요하고 저장소를 Pool 이라는 공간안에 여러개의 Volume을 넣어 두는 형태로 설정한다

두개의 포트를 정보를 넣는데

하나는 dir과 통신을 위한 대상 port 정보와

수신을 위한 sd port 정보를 정의한다.

바큘라는 저장소 관리를 테이프처럼 한다. 

volume 이라는건 하나의 테이프라고 보면 되고 백업을 볼륨에 저장하고 하나의 볼륨이 꽉 차면 다음 볼륨을 만들어 저장한다.

물리적인 tape 라이브러리에서 테이브 하나가 차면 다음 테이프에 저장되는 것으로 보면 된다.

pool 이라는건 백업job을 위해 사용되는 테이프들을 통칭 Pool 이라고 하고 (하나의 백업을 위해 10개의 테이프가 사용되면 그놈들을 모아 둔걸 pool 이라고)

tape 운영시 10개의 tape를 백업하고 라이브러리에서 빼내면 순서대로 라벨링하고 하나의 가방에 넣어두듯이 하나의 세트를 의미한다. (나중에 복구할때도 이 전체 테이프를 라이브러리에 넣고 카탈로그를 돌려야 복구가능하다. 하나라도 없으면 ㅜ.ㅜ)

실제 서버에서 보면 pool은 하나의 파일로 생성되고 내부적으로 volume이 생성되어 있다.

자체적으로 하나의 파일로 말아 버리는것으로 보안성 유지를 위해서 이런 구조가 사용되는 듯 

단점은 관리자가 직접 파일 access는 안되고  유틸을 사용하여 추출 해야 한다... 이게 더 안전할듯 

병신처럼 파일 하나라도 건드리면 카탈로그 정보가 틀어질꺼고 그럼 전체 볼륨이 뽀개질듯 

나는 풀을 4개 만드려고 한다.

1. dev_pool : WEB/WAS Contents,SVN   

/data/www

/data/web

2. img_pool : 서비스 컨텐츠 백업  (서비스 이미지)

3. log_pool : log 백업용

4. os_pool : os config 백업  /etc, /home, 

 --exclude=/lost+found/* --exclude=/media/* --exclude=/mnt/* --exclude=/sys/* -exclude=/proc/* --exclude=/dev/*

NAS 사용량조사

프로덕션 볼륨 : 386GB

개발볼륨 : 120G

메일서버 : 476G

레거시(stylewish) : 376G

WEB Contents

oneten.web : /data/www  103M

[wishlink@oneten.web1 data]$ du -sk ./www

102612 ./www

WAS Contents

oneten.was : /data/www  122M

[wishlink@oneten.was1 data]$ du -sk ./www

122088 ./www

wislink.web (홈피, 레드마인, 위키, SVN)

/data/www 10G

/data/redmine-2.6.3   4G

============================

$vi /etc/bacula/bacula-sd.conf

Device {

  Name = FileStore-os

  Media Type = File

  Archive Device = /data/backup/os_pool

  LabelMedia = yes; # lets Bacula label unlabeled media

  Random Access = Yes;

  AutomaticMount = yes; # when device opened, read it

  RemovableMedia = no;

  AlwaysOpen = no;

  Maximum Concurrent Jobs = 5

}

Device {

  Name = FileStore-log

  Media Type = File

  Archive Device = /data/backup/log_pool

  LabelMedia = yes; # lets Bacula label unlabeled media

  Random Access = Yes;

  AutomaticMount = yes; # when device opened, read it

  RemovableMedia = no;

  AlwaysOpen = no;

  Maximum Concurrent Jobs = 5

}

$vi /etc/bacula/bacula-dir.conf

Storage {

  Name = "OS Backup"

  Address = 192.168.56.101 # N.B. Use a fully qualified name here

  SDPort = 9103

  Password = "wishlink0503#!"

  Device = FileStore-os

  Media Type = File

  Maximum Concurrent Jobs = 10 # run up to 10 jobs a the same time

}

Storage {

  Name = "LOG Backup"

  Address = 192.168.56.101 # N.B. Use a fully qualified name here

  SDPort = 9103

  Password = "wishlink0503#!"

  Device = FileStore-log

  Media Type = File

  Maximum Concurrent Jobs = 10 # run up to 10 jobs a the same time

}

# Generic catalog service

Catalog {

  Name = MyCatalog

  dbname = "bacula"; dbuser = "bacula"; dbpassword = "wishlink0503#!"

}

/usr/share/doc/bacula-common-7.0.5

2.2  권한 설정 

2.2.1 selinux 떄문에 백업볼륨 생성실패 

꺼버리자 

에러의예

17-Jan 15:04 bacula-sd JobId 13: Warning: mount.c:212 Open of file device "FileStore-os" (/data/backup/os_pool) Volume "OsVol-0002" failed: ERR=file_dev.c:172 Could not open(/data/backup/os_pool/OsVol-0002,CREATE_READ_WRITE,0640): ERR=Permission denied

selinux config 파일 위치 

#vi /etc/sysconfig/selinux

내용에서 비활성화

SELINUX=disabled

리부팅하면 꺼짐 

2.2.2 iptables를 쓰고 있다면 끄거나 필요 Port를 열어줄것 

2.2.3 폴더 권한 문제 

chown -R bacula:disk /data/backup

chmod -R 760 /data/backup/

owner에 7을 안주면 volume생성이 안되더라....

other에는 혹시 나중에 작업할때 볼 수 는 있어야 하니 그냥 6 주었음

3. File Daemon 설치

3.1 pkg 설치 정보 

bacula-client.x86_64 7.0.5-7.el6 epel-bacula7

(위에 설치하면 필요 의존성은 같이 설치됨)

 bacula-common

 bacula-libs 

3.2 config 파일 

/etc/bacula/bacula-fd.conf

- Password 수정 

-FDAddress = 192.168.x.x  <== 처음 설치하면 없는데 꼭 있어야 하나??? 없이 하면 배포하기 편한데...

3.3 서비스 기동 

#service bacula-fd start

#chkconfig bacula-fd on

4. 관리도구  구성   

4.1 bconsole (CLI)

bconsole은 CLI에서 백업을 수행하거나 작업하는데 사용하기 위한 도구이다.

같은 서버에 있을 필요없이 아무대나 있어도 되지만 /etc/bacula/bconsole.conf  에서 dir에 접속하는 정보를 맞추어야 한다.

4.1.1 pkg 설치 

나는 저 앞에서 dir 설치시 같이 설치했으므로 별도 설치는 하지 않았지만 만약 console만 다른서버에 설치하려면 다음 pkg를 설치하도록 한다.

bacula-console.x86_64 7.0.5-7.el6 epel-bacula7

4.1.2 bconsole 설정

dir에 접속하기 위한 설정 

/etc/bacula/bconsole.conf 

#

# Bacula User Agent (or Console) Configuration File

#

Director {

  Name = bacula-dir    <==  Director 구성시 지정한 이름과 같아야 한다. 

  DIRport = 9101         <== Director 서비스 port 

  address = 192.168.56.101 <==  Director 서비스가 설치된 서버 IP

  Password = xxxxxxx"  <=== Director 서비스 접속용으로 지정한 패스워드

}

4.2. BAT (Bacula Admin Tool - GUI)

기초 설치시 같이 깔린다.  X-Win 기반이므로 설치된 서버의 Win에서  프로그램->시스템도구-> Bacula Bat Console  로 추가된다.

/etc/bacula/bat.conf 에 패스워드 부분만 확인해준다.

[root@centos6-9 bacula]# cat bat.conf

#

# Bacula Administration Tool (bat) configuration file

#

Director {

  Name = bacula-dir

  DIRport = 9101

  address = localhost

  Password = "xxxxxxx"

}

4.3 Webmin (Bacula Web Admin -  WEB GUI)

http://www.chriscouture.com/installing-bacula-webmin-bacula-webon-centos-7/

특별히 바큘라를 위한 툴은 아니고 시스템전반에 걸친 관리를 수행하는 WEB Tool임 

바큘라에 잘 들러 붙기 때문에 이거 쓰면 편하게 구성가능 

위에 파일 일일이 수정하느라 뼈골 빠지느니 이걸로 하면 됨

다만 바큘라의 설정이 이놈저놈 하나씩 설정한 다음 서로 엮어 주는 구성이라 기본 개념이 없으면 UI도 작업하기 어려움 

초기 적용단계라면 CLI로 연습삼아 굴러보고(?) GUI에서 노가다를 줄이는 황홀함을 느껴보시길 권장 

4.3.1  pkg 설치

라파지토리 추가 

vi /etc/yum.repos.d/webmin.repo

아래내용으로 

[Webmin]

name=Webmin Distribution Neutral

#baseurl=http://download.webmin.com/download/yum

mirrorlist=http://download.webmin.com/download/yum/mirrorlist

enabled=1

PGP 키 등록해줄것 

rpm --import http://www.webmin.com/jcameron-key.asc <== 이거 꼭 해줘야됨 

업뎃하고 

yum check-update

설치 

yum -y install webmin 

4.3.2 접속 및 구성 

URL로 접속하면 됨 (개간단)

https://192.168.56.101:10000/

계정은 OS에서 사용하는 계정으로 로그인,  root로 로그인 하면 됨

bacula 를 기본 postgra로 구성했으면 바로 붙겠지만 나처럼 mysql로 했으면 붙여주는 작업이 필요함

메뉴는 잘 기억이 안나는데.... 여하간 처음 로그인해서  왼쪽 메뉴에서 "system"-> Bacula Backup System 을 선택하면 오류가 나오는데 config 부분에 

4.4 baculum

http://www.bacula.org/7.4.x-manuals/en/console/Baculum_Web_GUI_Tool.html

vi /etc/yum.repos.d/baculum.repo

[baculumrepo]

name=Baculum CentOS repository

baseurl=http://bacula.org/downloads/baculum/centos

gpgcheck=1

enabled=1

rpm --import http://bacula.org/downloads/baculum/baculum.pub

업뎃하고 

yum check-update

설치

yum install baculum baculum-httpd

php가 필요할 수 있음

rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm

yum check-update

yum install php54