떠돌이늑대's tory

Galera cluster를 이용해보기 위해  replication 도구로 xtrabackup을

사용해보기로 했다.

OS 는 Centos 7.5 1804 버전이고 minimal 로 설치한다음

mariadb는 10.3.9로 설치를 했다.

xtrabackup 은 mariadb에 기본 포함되어 있지 않기 때문에,

별도로 rpm 패키지로 설치를 진행했다.

의존성 문제가 나왔고, 하나하나 구해보았으나,

의존성의 의존성이 걸리는 심각한 정신적인 타격이 와서

yum을 이용하기로 하고, 의존성이 걸린 패키지들을

전부 다운로드 하는 방식으로 진행했다.

우선, xtrabackup 을 설치하기 위해서는 아래와 같은

rpm이 필요하다.

패키지들을 지정된 디렉토리로 다운로드 받고,

전부 설치를 진행해보니, 의존성 문제없이 설치가 되었다.

최소한 boot.wim에 intel usb 3.0 드라이버가 포함 되어 있어야 한다.

스마트어레이 P 시리즈는 Microsemi 홈페이지에 드라이버가 있다.

칩셋드라이버야 대충 무시하고 깔면 되고,,,

intel x722 칩셋을 사용한 369i 라는 내장 nic 가.. 드라이버 설치가 골치 아프다.

inf 파일로는 제대로 설치할 수가 없지만, install.wim에는 추가가 되긴 한다.

이 추가된 install.wim으로는 설치해보진 못했다. 나중에 기회가 되면 설치해봐야겠다.

ilo5 에 대한 드라이버도 역시 없다.

VM 에서 사용할 centos를 매번 설치하는 것이 귀찮아 복제하기로 했다.

복제 후 부팅을 진행하니

fail to open efi boot grubx64.efi 

이런 메세지와 함께 부팅을 하지 못하며,

다른 부팅디바이스를 찾는 경우가 발생을 했다.

그래서 해결책을 찾아 보니

설치cd로 부팅하여,

trouble shooting 모드를 선택한다.

다음은 rescue 모드로 선택한다.

1번은 선택하여 continue 를 진행한다.

chroot /mnt/sysimage 를 하면 로컬디스크로 접근이 가능하다.

grubx64.efi 를 복사해주고 재부팅하면 부팅이 이뤄진다.

설치환경은 RHEL 6.9  내부망.

외부인터넷이 연결이 안되기 때문에 yum을 통한 php7 을 설치할 수 없었다.

 단독 rpm 패키지 설치시 의존성 문제가 발생된다. yum은 이러한 의존성 문제가 걸리지 않도록 관련 패키지들을 같이 설치해준다.

그래서 인터넷이 되는 환경에서  yum을 통해 설치를 진행하면서 의존성 관련된 패키지들을 모두 다운로드 받아서 설치 진행하기로 한다.

가상서버 RHEL6.9 설치

Full package 로 설치시 php는 5.x 가 설치가 된다.

php 7.2로 설치진행하는 것을 목적으로 진행을 하면, 가장 먼저

 1.  EPEL 저장소 설치

 $ rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm

 2. remi 저장소 설치 

 $ rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm

3. yum-utils 설치 확인 -> Full Package 설치로 인해 기본설치 된 것을 확인 -> 설치 안 되어 있으면 설치( 설치CD 안에 들어있음)

  $ rpm -qa |grep yum-utils
    yum-utils-1.1.30-40.el6.noarch

4. 패키지 담을 디렉터리 생성

5. $ yum --enablerepo=remi-php72 -y install php --downloadonly --downloaddir=생성한 패키지 담을 디렉터리

6. $ yum --enablerepo=remi-php72 -y install php-xml php-soap php-xmlrpc php-mbstring php-json php-gd php-mcrypt --downloadonly --downloaddir=생성한 패키지 담을 디렉터리

7. 패키지 담은 디렉터리를 담아서 설치할 서버로 옮겨놓는다.

8. 옮겨놓은 패키지를 모두 설치한다.

 $ rpm -Uvh *

9. 설치유무 확인

 $ php -v
   PHP 7.2.2 (cli) (built: Jan 30 2018 14:01:15) ( NTS )
   Copyright (c) 1997-2018 The PHP Group
   Zend Engine v3.2.0, Copyright (c) 1998-2018 Zend Technologies

 7.2가 설치가 된 것을 확인할 수 있다.

https://help.ubuntu.com/community/InstallCDCustomization

https://askubuntu.com/questions/516687/how-do-i-make-a-custom-ubuntu-iso-for-fully-offline-installations

이 프로젝트는 HPE Proliant Gen10 우분투 설치를 하다 겪게 되었던 것을 발판삼아 도전해보는 것이다.

우분투에 대한 정보가 많이 부족하다. 실력도 부족하기 때문에 이것저것 시행착오가 많다.

P408i-a 는 Microsemi 에서 만든 컨트롤러다.

우분투에는 들어있지 않다.

microsemi 홈페이지에서는 14.04.4 부터 드라이버를 제공하고 있다.

우분투 Desktop 버전과 Server 버전과 다르다.

Server 버전에서는 설치과정중 grub 을 수정하여 modprobe.blacklist=aacraid 를 적용하면, 드라이버를 적용할 수 있다.

14.04.2 버전은 OS설치를 완료한 후 OS내에서 드라이버 설치가 가능하다. 재부팅하면 용량이 제대로 인식된다.

커널버전은 3.16.0-30 이다.

ko 라는 동적모듈이 연관이 큰데  이것을 OS에 넣고 insmod 를 통해 동적모듈을 올려보면 어떻게 될까?

hpdsa.ko 를 올려보기 테스트 해본다.

14.04.1 desktop 에 넣어보고 live로 부팅 후 insmod 를 해보자

live 모드로 부팅하고 insmod 를 통해서 디스크 인식 성공 후 설치도 성공한 것처럼 완료 표시와 리붓을 하라는 메세지가 나오나,

재부팅하면,  부팅이 되질 않음

무엇일까?

디스크의 내용을 살펴보니 hpdsa 모듈이 보이질 않는다.

그래서 live로 부팅하여 hpdsa.ko 를 넣어주었다.

테스트 결과 hpe에서 가이드 하고 있던 명령어의 문제인지 아니면 다른문제인지 정확하게 찾지 못했으나

chroot /target

echo "blacklist ahci" > /etc/modprobe.d/install-hpdsa.conf

depmod `uname -r`

update-initramfs -u       *이부분이 문제가 된것으로 생각된다        

exit

원인이 무엇인지는 모르겠지만. 14.04.1 desktop 을 설치하는 과정은

 live로 부팅하여,

insmod hpdsa.ko 로 디스크를 인식하여, 설치를 한다. hpdsa.ko 를 /lib/modules/3.13.0-32-generic/kernel/driver/scsi/ 에 넣어주었다.

그러나 내용을 들여다 보면

14.04.1 의 커널 버전은 3.13.0-32-genenric 이지만 이상하게도 3.13.0-135-generic 도 같이 들어있다. (인터넷이 연결되어있으면, 업데이트 된

커널이 자동으로 설치되는 것으로 확인, 외부인터넷을 차단하면 업데이트된 버전은 보이지 않는다. )

혹시나 해서 /lib/modules/3.13.0-135-generic/kernel/driver/scsi/ 에도 hpdsa.ko를 넣어주었다.

update-initramfs -u를 하게 되면 initrd.img-3.13.0-135-generic 으로 생성이 되었고 이것이 등록이 되어있었다.

그파일을 들여다보면, hpdsa가 포함되어있지 않았다.

그래서 인터넷을 검색하여 update-initramfs -c -k 3.13.0-32-generic 으로 다시 명령을 하여,

initrd.img-3.13.0-32-generic 이 생성이 되었고, 이 파일안에는 hpdsa가 있었다.

그리고 나서 grub에서 initrd.img-3.13-32-generic을 선택해서 부팅했더니 성공을 했다.

이 과정을 참고하여 smartpqi는 어떻게 적용을 할까 시나리오를 작성해본다.

1. 14.04.2 desktop 버전에 smartpqi.ko 를 포함해준다.

2. live 로 부팅하여, insmod scsi_transport_sas.ko 와 insmod smartpqi.ko 를 해준다.

   (smartpqi는 scsi_transport_sos 모듈이 먼저 작동해야하는 의존성이 있기 때문이며, 해당모듈은 기본내장되어있지만

   작동은 하고 있지는 않다.)

3. 디스크 인식이 성공하면, 설치를 진행한다.

4. 설치완료메세지가 나오면, 해당 볼륨에 접근하여, smartpqi를 넣어준다.

5. 커널버전을 살펴보고, 블랙리스트 작성과 해당커널버전에 맞는 initrd.img를 생성하고 grub에 등록을 해준다.

이방법으로 되지 않는 것을 확인했다.  

무엇이 잘못되었을까 생각을 하게 되었고,

Server edition 이 어떻게 드라이버를 인스톨하는지 확인을 해보았다.

우선 드라이버들의 압축을 풀어 해당경로에 있는 파일들의 위치를 살펴보았고,

최종적으로 볼륨에 복사가 되었는지 확인을 했더니 해당 경로대로 파일들이 있는 것을 확인하였다.

그래서 그것을 참고로 해서 해보도록 하자.

Server edition과 데스톱 버전은 기본적으로 드라이버가 작동되는 방법이 다르다.

성공했다.

새로운 squashfs와 새로운 initrd.lz를 생성하는 과정이다.

데스크탑 버전 iso를 수정해야 한다.

1. grub에서 modprobe.blacklist=aacraid 를 추가하여 aacraid 모듈이 사용되는 것을 방지해야 한다.

initrd.lz에서 불러온 smartpqi 모듈이 있다고 해도 기본적으로 aacraid 모듈을 먼저 사용되는것 같다.

https://ubuntuforums.org/showthread.php?t=1412132  의 내용을 참고했습니다. (글 내용중  Theemahn2003 의 답변을 참고)

1. 설치 iso 에 있는 /casper/filesystem.squashfs 를 지정된 디렉토리에 마운트
2. 마운트 된 디렉토리를 통째로 지정된 디렉토리로 복사
3. 복사된 디렉토리에 chroot 로 접근
4. Deb 패키지 설치
5. Initrd.lz 생성 후 chroot exit
6. 복사된 디렉터로리를 새로운 filesystem.squashfs 로 생성
7. Iso를 편집하여 initrd.lz 와 filesystem.squashfs를 새롭게 생성한 파일로 교체입니다.

우분투는 지원하지 않는다.

OS를 초기 설치시 RHEL 계열 (Centos, Oracle Linux) 의 경우 dd 파일을 이용해서 인식시킬수 있다.

다만 dd 파일을 그대로 사용하면 안되고, dd 파일의 확장자를 .iso 를 더 붙여야 한다.