떠돌이늑대's tory

모니터링을 위한 툴. 설치하면 자체 웹서버가 작동하여 웹상에서 모니터링 상태를 보여준다. 

메모리사용량을 살펴보기 위해 설치해봤다. 

그 외 CPU, 디스크 등등이 나온다. 

rhel 7.9 minimal 로 설치했을 경우 

bash <(curl -Ss https://my-netdata.io/kickstart.sh)

를 하면, 필요한 패키지들을 자동으로 설치하고 netdata가 설치 완료 된다. 필요한 패키지들에 대한 yum repository는 지정되어있어야 한다. 

yum repository는 설치이미지로 했는데, 그곳에 없는 패키지들이 있다. 그것들은 별도로 다운받아서 설치를 해줬다. 

libuv-1.40.0-1.el7.x86_64
libtool-ltdl-2.4.2-22.el7_3.x86_64
gc-7.2d-7.el7.x86_64
autogen-libopts-5.18-5.el7.x86_64
guile-2.0.9-5.el7.x86_64
lz4-devel-1.8.3-1.el7.x86_64
libuv-devel-1.40.0-1.el7.x86_64
libmnl-devel-1.0.3-7.el7.x86_64
json-c-devel-0.11-4.el7_0.x86_64
autogen-5.18-5.el7.x86_64

환경

• Red Hat Enterprise Linux 7
• Red Hat Virtualization if RHEL 7 is used as the virtualization host
• Red Hat Virtualization (RHV) 4.3

문제

• On a RHEL 7 host, using libguestfs utilities such as guestfish, virt-sysprep, or virt-customize to access or modify a RHEL 8 virtual disk image fails if the disk image is using an XFS or ext4 file system.

• For example:

Raw

# /usr/bin/virt-sysprep -a RHEL8.img [' [ 0.0] Examining the guest ... virt-sysprep: warning: mount_options: mount exited with status 32: mount: wrong fs type, bad option, bad superblock on /dev/mapper/rhel-root, missing codepage or helper program, or other error', ' In some cases useful info is found in syslog - try dmesg | tail or so. (ignored)', 'virt-sysprep: warning: mount_options: mount: /boot: mount point is not a directory (ignored) [ 15.5] Performing "abrt-data" ...']

• In RHV 4.3, it is not possible to create a template of RHEL8 guest due to this behavior

해결

There are two possible workarounds:

1. If viable, you can re-create the guest file systems and disable RHEL 8 file-system features that are incompatible with RHEL 7. To do so, use the mkfs utility with one of the following options:

   • For XFS file systems, use the -m reflink=0 option.
   • For ext4 file systems, use the -O ^metadata_csum option.
   • This is documented in this article.
   • Note that on a RHEL 8 host, the affected utilities work as expected.

2. Disclaimer: this workaround is unsupported - use the upstream latest libguestfs appliance.

   1. Download the latest upstream libguestfs appliance on RHEL-7 host:

      Raw

      [RHEL7.6-host]$ pwd /export [RHEL7.6-host]$ wget \ http://download.libguestfs.org/binaries/appliance/appliance-1.38.0.tar.xz

   2. Extract the upstream appliance and enumerate its content, also, make sure that qemu has access to the files:

      Raw

      [RHEL7.6-host]$ tar -Jxf appliance-1.38.0.tar.xz [RHEL7.6-host]$ ls /export/appliance initrd kernel README.fixed root [RHEL7.6-host]$ chmod -R a+rwX /export/applicance

   3. Set the LIBGUESTFS_PATH variable to the above appliance:

      Raw

      [RHEL7.6-host]$ export LIBGUESTFS_PATH=/export/appliance

   4. Validate

      • Read-only mount the RHEL-8 disk image via guestfish, and read the /etc/redhat-release file:

        Raw

        [RHEL7.6-host]$ guestfish --ro -i \ -a rhel-guest-image-8.0-1590.x86_64.qcow2 Welcome to guestfish, the guest filesystem shell for editing virtual machine filesystems and disk images. Type: ‘help’ for help on commands ‘man’ to read the manual ‘quit’ to quit the shell Operating system: Red Hat Enterprise Linux 8.0 Beta (Ootpa) /dev/sda3 mounted on / /dev/sda1 mounted on /boot ><fs> cat /etc/redhat-release Red Hat Enterprise Linux release 8.0 Beta (Ootpa)

      • Or, remove the root password via virt-edit (or reset it via virt-sysprep — refer further below):

        Raw

        [RHEL7.6-host]$ virt-edit \ -a rhel-guest-image-8.0-1590.x86_64.qcow2 \ /etc/passwd -e 's/^root:.*?:/root::/'

      • Or, uninstall the ‘cloud-init’ RPM:

        Raw

        [RHEL7.6-host]$ virt-customize --uninstall cloud-init \ -a rhel-guest-image-8.0-1590.x86_64.qcow2

      • Or just cat a file

        Raw

        [RHEL7.6-host]$ virt-cat -a rhel-guest-image-8.0-1590.x86_64.qcow2 /var/log/cloud-init.log > cloud-init.log

근본 원인

RHEL 7 is not fully compatible with certain features of the XFS and ext4 file systems in RHEL 8, based on RH Private BZ#1667478.
RHV BZ 1671895.

baseurl는 iso파일을 마운트한 곳으로 지정해주면 된다. 

VM 에서 사용할 centos를 매번 설치하는 것이 귀찮아 복제하기로 했다.

복제 후 부팅을 진행하니

fail to open efi boot grubx64.efi 

이런 메세지와 함께 부팅을 하지 못하며,

다른 부팅디바이스를 찾는 경우가 발생을 했다.

그래서 해결책을 찾아 보니

설치cd로 부팅하여,

trouble shooting 모드를 선택한다.

다음은 rescue 모드로 선택한다.

1번은 선택하여 continue 를 진행한다.

chroot /mnt/sysimage 를 하면 로컬디스크로 접근이 가능하다.

grubx64.efi 를 복사해주고 재부팅하면 부팅이 이뤄진다.

설치환경은 RHEL 6.9  내부망.

외부인터넷이 연결이 안되기 때문에 yum을 통한 php7 을 설치할 수 없었다.

 단독 rpm 패키지 설치시 의존성 문제가 발생된다. yum은 이러한 의존성 문제가 걸리지 않도록 관련 패키지들을 같이 설치해준다.

그래서 인터넷이 되는 환경에서  yum을 통해 설치를 진행하면서 의존성 관련된 패키지들을 모두 다운로드 받아서 설치 진행하기로 한다.

가상서버 RHEL6.9 설치

Full package 로 설치시 php는 5.x 가 설치가 된다.

php 7.2로 설치진행하는 것을 목적으로 진행을 하면, 가장 먼저

 1.  EPEL 저장소 설치

 $ rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm

 2. remi 저장소 설치 

 $ rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-6.rpm

3. yum-utils 설치 확인 -> Full Package 설치로 인해 기본설치 된 것을 확인 -> 설치 안 되어 있으면 설치( 설치CD 안에 들어있음)

  $ rpm -qa |grep yum-utils
    yum-utils-1.1.30-40.el6.noarch

4. 패키지 담을 디렉터리 생성

5. $ yum --enablerepo=remi-php72 -y install php --downloadonly --downloaddir=생성한 패키지 담을 디렉터리

6. $ yum --enablerepo=remi-php72 -y install php-xml php-soap php-xmlrpc php-mbstring php-json php-gd php-mcrypt --downloadonly --downloaddir=생성한 패키지 담을 디렉터리

7. 패키지 담은 디렉터리를 담아서 설치할 서버로 옮겨놓는다.

8. 옮겨놓은 패키지를 모두 설치한다.

 $ rpm -Uvh *

9. 설치유무 확인

 $ php -v
   PHP 7.2.2 (cli) (built: Jan 30 2018 14:01:15) ( NTS )
   Copyright (c) 1997-2018 The PHP Group
   Zend Engine v3.2.0, Copyright (c) 1998-2018 Zend Technologies

 7.2가 설치가 된 것을 확인할 수 있다.

https://help.ubuntu.com/community/InstallCDCustomization

https://askubuntu.com/questions/516687/how-do-i-make-a-custom-ubuntu-iso-for-fully-offline-installations

이 프로젝트는 HPE Proliant Gen10 우분투 설치를 하다 겪게 되었던 것을 발판삼아 도전해보는 것이다.

우분투에 대한 정보가 많이 부족하다. 실력도 부족하기 때문에 이것저것 시행착오가 많다.

P408i-a 는 Microsemi 에서 만든 컨트롤러다.

우분투에는 들어있지 않다.

microsemi 홈페이지에서는 14.04.4 부터 드라이버를 제공하고 있다.

우분투 Desktop 버전과 Server 버전과 다르다.

Server 버전에서는 설치과정중 grub 을 수정하여 modprobe.blacklist=aacraid 를 적용하면, 드라이버를 적용할 수 있다.

14.04.2 버전은 OS설치를 완료한 후 OS내에서 드라이버 설치가 가능하다. 재부팅하면 용량이 제대로 인식된다.

커널버전은 3.16.0-30 이다.

ko 라는 동적모듈이 연관이 큰데  이것을 OS에 넣고 insmod 를 통해 동적모듈을 올려보면 어떻게 될까?

hpdsa.ko 를 올려보기 테스트 해본다.

14.04.1 desktop 에 넣어보고 live로 부팅 후 insmod 를 해보자

live 모드로 부팅하고 insmod 를 통해서 디스크 인식 성공 후 설치도 성공한 것처럼 완료 표시와 리붓을 하라는 메세지가 나오나,

재부팅하면,  부팅이 되질 않음

무엇일까?

디스크의 내용을 살펴보니 hpdsa 모듈이 보이질 않는다.

그래서 live로 부팅하여 hpdsa.ko 를 넣어주었다.

테스트 결과 hpe에서 가이드 하고 있던 명령어의 문제인지 아니면 다른문제인지 정확하게 찾지 못했으나

chroot /target

echo "blacklist ahci" > /etc/modprobe.d/install-hpdsa.conf

depmod `uname -r`

update-initramfs -u       *이부분이 문제가 된것으로 생각된다        

exit

원인이 무엇인지는 모르겠지만. 14.04.1 desktop 을 설치하는 과정은

 live로 부팅하여,

insmod hpdsa.ko 로 디스크를 인식하여, 설치를 한다. hpdsa.ko 를 /lib/modules/3.13.0-32-generic/kernel/driver/scsi/ 에 넣어주었다.

그러나 내용을 들여다 보면

14.04.1 의 커널 버전은 3.13.0-32-genenric 이지만 이상하게도 3.13.0-135-generic 도 같이 들어있다. (인터넷이 연결되어있으면, 업데이트 된

커널이 자동으로 설치되는 것으로 확인, 외부인터넷을 차단하면 업데이트된 버전은 보이지 않는다. )

혹시나 해서 /lib/modules/3.13.0-135-generic/kernel/driver/scsi/ 에도 hpdsa.ko를 넣어주었다.

update-initramfs -u를 하게 되면 initrd.img-3.13.0-135-generic 으로 생성이 되었고 이것이 등록이 되어있었다.

그파일을 들여다보면, hpdsa가 포함되어있지 않았다.

그래서 인터넷을 검색하여 update-initramfs -c -k 3.13.0-32-generic 으로 다시 명령을 하여,

initrd.img-3.13.0-32-generic 이 생성이 되었고, 이 파일안에는 hpdsa가 있었다.

그리고 나서 grub에서 initrd.img-3.13-32-generic을 선택해서 부팅했더니 성공을 했다.

이 과정을 참고하여 smartpqi는 어떻게 적용을 할까 시나리오를 작성해본다.

1. 14.04.2 desktop 버전에 smartpqi.ko 를 포함해준다.

2. live 로 부팅하여, insmod scsi_transport_sas.ko 와 insmod smartpqi.ko 를 해준다.

   (smartpqi는 scsi_transport_sos 모듈이 먼저 작동해야하는 의존성이 있기 때문이며, 해당모듈은 기본내장되어있지만

   작동은 하고 있지는 않다.)

3. 디스크 인식이 성공하면, 설치를 진행한다.

4. 설치완료메세지가 나오면, 해당 볼륨에 접근하여, smartpqi를 넣어준다.

5. 커널버전을 살펴보고, 블랙리스트 작성과 해당커널버전에 맞는 initrd.img를 생성하고 grub에 등록을 해준다.

이방법으로 되지 않는 것을 확인했다.  

무엇이 잘못되었을까 생각을 하게 되었고,

Server edition 이 어떻게 드라이버를 인스톨하는지 확인을 해보았다.

우선 드라이버들의 압축을 풀어 해당경로에 있는 파일들의 위치를 살펴보았고,

최종적으로 볼륨에 복사가 되었는지 확인을 했더니 해당 경로대로 파일들이 있는 것을 확인하였다.

그래서 그것을 참고로 해서 해보도록 하자.

Server edition과 데스톱 버전은 기본적으로 드라이버가 작동되는 방법이 다르다.

성공했다.

새로운 squashfs와 새로운 initrd.lz를 생성하는 과정이다.

데스크탑 버전 iso를 수정해야 한다.

1. grub에서 modprobe.blacklist=aacraid 를 추가하여 aacraid 모듈이 사용되는 것을 방지해야 한다.

initrd.lz에서 불러온 smartpqi 모듈이 있다고 해도 기본적으로 aacraid 모듈을 먼저 사용되는것 같다.

https://ubuntuforums.org/showthread.php?t=1412132  의 내용을 참고했습니다. (글 내용중  Theemahn2003 의 답변을 참고)

1. 설치 iso 에 있는 /casper/filesystem.squashfs 를 지정된 디렉토리에 마운트
2. 마운트 된 디렉토리를 통째로 지정된 디렉토리로 복사
3. 복사된 디렉토리에 chroot 로 접근
4. Deb 패키지 설치
5. Initrd.lz 생성 후 chroot exit
6. 복사된 디렉터로리를 새로운 filesystem.squashfs 로 생성
7. Iso를 편집하여 initrd.lz 와 filesystem.squashfs를 새롭게 생성한 파일로 교체입니다.

              [.......]      <- 이부분 꼭 필요하다.

              name= xxxxx

              baseurl=file:///마운트경로 또는 http://xxxx

              enabled=1 or 0    (1은 사용, 0은 사용하지 않음)

              gpgcheck=0        (1은 사용, 0은 사용하지 않음)

              yum repolist all

   하고 사용하면 된다.

RHCE를 따기 위한 과정은 크게 4가지 방식으로 진행될 수 있다.

4가지 방식중 4번은 시험만이며,  혼자서 할 수만 있다면 시험만 봐도 될것이다.

4가지 방식 중 4번은 시험만이기 때문에 제외하고

1,2,3 번의 방식 중 안에 있는 하나하나의 과정은 4~5일 교육일수를 가지고 있다.

따라서 1번의 방식의 교육과정을 모두 수강할 경우 3주정도가 소요되며,

2번은 2주정도, 3번은 1주일정도 이다.

1.

RH124 Red Hat 시스템 관리 I 

RH134 Red Hat 시스템 관리 II

RH135 Red Hat 시스템 관리 II with Exam ( RHCSA )

RH254 Red Hat 시스템 관리 III

RH255 Red Hat 시스템 관리 III with Exam ( RHCSA + RHCE )

2.

RH199 Red Hat 시스템 관리 I, II

RH200  Red Hat 시스템 관리 I, II with Exam ( RHCSA )

RH254 Red Hat 시스템 관리 III

RH255 Red Hat 시스템 관리 III with Exam ( RHCSA + RHCE )

3.

RH299 Red Hat 시스템 관리 I,II,III

RH300 Red Hat 시스템 관리 I,II,III with Exam ( RHCSA + RHCE )

4.

EX200 ( RHCSA ) , EX300 ( RHCE )