GreenPlum数据库安装系列第一篇:非mirror模式Master软件安装
本文简要记录NO Mirror模式GreenPlum的Master安装过程,不涉及Segment的安装及数据库初始化内容。本实验操作系统为OEL 6.5,GPDB版本为4.3.6.2。
- 系统设置
1.1 设置hosts解析(所有节点,Master和Segments)
[root@mdw ~]# cat /etc/hosts 10.9.15.20 mdw 10.9.15.24 sdw1 10.9.15.26 sdw2 10.9.15.28 sdw3
1.2 内核参数设置(所有节点,Master和Segments)
[root@mdw ~]# vi /etc/sysctl.conf kernel.msgmnb = 65536 kernel.msgmax = 65536 kernel.shmmax = 500000000 kernel.shmall = 4000000000 kernel.shmmni = 4096 kernel.sem = 250 512000 100 2048 kernel.sysrq = 1 kernel.core_uses_pid = 1 kernel.msgmnb = 65536 kernel.msgmax = 65536 kernel.msgmni = 2048 net.ipv4.tcp_syncookies = 1 net.ipv4.ip_forward = 0 net.ipv4.conf.default.accept_source_route = 0 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_max_syn_backlog = 4096 net.ipv4.conf.all.arp_filter = 1 net.ipv4.conf.default.arp_filter = 1 net.ipv4.ip_local_port_range = 1025 65535 net.core.netdev_max_backlog = 10000 vm.overcommit_memory = 2
通过sysctl –p命令使之生效。
[root@mdw ~]# sysctl -p
1.3 limit设置(所有节点,Master和Segments)
[root@mdw ~]# vi /etc/security/limits.conf * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072
1.4 设置I/O调度策略(所有节点,Master和Segments)
Linux默认的I/O调度模式是CFQ,通常需要修改I/O调度策略为deadline,本实验环境为OEL6.5版本的Linux,默认I/O调度模式已经修改为deadline。可以通过下面的命令查看I/O调度策略。
[root@mdw ~]# cat /sys/block/sda/queue/scheduler noop [deadline] cfq
如果I/O调度策略是CFQ,通常需要修改为deadline模式。如果临时修改I/O调度策略,只需要修改/sys/block/sda/queue/scheduler文件即可,如下:
[root@mdw ~]# echo deadline > /sys/block/sda/queue/scheduler [root@mdw ~]# cat /sys/block/sda/queue/scheduler noop [deadline] cfq
如果永久修改I/O调度策略,则需要修改/boot/grub/menu.lst文件,增加elevator=deadline。
[root@mdw ~]# vi /boot/grub/menu.lst # grub.conf generated by anaconda # # Note that you do not have to rerun grub after making changes to this file # NOTICE: You have a /boot partition. This means that # all kernel and initrd paths are relative to /boot/, eg. # root (hd0,0) # kernel /vmlinuz-version ro root=/dev/sda3 # initrd /initrd-[generic-]version.img #boot=/dev/sda default=0 timeout=5 splashimage=(hd0,0)/grub/splash.xpm.gz hiddenmenu title Oracle Linux Server Unbreakable Enterprise Kernel (3.8.13-16.2.1.el6uek.x86_64) root (hd0,0) kernel /vmlinuz-3.8.13-16.2.1.el6uek.x86_64 ro root=UUID=1fb9c4cf-3cf4-47db-bf4a-0a87958d477d rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM elevator=deadline rhgb quiet initrd /initramfs-3.8.13-16.2.1.el6uek.x86_64.img title Oracle Linux Server Red Hat Compatible Kernel (2.6.32-431.el6.x86_64) root (hd0,0)
由于本实验使用的OEL6.5操作系统,默认的I/O调度策略已经修改为deadline模式,此步骤不需要修改。
1.5 修改磁盘预读扇区数(所有节点,Master和Segments)
通过修改预读扇区数,可以有效磁盘的读性能,特别是顺序读,GPDB数据库要求最小磁盘扇区数为16384,建议设置为65535,通常默认磁盘预读扇区是256。
[root@mdw ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/sda3 40G 5.5G 32G 15% / tmpfs 2.0G 72K 2.0G 1% /dev/shm /dev/sda1 190M 54M 126M 31% /boot [root@SL010A-IVBIDG1 ~]# blockdev --getra /dev/sda3 256 [root@mdw ~]# /sbin/blockdev --setra 65535 /dev/sda3 [root@SL010A-IVBIDG1 ~]# blockdev --getra /dev/sda3 65528
修改为65535,实际值为65528。
- 安装Master
2.1 创建gpadmin用户(所有节点,Master和Segments)
[root@mdw ~]# groupadd -g 520 gpadmin [root@mdw ~]# useradd -u 520 -g gpadmin gpadmin [root@mdw ~]# passwd gpadmin Changing password for user gpadmin. New password: gpadmin BAD PASSWORD: it is based on a dictionary word BAD PASSWORD: is too simple Retype new password: gpadmin passwd: all authentication tokens updated successfully. [root@mdw ~]# id gpadmin uid=520(gpadmin) gid=520(gpadmin) groups=520(gpadmin)
2.2创建软件安装目录(所有节点,Master和Segments)
[root@mdw ~]# mkdir -p /gpdb/app [root@mdw ~]# chown -R gpadmin:gpadmin /gpdb/
/gpdb目录为GPDB的BASE目录,/gpdb/app为GPDB的HOME目录。
2.3上传并解压GPDB安装文件(仅Master节点)
[root@mdw ~]# ll /gpdb/ total 136932 -rw-r--r-- 1 gpadmin gpadmin 140216379 Nov 19 17:01 greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.zip [gpadmin@mdw gpdb]$ unzip greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.zip Archive: greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.zip inflating: README_INSTALL inflating: greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.bin
2.4安装GPDB软件(仅Master节点)
直接运行greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.bin文件即可进行安装。
[gpadmin@mdw gpdb]$ /bin/bash greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.bin
然后会弹出好几页的许可信息,许可信息略,下面是许可信息后面的内容。
I HAVE READ AND AGREE TO THE TERMS OF THE ABOVE PIVOTAL SOFTWARE LICENSE AGREEMENT. ******************************************************************************** Do you accept the Pivotal Database license agreement? [yes|no] ********************************************************************************
必须输入YES才可继续安装。
yes ******************************************************************************** Provide the installation path for Greenplum Database or press ENTER to accept the default installation path: /usr/local/greenplum-db-4.3.6.2 ********************************************************************************
默认GPDB的安装路径为/usr/local/greenplum-db-4.3.6.2,确认需要输入YES,如果需要安装到其他路径,直接输入要按照的路径即可。
/gpdb/app ******************************************************************************** Install Greenplum Database into </gpdb/app>? [yes|no] ********************************************************************************
输入YES确认安装位置,稍等片刻,安装完成。
yes Extracting product to /gpdb/app ******************************************************************************** Installation complete. Greenplum Database is installed in /gpdb/app Pivotal Greenplum documentation is available for download at http://docs.gopivotal.com/gpdb ********************************************************************************
安装完成会在/gpdb/app目录下生成以下文件。
[gpadmin@mdw app]$ ll total 276 drwxr-xr-x 3 gpadmin gpadmin 4096 Nov 13 16:05 bin drwxr-xr-x 2 gpadmin gpadmin 4096 Nov 13 15:54 demo drwxr-xr-x 5 gpadmin gpadmin 4096 Nov 13 15:56 docs drwxr-xr-x 2 gpadmin gpadmin 4096 Nov 13 15:56 etc drwxr-xr-x 3 gpadmin gpadmin 4096 Nov 13 15:56 ext -rw-r--r-- 1 gpadmin gpadmin 43025 Nov 13 16:05 GPDB-LICENSE.txt -rw-rw-r-- 1 gpadmin gpadmin 654 Jan 9 17:06 greenplum_path.sh drwxr-xr-x 6 gpadmin gpadmin 4096 Nov 13 15:56 include drwxr-xr-x 9 gpadmin gpadmin 4096 Nov 13 15:56 lib -rw-r--r-- 1 gpadmin gpadmin 192912 Nov 13 16:05 LICENSE.thirdparty drwxr-xr-x 2 gpadmin gpadmin 4096 Nov 13 16:05 sbin drwxr-xr-x 4 gpadmin gpadmin 4096 Nov 13 15:54 share
greenplum_path.sh:Greenplum数据库环境变量文件
GPDB-LICENSE.txt:Greenplum许可协议
bin:管理工具、客户端程序及服务程序
demo:示例程序
docs:帮助文档
etc:OpenSSL的配置示例
ext:一些GP工具使用的捆绑程序
inlcude:C头文件
lib:库文件
sbin:支持的或者内部的脚本和程序
share:共享文件
并且在/gpdb/app的上层目录会创建名字为greenplum-db的软连接,方便安装文件的迁移。
[gpadmin@mdw gpdb]$ cd ../ [gpadmin@mdw gpdb]$ ll total 276048 drwxrwxr-x 11 gpadmin gpadmin 4096 Jan 9 17:06 app lrwxrwxrwx 1 gpadmin gpadmin 5 Jan 9 17:06 greenplum-db -> ./app -rwxr-xr-x 1 gpadmin gpadmin 142441643 Nov 13 16:06 greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.bin -rw-r--r-- 1 gpadmin gpadmin 140216379 Nov 19 17:01 greenplum-db-4.3.6.2-build-1-RHEL5-x86_64.zip -rw-r--r-- 1 gpadmin gpadmin 6997 Nov 13 16:06 README_INSTALL
2.5设置GPDB环境变量(仅Master节点)
上文所述greenplum_path.sh为GPDB的环境变量,为使每次登录主机,GPDB的环境变量都生效,可以将该文件添加到profile文件中。
[gpadmin@mdw app]$ vi /home/gpadmin/.bash_profile # .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:$HOME/bin export PATH source /gpdb/app/greenplum_path.sh
这样再次登录主机的时候,环境变量就会自动加载生效。至此,Master节点安装完成。
【下一篇】GreenPlum数据库安装系列第二篇:非mirror模式Segment节点软件安装