前言

本文尝试源码安装部署hadoop3.1.0

系统为ubuntu16.04

需要具有一定基础，一些基本操作只是简略带过

我主要把各个部署方案的配置文件综合了起来，把一些常用的配置以及说明都写了上来

适合快速部署hadoop的朋友

NFS介绍

在Linux下实现文件共享有多种方式，NFS就是其中之一。网络文件系统(NFS)协议是由Sun MicroSystem在20世纪80年代为了提供对共享文件的远程访问而设计和实现的。该协议采用Client/Server模型，通过使用Sun开发的远程过程调用协议(RPC Protocol)来实现运行在一台计算机上的程序来调用在另一台远程机器上运行的子程序，并且，它提供的外部数据表示(XDR)可以使得数据在不同平台上的计算机上进行交换。该协议可以在TCP协议或者是UDP协议上运行，而在此基础上，NFS在数据的传送过程中需要RPC命令得到确认，而且在需要的时候将会重传。

LVM简介

LVM是 Logical Volume Manager(逻辑卷管理)的简写，它由Heinz Mauelshagen在Linux 2.4内核上实现。LVM将一个或多个硬盘的分区在逻辑上集合，相当于一个大硬盘来使用，当硬盘的空间不够使用的时候，可以继续将其它的硬盘的分区加入其中，这样可以实现磁盘空间的动态管理，相对于普通的磁盘分区有很大的灵活性。

与传统的磁盘与分区相比，LVM为计算机提供了更高层次的磁盘存储。它使系统管理员可以更方便的为应用与用户分配存储空间。在LVM管理下的存储卷可以按需要随时改变大小与移除(可能需对文件系统工具进行升级)。LVM也允许按用户组对存储卷进行管理，允许管理员用更直观的名称(如”sales’、 ‘development’)代替物理磁盘名(如’sda’、’sdb’)来标识存储卷。

Nmap介绍

Nmap是一款开源免费的网络发现（Network Discovery）和安全审计（Security Auditing）工具。软件名字Nmap是Network Mapper的简称。Nmap最初是由Fyodor在1997年开始创建的。随后在开源社区众多的志愿者参与下，该工具逐渐成为最为流行安全必备工具之一。最新版的Nmap6.0在2012年5月21日发布，详情请参见：www.nmap.org。
一般情况下，Nmap用于列举网络主机清单、管理服务升级调度、监控主机或服务运行状况。Nmap可以检测目标机是否在线、端口开放情况、侦测运行的服务类型及版本信息、侦测操作系统与设备类型等信息。
Nmap的优点：

1. 灵活。支持数十种不同的扫描方式，支持多种目标对象的扫描。
2. 强大。Nmap可以用于扫描互联网上大规模的计算机。
3. 可移植。支持主流操作系统：Windows/Linux/Unix/MacOS等等；源码开放，方便移植。
4. 简单。提供默认的操作能覆盖大部分功能，基本端口扫描nmap targetip，全面的扫描nmap –A targetip。
5. 自由。Nmap作为开源软件，在GPL License的范围内可以自由的使用。
6. 文档丰富。Nmap官网提供了详细的文档描述。Nmap作者及其他安全专家编写了多部Nmap参考书籍。
7. 社区支持。Nmap背后有强大的社区团队支持。
8. 赞誉有加。获得很多的奖励，并在很多影视作品中出现（如黑客帝国2、Die Hard4等）。
9. 流行。目前Nmap已经被成千上万的安全专家列为必备的工具之一。

安装步骤

安装JDK

安装Erlang

下载deb安装包

https://www.erlang-solutions.com/resources/download.html

下载对应版本安装包

安装依赖环境

1
2
3
4
5
6
7
8
9

apt-get install libncurses5-dev
apt-get install libssl-dev
apt-get install m4
apt-get install unixodbc unixodbc-dev
apt-get install freeglut3-dev
apt-get install xsltproc
apt-get install fop
apt-get install tk8.5
apt-get install libwxbase3.0-0v5 libwxgtk3.0-0v5 libsctp1 libnotify4

安装erlang

1

dpkg -i esl-erlang_20.3-1~ubuntu~xenial_amd64.deb

安装RabbitMQ

配置apt源

1

echo "deb https://dl.bintray.com/rabbitmq/debian xenial main" | sudo tee /etc/apt/sources.list.d/bintray.rabbitmq.list

导入gpg key

1

wget -O- https://dl.bintray.com/rabbitmq/Keys/rabbitmq-release-signing-key.asc |      sudo apt-key add -

安装

1
2

apt-get update
apt-get install rabbitmq-server

安装过程

官网下载安装包

1

apache-activemq-5.15.4-bin.tar.gz

解压

1

tar xf apache-activemq-5.15.4-bin.tar.gz -C /opt/

启动activemq

1
2

cd /opt/apache-activemq-5.15.4/
./bin/activemq start

Vagrant介绍

Vagrantfile，官方解释是这样的：The primary function of the Vagrantfile is to describe the type of machine required for a project, and how to configure and provision these machines。简单来说就是配置这个虚拟主机网络连接方式，端口转发，同步文件夹，以及怎么和puppet，chef结合的一个配置文件。执行完$ vagrant init后,在工作目录中,你会发现此文件。

安装步骤

安装docker-ce

1
2

添加tuna镜像源
apt-get install docker-ce

拉取镜像

1

docker pull mongo:3.6

[TOC]

简介

ss-local 是 shadowsocks 的本地 socks5 服务器，因此，如果需要使用 ss-local 提供的 socks5 代理，就必须让应用程序使用 socks5 协议与之通信。但是很可惜，除了部分浏览器、软件直接支持 socks5 协议外，其它的都只支持 http 代理。因此，我们需要借助 privoxy 来将 http 代理协议转换为 socks5 代理协议，与后端的 ss-local 进行通信。

部署方法：

前期准备

(一) 在主域控制器的F盘，新建一个目录，命名为“软件安装共享”，设置共享后，并确保user组用户具有读取，执行权限。（最好在“软件安装共享”的安全属性配置向下继承）

(二) 打开主域控制器上的“Active Directory用户与计算机”右键“testx.com”属性，选择“组策略”“编辑”，进入“组策略编辑器”

(三) 注意：将用户liyuan加入到Domain Administrators 安全组、Enterprise Administrators 安全组或 Group Policy Creator Owners 安全组。

以发布用户方式安装

1. 依次展开“用户配置”“软件设置”“软件安装”。

2. 新建一个“程序包”，在“文件名”后的文本框内输入UNC路径

（例如// 192.168.0.1）软件安装共享\ apache_2.2.4-win32-x86-no_ssl.msi

3. 选择“apache_2.2.4-win32-x86-no_ssl.msi”软件后，点打开

4. 配置部署方法为“已发布”

5. 确定后，登陆客户端client-01进行测试。（测试失败可使用gpupdate/force命令刷新组策略后，重试。）

6. 在客户端的“添加/删除程序”中“添加新程序”，找到“apache_2.2.4-win32-x86-no_ssl.msi”双击安装。

以指派用户方式安装

1. 在部署软件时 选择“已指派”

2. 选择“apache_2.2.4-win32-x86-no_ssl.msi”属性，选中“在登录时安装此应用程序”

3. 登录客户端，自动安装软件，可卸载。

以指派计算机方式安装

1. 在“AD用户与计算机”下，新建一个组织单元us，将computers下的client01客户端，移动到us里面。

2. 右键“us”选择“属性”，点击“组策略”，新建一个策略。

3. 点击“编辑”，展开“计算机设置”“软件设置”，在“软件安装”上右键，新建一个“程序包”

文件名后面的文本框最好用完整的计算机名，如\ ninglian-1.testx.com\软件安装共享\ apache_2.2.4-win32-x86-no_ssl.msi

4. 默认部署类型“已指派”

5. 在客户端上登录，显示如下界面，说明该软件通过组策略安装成功。