负载均衡集群解决方案 Nginx

网友投稿 771 2022-09-28

负载均衡集群解决方案 Nginx

负载均衡集群解决方案 Nginx

负载均衡集群解决方案 Nginx

Nginx是一个免费的，开源的，高性能的服务器和反向代理服务器软件，同时它也可以为IMAP和POP3服务器代理，以其高性能，稳定性，丰富的功能，结构简单，低资源消耗的特性换来广大运维者所喜爱。

Nginx与传统的服务器不同，不依赖线程来处理请求。相反，它使用一个更可扩展事件驱动架构(异步)。这种结构资源消耗较小，但更重要的是，可以承受较大的请求负荷。即使你不希望处理成千上万的请求，你仍然可以受益于Nginx的高性能和小的内存占用，以及其丰富的功能。

Nginx的反向代理：

反向代理指以代理服务器来接受Internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给Internet上请求连接到客户端，此时代理服务器对外就表现为一个服务器，而此种工作模式类似于LVS-NET模型。

反向代理也可以理解为web服务器加速，它是一种通过在繁忙的web服务器和外部网络之间增加的 一个高速web缓冲服务器，用来降低实际的web服务器的负载的一种技术。反向代理是针对web服务器提高加速功能，所有外部网络要访问服务器时的所有请求都要通过它，这样反向代理服务器负责接收客户端的请求，然后到源服务器上获取内容，把内容返回给用户，并把内容保存在本地，以便日后再收到同样的信息请求时，它会将本地缓存里的内容直接发给用户，已减少后端web服务器的压力，提高响应速度。因此Nginx还具有缓存功能。

反向代理的工作流程：

1)用户通过域名发出访问请求，该域名被解析为反向代理服务器的IP地址；

2)反向代理服务器接收用户的请求；

3)反向代理服务器在本地缓存查找是否存在当前用户所请求的内容，找到则直接把内容返回给用户；

4)如果本地没有用户请求的内容，反向代理服务器会以自己的身份去后端服务器请求同样的信息内容，并把信息内容发给用户，如果信息内容是可以被缓存的，则会将该内容缓存在代理服务器的本地缓存中。

反向代理的好处：

1)解决了网站服务器对外可见的问题，提高了网站服务器的安全性；

2)节约了有限的IP地址资源，后端服务器均可使用私有IP地址与代理服务器进行通信；

3)加速了网站的访问速度，减轻了真是web服务器的负荷。

(一)、调度算法

Nginx的upstream指令用于指定proxy_pass和fastcgi_pass所使用的后端服务器，即nginx的反向代理功能，因此可以将两者结合起来使用以达到负载均衡的目的，而Nginx也支持多种调度算法：

1、轮询(默认)

每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，则会跳过该服务器分配至下一个监控的服务器。并且它无需记录当前所有连接的状态，所以它是一种无状态调度。

2、weight

指定在轮询的基础上加上权重，weight和访问比率成正比，即用于表明后端服务器的性能好坏，若后端服务器性能较好则可将大部分请求分配给它，已实现其力所能及。

例如：

我后端服务器172.23.136.148配置：E5520*2 CPU，8G内存

后端服务器172.23.136.148配置：Xeon(TM)2.80GHz * 2，4G内存

我希望在有30个请求到达前端时，其中20个请求交给172.23.136.148处理，剩余10个请求交给172.23.136.149处理，就可做如下配置

upstream web_poll { server 172.23.136.148 weight=10; server 172.23.136.149 weight=5; }

3、ip_hash

每个请求按访问ip的hash结果分配，当新的请求到达时，先将其客户端IP通过哈希算法进行哈希出一个值，在随后的请求客户端IP的哈希值只要相同，就会被分配至同一个后端服务器，该调度算法可以解决session的问题，但有时会导致分配不均即无法保证负载均衡。

例如：

upstream web_pool { ip_hash; server 172.23.136.148:80; server 172.23.136.149:80; }

4、fair(第三方)

按后端服务器的响应时间来分配请求，响应时间短的优先分配。

upstream web_pool { server 172.23.136.148; server 172.23.136.149; fair; }

5、url_hash(第三方)

按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较有效。

例：在upstream中加入hash语句，server语句中不能写入weight等其他的参数，hash_method是使用的hash算法

upstream web_pool { server squid1:3128; server squid2:3128; hash $request_uri; hash_method crc32; }

每个设备的状态设置为:

1.down 表示当前的server不参与负载,用于ip_hash中

2.weight 默认为1.weight越大，负载的权重就越大。

3.max_fails 允许请求失败的次数默认为1.设为0则表示关闭该项功能，当超过最大次数时，返回proxy_next_upstream 模块定义的错误

4.fail_timeout 在max_fails定义的失败次数后，暂停的时间。

5.backup 可以将其理解为备机，其它所有的非backup机器down或者忙的时候，才会将请求分配给backup机器。所以这台机器压力会最轻。

nginx支持同时设置多组的负载均衡，用来给不用的server来使用。

(二)、指令的使用

1、upstream

upstream web_pool { server coolinuz.9966.org weight=5; server 172.23.136.148:8080 max_fails=3 fail_timeout=30s; server unix:/tmp/backend3; }

2、server

语法：server name [parameters]

其中的name可以是FQDN，主机地址，端口或unix套接字；如果FQDN解析的结果为多个地址，则每个地址都会被用到。

3、proxy_pass

语法：proxy_pass URL;

该指令用于指定代理服务器的地址和URL将被映射为的URL或地址和端口。即用来指定后端服务器的地址或URL[端口]。

4、proxy_set_header

语法：proxy_set_header header value;

该指令允许重新定义和添加一些将被转移到被代理服务器的请求头部信息。

例如：

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

注意：$proxy_add_x_forwarded_for包含客户端请求头中的"X-Forwarded-For"，与$remote_addr用逗号分开，如果没有"X-Forwarded-For" 请求头，则$proxy_add_x_forwarded_for等于$remote_addr

顺便补上Nginx的内置变量：

$args, 请求中的参数;



$is_args, 如果已经设置$args，则该变量的值为“？”，否则为“”。



$content_length, HTTP请求信息头里的"Content-Length";



$content_type, 请求信息头里的"Content-Type";



$document_root, 针对当前请求所属的root指令设置的根目录路径;



$document_uri, 与$uri相同;



$host, 请求信息中的"Host"，如果请求中没有Host行，则等于设置的服务器名;



$limit_rate, 对连接速率的限制;



$request_method, 请求的方法，比如"GET"、"POST"等;



$remote_addr, 客户端地址;



$remote_port, 客户端端口号;



$remote_user, 客户端用户名，认证用;



$request_filename, 当前请求的文件路径名



$request_body_file, 客户端请求主体的临时文件名。



$request_uri, 请求的URI，带参数;



$query_string, 与$args相同;



$scheme, 所用的协议，比如^(.+)$ $scheme://example.com$1 redirect;



$server_protocol, 请求的协议版本，"HTTP/1.0"或"HTTP/1.1";



$server_addr, 服务器地址，如果没有用listen指明服务器地址，使用这个变量将发起一次系统调用以取得地址(造成资源浪费);



$server_name, 请求到达的服务器名;



$server_port, 请求到达的服务器端口号;



$uri, 请求的URI，可能和最初的值有不同，比如经过重定向之类的。

5、proxy_read_timeout

语法：proxy_read_timeout time;

这个指令设置Nginx与后端服务器建立连接后。等待后端服务器的响应时间

6、proxy_send_timeout

语法：roxy_send_timeout time;

该指令指定请求转移到后端服务器的超时时间。整个传输的要求时间不超过超时时间，但只有两次写操作之间。如果在此时间之后的后端服务器将不采取新的数据，然后nginx将关闭连接。

7、proxy_connect_timeout

语法：proxy_connect_timeout time;

该指令用来设置分配到后端服务器的连接超时时间。

8、proxy_buffers

语法: proxy_buffers the_number is_size;

该指令设置缓冲区的数目和大小，缺省情况下，一个缓冲区的大小和页面大小相同。

9、proxy_buffer_size

语法：proxy_buffer_size buffer_size;

代理缓冲区，该指令用于保存用用户的头部信息。

10、proxy_busy_buffers_size

语法：proxy_busy_buffers_size size;

用于当系统负载较大，缓冲区不够用时，可以申请更大的proxy_buffers

11、proxy_temp_file_write_size

语法：proxy_temp_file_write_size size;

(三)、功能完善

安装配置第三方模块，实现upstream中对后端web server的健康状态检测：

模块-： -xvf cep21-healthcheck_nginx_upstreams-16d6ae7.tar.gz -C /tmp/healthcheck_nginx_upstreams

2、对nginx打补丁

首先解压nginx，并进入nginx源码目录：

# tar xf nginx-1.3.4.tar.gz

# cd nginx-1.0.11

# patch -p1 < /tmp/healthcheck_nginx_upstreams/nginx.patch

而后编译nginx，在执行configure时添加类似下面的选项：

--add-module=/tmp/healthcheck_nginx_upstreams

# ./configure \

--prefix=/usr/local/nginx \

--sbin-path=/usr/sbin/nginx \

--conf-path=/etc/nginx/nginx.conf \

--lock-path=/var/lock/nginx.lock \

--user=nginx \

--group=nginx \

--with-\

--with-\

--with-\

--with-\

--\

--\

--with-pcre \

--add-module=/tmp/healthcheck_nginx_upstreams

# make && make install

ngx_"GET /health HTTP/1.0" 'Host: coolinuz.9966.org';

healthcheck_expected##期望从后端服务器收到的响应内容；如果未设置，则表示从后端服务器收到200状态码即为正确；

healthcheck_buffer##健康状态检查所使用的buffer空间大小；

healthcheck_status

通过类似stub_status的方式输出检测信息，使用方法如下：

location /stat {

healthcheck_status;

(四)、配置与实现

{

upstream web_pool {

server 172.23.136.148:80 weight=10;

server 172.23.136.149:80 weight=5;

healthcheck_enabled;

healthcheck_delay 1000;

healthcheck_timeout 1000;

healthcheck_failcount 2;

healthcheck_send "GET /.health HTTP/1.0";

}

server {

listen 80;

location / {

proxy_set_header Host $data-id="p838747a-bAMnktKj"> proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_pass data-id="p838747a-m3b6Ta3C"> proxy_connect_timeout 3;

}

location /stat {

healthcheck_status;

}

}}

(五)、小结

通过以上我们可以看出Nginx的配置其实是比较其他的web服务器软件是比较简单的，但是其实现的功能确实相当强大丰富的。通过Nginx的反向代理已经支持灵活的正则表达式匹配，可以实现网站的动、静分离，让动态的php等程序网页去访问php web服务器，让缓存页、图片、javascript、css、flash去访问Squid等缓存服务器或文件服务器。加之Nginx对静态内容的高性能，高并发量，Nginx作为前端代理负载均衡成为越来越多架构师的首先方案。

Nginx是一个免费的，开源的，高性能的服务器和反向代理服务器软件，同时它也可以为IMAP和POP3服务器代理，以其高性能，稳定性，丰富的功能，结构简单，低资源消耗的特性换来广大运维者所喜爱。

Nginx与传统的服务器不同，不依赖线程来处理请求。相反，它使用一个更可扩展事件驱动架构(异步)。这种结构资源消耗较小，但更重要的是，可以承受较大的请求负荷。即使你不希望处理成千上万的请求，你仍然可以受益于Nginx的高性能和小的内存占用，以及其丰富的功能。

Nginx的反向代理：

反向代理指以代理服务器来接受Internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给Internet上请求连接到客户端，此时代理服务器对外就表现为一个服务器，而此种工作模式类似于LVS-NET模型。

反向代理也可以理解为web服务器加速，它是一种通过在繁忙的web服务器和外部网络之间增加的 一个高速web缓冲服务器，用来降低实际的web服务器的负载的一种技术。反向代理是针对web服务器提高加速功能，所有外部网络要访问服务器时的所有请求都要通过它，这样反向代理服务器负责接收客户端的请求，然后到源服务器上获取内容，把内容返回给用户，并把内容保存在本地，以便日后再收到同样的信息请求时，它会将本地缓存里的内容直接发给用户，已减少后端web服务器的压力，提高响应速度。因此Nginx还具有缓存功能。

反向代理的工作流程：

1)用户通过域名发出访问请求，该域名被解析为反向代理服务器的IP地址；

2)反向代理服务器接收用户的请求；

3)反向代理服务器在本地缓存查找是否存在当前用户所请求的内容，找到则直接把内容返回给用户；

4)如果本地没有用户请求的内容，反向代理服务器会以自己的身份去后端服务器请求同样的信息内容，并把信息内容发给用户，如果信息内容是可以被缓存的，则会将该内容缓存在代理服务器的本地缓存中。

反向代理的好处：

1)解决了网站服务器对外可见的问题，提高了网站服务器的安全性；

2)节约了有限的IP地址资源，后端服务器均可使用私有IP地址与代理服务器进行通信；

3)加速了网站的访问速度，减轻了真是web服务器的负荷。

(一)、调度算法

Nginx的upstream指令用于指定proxy_pass和fastcgi_pass所使用的后端服务器，即nginx的反向代理功能，因此可以将两者结合起来使用以达到负载均衡的目的，而Nginx也支持多种调度算法：

1、轮询(默认)

每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，则会跳过该服务器分配至下一个监控的服务器。并且它无需记录当前所有连接的状态，所以它是一种无状态调度。

2、weight

指定在轮询的基础上加上权重，weight和访问比率成正比，即用于表明后端服务器的性能好坏，若后端服务器性能较好则可将大部分请求分配给它，已实现其力所能及。

例如：

我后端服务器172.23.136.148配置：E5520*2 CPU，8G内存

后端服务器172.23.136.148配置：Xeon(TM)2.80GHz * 2，4G内存

我希望在有30个请求到达前端时，其中20个请求交给172.23.136.148处理，剩余10个请求交给172.23.136.149处理，就可做如下配置

upstream web_poll {

server 172.23.136.148 weight=10;

server 172.23.136.149 weight=5;

}

3、ip_hash

每个请求按访问ip的hash结果分配，当新的请求到达时，先将其客户端IP通过哈希算法进行哈希出一个值，在随后的请求客户端IP的哈希值只要相同，就会被分配至同一个后端服务器，该调度算法可以解决session的问题，但有时会导致分配不均即无法保证负载均衡。

例如：

upstream web_pool {

ip_hash;

server 172.23.136.148:80;

server 172.23.136.149:80;

}

4、fair(第三方)

按后端服务器的响应时间来分配请求，响应时间短的优先分配。

upstream web_pool {

server 172.23.136.148;

server 172.23.136.149;

fair;

}

5、url_hash(第三方)

按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较有效。

例：在upstream中加入hash语句，server语句中不能写入weight等其他的参数，hash_method是使用的hash算法

upstream web_pool {

server squid1:3128;

server squid2:3128;

hash $request_uri;

hash_method crc32;

}

每个设备的状态设置为:

1.down 表示当前的server不参与负载,用于ip_hash中

2.weight 默认为1.weight越大，负载的权重就越大。

3.max_fails 允许请求失败的次数默认为1.设为0则表示关闭该项功能，当超过最大次数时，返回proxy_next_upstream 模块定义的错误

4.fail_timeout 在max_fails定义的失败次数后，暂停的时间。

5.backup 可以将其理解为备机，其它所有的非backup机器down或者忙的时候，才会将请求分配给backup机器。所以这台机器压力会最轻。

nginx支持同时设置多组的负载均衡，用来给不用的server来使用。

(二)、指令的使用

1、upstream

upstream web_pool {

server coolinuz.9966.org weight=5;

server 172.23.136.148:8080 max_fails=3 fail_timeout=30s;

server unix:/tmp/backend3;

}

2、server

语法：server name [parameters]

其中的name可以是FQDN，主机地址，端口或unix套接字；如果FQDN解析的结果为多个地址，则每个地址都会被用到。

3、proxy_pass

语法：proxy_pass URL;

该指令用于指定代理服务器的地址和URL将被映射为的URL或地址和端口。即用来指定后端服务器的地址或URL[端口]。

4、proxy_set_header

语法：proxy_set_header header value;

该指令允许重新定义和添加一些将被转移到被代理服务器的请求头部信息。

例如：

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

注意：$proxy_add_x_forwarded_for包含客户端请求头中的"X-Forwarded-For"，与$remote_addr用逗号分开，如果没有"X-Forwarded-For" 请求头，则$proxy_add_x_forwarded_for等于$remote_addr

顺便补上Nginx的内置变量：

$args, 请求中的参数;



$is_args, 如果已经设置$args，则该变量的值为“？”，否则为“”。



$content_length, HTTP请求信息头里的"Content-Length";



$content_type, 请求信息头里的"Content-Type";



$document_root, 针对当前请求所属的root指令设置的根目录路径;



$document_uri, 与$uri相同;



$host, 请求信息中的"Host"，如果请求中没有Host行，则等于设置的服务器名;



$limit_rate, 对连接速率的限制;



$request_method, 请求的方法，比如"GET"、"POST"等;



$remote_addr, 客户端地址;



$remote_port, 客户端端口号;



$remote_user, 客户端用户名，认证用;



$request_filename, 当前请求的文件路径名



$request_body_file, 客户端请求主体的临时文件名。



$request_uri, 请求的URI，带参数;



$query_string, 与$args相同;



$scheme, 所用的协议，比如^(.+)$ $scheme://example.com$1 redirect;



$server_protocol, 请求的协议版本，"HTTP/1.0"或"HTTP/1.1";



$server_addr, 服务器地址，如果没有用listen指明服务器地址，使用这个变量将发起一次系统调用以取得地址(造成资源浪费);



$server_name, 请求到达的服务器名;



$server_port, 请求到达的服务器端口号;



$uri, 请求的URI，可能和最初的值有不同，比如经过重定向之类的。

5、proxy_read_timeout

语法：proxy_read_timeout time;

这个指令设置Nginx与后端服务器建立连接后。等待后端服务器的响应时间

6、proxy_send_timeout

语法：roxy_send_timeout time;

该指令指定请求转移到后端服务器的超时时间。整个传输的要求时间不超过超时时间，但只有两次写操作之间。如果在此时间之后的后端服务器将不采取新的数据，然后nginx将关闭连接。

7、proxy_connect_timeout

语法：proxy_connect_timeout time;

该指令用来设置分配到后端服务器的连接超时时间。

8、proxy_buffers

语法: proxy_buffers the_number is_size;

该指令设置缓冲区的数目和大小，缺省情况下，一个缓冲区的大小和页面大小相同。

9、proxy_buffer_size

语法：proxy_buffer_size buffer_size;

代理缓冲区，该指令用于保存用用户的头部信息。

10、proxy_busy_buffers_size

语法：proxy_busy_buffers_size size;

用于当系统负载较大，缓冲区不够用时，可以申请更大的proxy_buffers

11、proxy_temp_file_write_size

语法：proxy_temp_file_write_size size;

(三)、功能完善

安装配置第三方模块，实现upstream中对后端web server的健康状态检测：

模块-： -xvf cep21-healthcheck_nginx_upstreams-16d6ae7.tar.gz -C /tmp/healthcheck_nginx_upstreams

2、对nginx打补丁

首先解压nginx，并进入nginx源码目录：

# tar xf nginx-1.3.4.tar.gz

# cd nginx-1.0.11

# patch -p1 < /tmp/healthcheck_nginx_upstreams/nginx.patch

而后编译nginx，在执行configure时添加类似下面的选项：

--add-module=/tmp/healthcheck_nginx_upstreams

# ./configure \

--prefix=/usr/local/nginx \

--sbin-path=/usr/sbin/nginx \

--conf-path=/etc/nginx/nginx.conf \

--lock-path=/var/lock/nginx.lock \

--user=nginx \

--group=nginx \

--with-\

--with-\

--with-\

--with-\

--\

--\

--with-pcre \

--add-module=/tmp/healthcheck_nginx_upstreams

# make && make install

ngx_"GET /health HTTP/1.0" 'Host: coolinuz.9966.org';

healthcheck_expected##期望从后端服务器收到的响应内容；如果未设置，则表示从后端服务器收到200状态码即为正确；

healthcheck_buffer##健康状态检查所使用的buffer空间大小；

healthcheck_status

通过类似stub_status的方式输出检测信息，使用方法如下：

location /stat {

healthcheck_status;

(四)、配置与实现

{

upstream web_pool {

server 172.23.136.148:80 weight=10;

server 172.23.136.149:80 weight=5;

healthcheck_enabled;

healthcheck_delay 1000;

healthcheck_timeout 1000;

healthcheck_failcount 2;

healthcheck_send "GET /.health HTTP/1.0";

}

server {

listen 80;

location / {

proxy_set_header Host $data-id="p838747a-qoTeWBwS"> proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_pass data-id="p838747a-woqzngAx"> proxy_connect_timeout 3;

}

location /stat {

healthcheck_status;

}

}}

(五)、小结

通过以上我们可以看出Nginx的配置其实是比较其他的web服务器软件是比较简单的，但是其实现的功能确实相当强大丰富的。通过Nginx的反向代理已经支持灵活的正则表达式匹配，可以实现网站的动、静分离，让动态的php等程序网页去访问php web服务器，让缓存页、图片、javascript、css、flash去访问Squid等缓存服务器或文件服务器。加之Nginx对静态内容的高性能，高并发量，Nginx作为前端代理负载均衡成为越来越多架构师的首先方案。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。

标签：网页 数据
上一篇:CentOS下NTP服务器安装配置
下一篇:nginx 服务并发过10万的linux内核优化配置
相关文章

 发表评论

暂时没有评论，来抢沙发吧~