【Spring Clound】Nacos高可用集群搭建与使用
作者:mmseoamin日期:2023-12-18

文章目录

  • 一、Nacos 简介
  • 二、Nacos 安装
    • 2.1、Nacos 环境依赖
    • 2.2、Nacos 服务端安装
    • 三、Nacos 部署
      • 3.1、单实例部署
      • 3.2、 集群部署
        • 3.2.1、集群架构
        • 3.2.2、模拟部署
        • 四、微服务集成Nacos
          • 4.1、依赖组件版本选型
          • 4.2、注册中心
            • 4.2.1、服务提供者
            • 4.2.2、服务消费者
            • 4.2.3、服务调用
            • 4.2.4、负载均衡
            • 4.3、配置中心
              • 4.3.1、配置中心客户端
              • 4.3.2、开启权限认证

                一、Nacos 简介

                Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据及流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。 Nacos 是构建以“服务”为中心的现代应用架构 (例如微服务范式、云原生范式) 的服务基础设施。

                nacos官网:https://nacos.io/zh-cn/docs/what-is-nacos.html

                二、Nacos 安装

                2.1、Nacos 环境依赖

                Nacos 基于 java 开发的,运行依赖于64 bit JDK 1.8+环境。

                前往官网下载JDK: Java Downloads | Oracle

                2.2、Nacos 服务端安装

                由于Nacos是开源的,可以从github下载源码编译后安装,也可以直接从github下载官方编译好的安装包进行安装,本文直接使用官方编译好的包进行安装,基于目前官方最新release2.0.3版本。请勿使用2.x以下的版本,之前爆出过漏洞。2.x版本相对于1.x版本,性能也提升了10倍。

                下载地址:https://github.com/alibaba/nacos/releases

                三、Nacos 部署

                3.1、单实例部署

                单实例部署不适合生产环境,单点故障是致命的。

                Linux 单实例非集群模式启动命令:

                startup.sh -m standalone

                Linux 单实例非集群模式关闭命令:

                shutdown.sh

                访问 nacos 管理页面,初始化用户名密码均为 nacos

                访问地址:http://127.0.0.1:8848/nacos/index.html

                端口默认为8848,ip需要替换为部署服务器实例的ip

                3.2、 集群部署

                3.2.1、集群架构

                【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第1张

                • 高可用 Nginx 集群
                • Nacos 集群(至少三个实例)
                • 高可用数据库集群(取代 Nacos 内嵌数据库)

                  3.2.2、模拟部署

                  环境信息:

                  系统版本机器IP部署应用应用版本
                  CentOS8.5192.168.230.1Nginxnginx-1.18.0
                  CentOS8.5192.168.230.129Nacos2.0.3
                  CentOS8.5192.168.230.130Nacos2.0.3
                  CentOS8.5192.168.230.131Nacos2.0.3
                  CentOS8.5192.168.230.1MySQL5.7.32

                  使用vmware虚拟机模拟以上不同机器环境。

                  搭建步骤:

                  1. 初始化 nacos数据库

                  解压下载的安装包nacos-server-2.0.3.tar.gz至/usr/local目录,找到/nacos/conf下的nacos-mysql.sql脚本

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第2张

                  在MySQL实例创建 nacos库并执行sql脚本

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第3张

                  修改修改 Nacos 配置文件,指向MySQL实例,替换其内嵌数据库

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第4张

                  在application.properties中找到如下配置,该配置默认为注释掉的,取消注释即可,修改数据库信息为实际的数据库信息后保存。其他nacos服务实例也需要做同样的修改

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第5张

                  为了达到高可用,通常会有多个MySQL数据库实例,nacos的配置文件也需要指定每一个MySQL实例的信息,例如:

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第6张

                  1. 集群配置

                  在/nacos/conf下找到cluster.conf.example文件,将其重命名为cluster.conf

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第7张

                  修改cluster.conf文件,将其中的默认的ip信息删除,将nacos集群中每一台nacos实例的ip添加进去。集群中所有nacos实例都需要做以上集群配置,至此关于 nacos 的配置结束了,可以尝试以集群模式启动三个nacos实例了。

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第8张

                  切换到/nacos/bin目录下,执行./startup.sh & tail -f /usr/local/nacos/logs/start.out

                  启动nacos,并查看启动日志,出现下面提示说明启动成功

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第9张

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第10张

                  此时可以通过浏览器访问每个nacos实例的控制台,例如:http://192.168.230.131:8848/nacos

                  说明:如果三个实例以集群模式正常启动,那么分别访问三个实例的管理页就是展示以上登录页了。如果不能访问,则可能防火墙未开放 nacos 服务的端口,可执行如下命令。

                  [root@localhost bin]# firewall-cmd --add-port=8848/tcp --permanent
                   
                  success
                   
                  [root@localhost bin]# firewall-cmd --reload
                   
                  success
                  

                  如果nacos启动时报已下异常,有以下三种原因:

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第11张

                  原因一:连不上MySQL数据库,通常是由于MySQL数据库所在的宿主机没有开放3306端口导致的,在MySQL宿主机执行以下命令即可

                  [root@localhost bin]# firewall-cmd --add-port=3306/tcp --permanent
                  success
                  [root@localhost bin]# firewall-cmd --reload
                  Success
                  

                  原因二:由于nacos配置文件application.properties中默认的数据库连接超时时间设置较短,如下图,因为网络延时等原因,MySQL可能会连接超时导致nacos启动报错,因此只需要将超时时间适当设置长一些即可

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第12张

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第13张

                  原因三:虚拟机内存不足,由于在vmvare创建虚拟机时,只给每个虚拟分配了1G的内存,从nacos的启动脚本startup.sh中可知,nacos以集群模式启动时,默认分配的java堆内存空间为2G,因此可判断是由于虚拟机内存不足导致nacos启动报错,修改虚拟机内存为2G后可以正常启动。

                  1. Nginx 配置

                  修改 Nginx 配置文件 nginx.conf如下:

                  http {
                   
                      include       mime.types;
                   
                      default_type  application/octet-stream;
                   
                      sendfile        on;
                   
                      keepalive_timeout  65;
                   
                      #nacos集群负载均衡
                      upstream nacos-cluster {
                          server 192.168.230.129:8848;
                          server 192.168.230.130:8848;
                          server 192.168.230.131:8848;
                      }
                   
                      server {
                          listen       80;
                          server_name  192.168.230.1;
                          location / {
                              #root   html;
                              #index  index.html index.htm;
                              proxy_pass http://nacos-cluster;
                          }
                   
                          error_page   500 502 503 504  /50x.html;
                   
                          location = /50x.html {
                              root   html;
                          }
                      }
                  }
                  
                  1. 访问控制台

                  在浏览器输入Nginx服务所在宿主机的ip即可访问:

                  http://192.168.230.1/nacos/#/login

                  默认用户名/密码:nacos/nacos

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第14张

                  切换至【集群管理】-【节点列表】,可查看nacos集群节点信息:

                  【Spring Clound】Nacos高可用集群搭建与使用,第15张

                  四、微服务集成Nacos

                  4.1、依赖组件版本选型

                  由于Spring Cloud Alibaba与Spring Boot 及Spring Cloud版本的兼容性要求非常严格,如果依赖选错版本,很可能会导致服务启动报错从而导致启动失败。不过alibaba官方已经给我们整理出了推荐的版本依赖关系:

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第16张

                  由于我们使用的nacos是最新的2.0.3版本,从以上表格可以查询到依赖的Spring Cloud Alibaba的版本为2.2.7.RELEASE。继续根据Spring Cloud Alibaba的版本查询毕业版本依赖关系表,如下图,可以找到依赖的Spring Cloud版本为Hoxton.SR12,依赖的Spring Boot版本为2.3.12.RELEASE

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第17张

                  因此,通过上述查询,最终确定微服务依赖版本选型如下:

                  Spring Cloud VersionSpring Cloud Alibaba VersionSpring Boot VersionNacos Version
                  Hoxton.SR122.2.7.RELEASE2.3.12.RELEASE2.0.3

                  官方版本说明:https://github.com/alibaba/spring-cloud-alibaba/wiki/%E7%89%88%E6%9C%AC%E8%AF%B4%E6%98%8E

                  4.2、注册中心

                  首先新建demo-project-parent父工程,根据4.1 依赖组件版本选型选型确定的版本,在父pom文件统一定义好依赖的组件以及版本,如下:

                  
                    1.8
                    2.3.12.RELEASE
                    Hoxton.SR12
                    2.2.7.RELEASE
                  
                   
                  
                    
                      
                      
                        org.springframework.boot
                        spring-boot-dependencies
                        ${spring-boot.version}
                        pom
                        import
                      
                      
                      
                      
                        org.springframework.cloud
                        spring-cloud-dependencies
                        ${spring-cloud.version}
                        pom
                        import
                      
                   
                      
                      
                        com.alibaba.cloud
                        spring-cloud-alibaba-dependencies
                        ${spring-cloud-alibaba.version}
                        pom
                        import
                      
                    
                  
                  

                  4.2.1、服务提供者

                  在父工程下新建服务提供者子模块micro-service-provider,并在pom文件引入依赖:

                  
                    org.springframework.boot
                    spring-boot-starter-web
                  
                   
                  
                    com.alibaba.cloud
                    spring-cloud-starter-alibaba-nacos-discovery
                  
                  

                  修改provider配置文件application.yml:

                  server:
                    port: 8081
                   
                  spring:
                    application:
                      name: service-provider
                    cloud:
                      nacos:
                        discovery:
                  	#nacos集群配置(Nginx)
                          server-addr: 192.168.230.1:80
                  

                  provider启动类:

                  import org.springframework.boot.SpringApplication;
                  import org.springframework.boot.autoconfigure.SpringBootApplication;
                  import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
                   
                  @SpringBootApplication
                  @EnableDiscoveryClient
                  public class ProviderApplication {
                   
                      public static void main(String[] args) {
                          SpringApplication.run(ProviderApplication.class, args);
                      }
                   
                  }
                  Provider测试Controller类:
                  import org.springframework.beans.factory.annotation.Value;
                  import org.springframework.web.bind.annotation.GetMapping;
                  import org.springframework.web.bind.annotation.RequestParam;
                  import org.springframework.web.bind.annotation.RestController;
                   
                  @RestController
                  public class ProviderController {
                   
                      @Value("${server.port}")
                      String port;
                   
                      @GetMapping("/hi")
                      public String hi(@RequestParam(value = "name", defaultValue = "zmx",required = false) String name) {
                          return "hello " + name + ", i'm provider, my port:" + port;
                      }
                   
                  }
                  

                  4.2.2、服务消费者

                  在父工程下新建服务消费者子模块micro-service-consumer,并在pom文件引入以下依赖:

                  
                    org.springframework.boot
                    spring-boot-starter-web
                  
                   
                  
                    com.alibaba.cloud
                    spring-cloud-starter-alibaba-nacos-discovery
                  
                   
                  
                    org.springframework.cloud
                    spring-cloud-starter-openfeign
                  
                   
                  
                  
                    org.springframework.cloud
                    spring-cloud-starter-loadbalancer
                  
                  

                  修改consumer配置文件:

                  server:
                    port: 8082
                   
                  spring:
                    application:
                      name: service-consumer
                    cloud:
                      nacos:
                        discovery:
                          #nacos集群配置(Nginx)
                          server-addr: 192.168.230.1:80
                  

                  在工程的启动类加上@EnableFeignClient注解,以开启FeignClient的功能:

                  import org.springframework.boot.SpringApplication;
                  import org.springframework.boot.autoconfigure.SpringBootApplication;
                  import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
                  import org.springframework.cloud.openfeign.EnableFeignClients;
                   
                  @SpringBootApplication
                  @EnableDiscoveryClient
                  @EnableFeignClients
                  public class ConsumerApplication {
                   
                      public static void main(String[] args) {
                          SpringApplication.run(ConsumerApplication.class, args);
                      }
                   
                  }
                  

                  写一个feign客户端FeignClient,去调用provider服务的接口:

                  import org.springframework.cloud.openfeign.FeignClient;
                  import org.springframework.web.bind.annotation.GetMapping;
                  import org.springframework.web.bind.annotation.RequestParam;
                   
                  //此处的value值对应于provider服务application配置文件中的spring.application.name
                  @FeignClient(value = "service-provider" )
                  public interface ProviderClient {
                   
                      @GetMapping("/hi")
                      String hi(@RequestParam(value = "name", defaultValue = "zmx", required = false) String name);
                   
                  }
                  

                  写一个测试接口,让consumer去调用provider服务的接口:

                  import net.myibc.client.ProviderClient;
                  import org.springframework.beans.factory.annotation.Autowired;
                  import org.springframework.web.bind.annotation.GetMapping;
                  import org.springframework.web.bind.annotation.RestController;
                   
                  @RestController
                  public class ConsumerController {
                   
                      @Autowired
                      ProviderClient providerClient;
                   
                      @GetMapping("/hi-feign")
                      public String hiFeign(){
                          return providerClient.hi("feign");
                      }
                  }
                  

                  启动provider和consumer两个工程,在nacos的【服务管理】-【服务列表】页面查看,可见2个服务都已经注册成功:

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第18张

                  注意:这里启动所有服务后,可能在控制台只能查看到某一个服务,或者查不到注册的服务,查看nacos.log日志,发现报如下异常:

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第19张

                  出现该异常的原因:当nacos客户端升级为2.x版本后,新增了gRPC的通信方式,新增了两个端口。这两个端口在nacos原先的端口上(默认8848),进行一定偏移量自动生成。

                  端口与主端口的偏移量描述:

                  9848:客户端gRPC请求服务端端口,用于客户端向服务端发起连接和请求

                  9849:服务端gRPC请求服务端端口,用于服务间同步等

                  7848:Nacos 集群通信端口,用于Nacos 集群间进行选举,检测等

                  因此,不难猜出,出现该问题的原因是由于nacos2.x版本新增的这两个端口没有在宿主机开启防火墙白名单,导致nacos实例之间无法进行服务间数据同步,因而在控制台无法查看到所有的服务注册实例信息。只需要在nacos宿主机执行以下命令即可:

                  [root@localhost bin]# firewall-cmd --add-port=9848/tcp --permanent
                  success
                  [root@localhost bin]# firewall-cmd --add-port=9849/tcp --permanent
                  success
                  [root@localhost bin]# firewall-cmd --add-port=7848/tcp --permanent
                  success
                  [root@localhost bin]# firewall-cmd --reload
                  Success
                  

                  注意:如果是采用VIP/nginx代理集群的话,需要在nginx配置9848和9849这两个端口的TCP请求转发,否则客户端服务在启动时因为无法连接到服务端这两个端口,从而导致启动失败。如果不使用任何代理,在宿主机执行以上开启端口白名单命令后,只需要在客户端服务application配置文件里配置naocs集群的节点的ip和端口即可,配置如下:

                  【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第20张

                  Nginx配置nacos TCP转发配置:

                  #配置nacos TCP转发
                  stream {
                      upstream nacos1 {
                          server 192.168.230.129:9848;
                          server 192.168.230.130:9848;
                          server 192.168.230.131:9848;
                      }
                   
                      server {
                          listen 9848;
                          proxy_pass nacos1;
                      }
                   
                      upstream nacos2 {
                          server 192.168.230.129:9849;
                          server 192.168.230.130:9849;
                          server 192.168.230.131:9849;
                      }
                   
                      server {
                          listen 9849;
                          proxy_pass nacos2;
                      }
                  }
                  

                  4.2.3、服务调用

                  在浏览器上输入http://127.0.0.1:8082/hi-feign,浏览器返回响应:

                  hello feign, i'm provider ,my port:8081
                  

                  可见浏览器的请求成功调用了consumer服务的接口,consumer服务也成功地通过feign成功的调用了provider服务的接口。

                  4.2.4、负载均衡

                  Feign使用了Spring Cloud Loadbanlancer作为负载均衡器。可以通过修改provider的端口,再在本地启动一个新的provider服务,那么本地有2个provider 服务,端口分别为8081 和8083。在浏览器上多次调用http://127.0.0.1:8082/hi-feign,浏览器会交替显示:

                  hello feign, i’m provider ,my port:8081

                  hello feign, i’m provider ,my port:8083

                  此时控制台provider的实例数会变为2:

                  4.3、配置中心

                  4.3.1、配置中心客户端

                  在父工程下新建nacos配置客户端子模块nacos-config-client,并在pom文件引入以下依赖:

                  
                      com.alibaba.cloud
                      >spring-cloud-starter-alibaba-nacos-config
                  
                  

                  在bootstrap.yml(一定是bootstrap.yml文件,不是application.yml文件)文件配置以下内容:

                  spring:
                    application:
                      name: nacos-config-client
                    cloud:
                      nacos:
                        config:
                          server-addr: 192.168.230.1:80
                          file-extension: yaml
                          prefix: nacos-config-client
                    profiles:
                      active: dev
                  

                  在上面的配置中,配置了nacos config server的地址,配置的扩展名是ymal(目前仅支持ymal和properties)。注意是没有配置server.port的,sever.port的属性在nacos中配置。上面的配置是和Nacos中的dataId 的格式是对应的,nacos的完整格式如下:

                  ${prefix}-${spring.profile.active}.${file-extension}
                  
                  • prefix 默认为 spring.application.name 的值,也可以通过配置项 spring.cloud.nacos.config.prefix来配置。
                  • spring.profile.active 即为当前环境对应的 profile,详情可以参考 Spring Boot文档。 注意:当 spring.profile.active 为空时,对应的连接符 - 也将不存在,dataId 的拼接格式变成 p r e f i x . {prefix}. prefix.{file-extension}
                  • file-exetension 为配置内容的数据格式,可以通过配置项 spring.cloud.nacos.config.file-extension 来配置。目前只支持 properties 和 yaml 类型。

                    启动nacos,登陆控制台http://192.168.230.1/nacos,创建一个Data ID ,完整的配置如图所示:

                    【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第21张

                    写一个RestController,在Controller上添加@RefreshScope注解实现配置的热加载。该注解只有加载需要动态更新配置的类上才会生效,如果将该注解加在启动类上,其他类中的动态更新是不会生效的,代码如下:

                    import org.springframework.beans.factory.annotation.Value;
                    import org.springframework.cloud.context.config.annotation.RefreshScope;
                    import org.springframework.web.bind.annotation.RequestMapping;
                    import org.springframework.web.bind.annotation.RestController;
                     
                    @RestController
                    @RefreshScope
                    public class ConfigController {
                     
                        @Value("${username:lily}")
                        private String username;
                     
                        @RequestMapping("/username")
                        public String get() {
                            return username;
                        }
                    }
                    

                    启动工程nacos-provider,在浏览器上访问http://127.0.0.1:8084/username,可以返回在nacos控制台上配置的username的值zhangsan3。在nacos 控制台上更改username的配置为lisi,在不重启nacos-provider工程的情况下,重新访问http://127.0.0.1:8084/username,返回的是修改后的值lisi,可见nacos作为配置中心实现了热加载功能。

                    修改nacos中username配置前返回:

                    【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第22张

                    将nacos中username的值修改为lisi后重新请求返回:

                    【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第23张

                    注意:使用某些高版本的SpringCloud组件时,在启动nacos配置客户端服务的时候,可能会找不到bootstrap.yml配置文件,会报如下错误,只需要在系统环境变量中配置一下环境变量即可:spring.cloud.bootstrap.enabled=true

                    【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第24张

                    【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第25张

                    4.3.2、开启权限认证

                    通常情况下,为了安全起见,客户端服务在访问nacos的时候都需要通过用户名和密码认证,nacos默认是没有开启认证的,如果需要开启认证,首先需要编辑/nacos/conf/application.properties配置文件,找到nacos.core.auth.enabled=false配置项,如下图,默认是false,表示权限认证是关闭的,修改为true即可开启认证。修改完成后需要重启所有nacos实例。

                    【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第26张

                    在application配置文件中配置nacos的用户名和密码,如下图,首先将服务用户名和密码配置为一个不存在的用户,启动服务验证权限配置是否生效:

                    【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第27张

                    启动服务,发现报了以下异常,code=403和unknown user,说明权限验证失败:

                    【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第28张

                    将用户名和密码修改为正确的之后,再次启动服务,可发现服务启动正常:

                    【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第29张

                    【Spring Clound】Nacos高可用集群搭建与使用,在这里插入图片描述,第30张

                    至此,说明nacos的权限认证配置已生效。