使用docker部署的redis集群,项目连接后,缓存几次数据后,就会出现org.springframework.data.redis.TooManyClusterRedirectionsException

大数据中hadoop体系占据着很大一部分，要学习hadoop相关内容就要先搭建好他的集群。这里就记录一下如何搭建一个hadoop集群。

Hadoop集群搭建-baseonUbuntu18.04在网上东摘西抄成自己的东西，做个记录，方便以后CVhadoop是干啥的呢？我就是一句话按我的理解，主要是解决存储和计算的问题，什么存储和计算呢？

写在前面前文地址1前文地址2我们搭建了hadoop集群，接下来学习一下如何对HDFS进行操作（即hadoop的分布式文件系统）。毕竟我们不能白搭建集群嘛。主要可以分为shell操作和API操作。

使用这个命令source/root/.bash_profile#查看tiup的位置whichtiup3.初始化集群拓扑文件集群初始化配置文件可以通过TiUP工具在中控机上面创建YAML格式配置文件，例如

首先必须得有两个MySQL，一个当主节点，另一个当从节点搭建主节点（Master）1.1修改MySQL_1数据库的my.ini和stop.bat文件里的端口1.2启动MySQL数据库，创建连接1.3创建backup用户我用的工具是Navicat先点击MySQL-1,再点击用户,不要点击其他数据库密码是你数据库的密码1.4设置三个权限点击服务器权限，勾选相应的权限1.5停止MySQL_1，修改my.ini文件，并修改data文件夹里的auto.cnf的UUID在my.ini文件里添加这些log_bin=mysql_binrelay_log=relay_binlog-slave-updates=1sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES并打开data文件里auto.cnf文件，从网上在线生成一个UUID，把原先的UUID覆盖掉UUID生成网站搭建从节点（Slave）2.1修改my.ini和stop.bat文件里端口号这步骤跟MySQL_1一样,但是请注意,不要跟MySQL_1的端口号一样2.2修改my.ini文件，并修改data文件夹里的auto.cnf的UUID在my.ini文件里添加这些log_bin=mysql_binrelay_log=relay_binread-only=1sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES并打开data文件里auto.cnf文件，从网上在线生成一个UUID，把原先的UUID覆盖掉UUID生成网站2.3启动MySQL_2，创建连接2.4执行4个SQL语句，实现主从同步执行之前一定要把MySQL_1和MySQL_2的my.ini文件里的server_id设置成不一样的,不然会报错stopslave;changemastertomaster_host='127.0.0.1',master_port=9001,master_user='backup',master_password='abc123456';startslave;showslavestatus;测试同步在MySQL_1下创建一个数据库,然后随便创建一个表,添加一些数据并保存,再刷新MySQL_2就会出现刚刚创建的数据库以及表

也导致了他的缺点，性能会低于RDB5.SpringRedis集群原理集群在搭建完成后，由集群节点平分16384个槽，不能平分时，前面的几个节点可以多一个槽，在写代码时吧集群的所有节点都配置上，这样客户就可以访问集群的任意一个节点

Docker-compose创建RabbitMq单机版本集群版的后面再写。

例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服務器宕机，这个集群仍然是可读的，不过你需要9台服務器才能写数据。

https://www.jetbrains.com/zh-cn/go/Go语言特色*简洁、快速、安全*并行、有趣、开源*内存管理、数组安全、编译迅速Go语言用途Go语言被设计成一门应用于搭载Web服务器，存储集群或类似用途的巨型中央服务器的系统编程语言

现在的架构，我们可以去看看腾讯云的购买时就可以发现：副本集群分片集群副本集群就是技术主节点挂了，也可以选举出新的主节点来。而分片集群则是支持无线容量的扩展，把数据分片存储。

一、负载均衡前提：在有集群的条件下1.内置策略内置策略有Random（默认）、RoundRobin（常用）、LeastActive、ConsistentHash四个负载均衡策略。

data-source-dir="/data1/tidb_tool/backup/ncayu_test1201"[tidb]#目标集群的信息。

tomcat的端口和服务器的端口不一致，当前应用同时占用两个端口server:port:8761#tomcat默认端口仍是8080#SpringCloudNetflixEurekaServer对微服务集群的管理基于应用名称

quot;/usr/local/redis/redis.conf"]从节点的配置replicaofmaster6379#master是links后面的别名5.5Redis的哨兵如果在Redis集群中

RemoteMethodlnvocations,远程调用)2，LoadBalancing(负载均衡，将访问负荷分散到各个服务器中)3，TransparentFail-over(透明的故障切换)4，Clustering(集群

bind-address=127.0.0.1#Disablingsymbolic-linksisrecommendedtopreventassortedsecurityriskssymbolic-links=0#服务在集群中的

负载均衡：在多服务器集群中，根据服务器的处理能力（权重）分配请求。游戏奖励系统：根据道具或奖励的稀有度（权重）决定玩家抽取的概率。

s1c.time.edu.cn台警大授时中心(台湾)：asia.pool.ntp.org我选用的是NTP服务器(上海)查看时区：[root@ncayu618~]#date"+%Z"CST但在做数据库集群分片等复杂操作时对多台机器的时间差是有要求的

rocketmq-4.7.1.tar.gz/home/rocketMQ解压打包好的文件tarzxvfrocketmq-4.7.1.tar.gz配置环境变量，其实可以不设置，但是配置了可以进一步简化broker的集群命令

is("user4"));mongoTemplate.remove(query,User.class);副本集MongoDB副本集（ReplicaSet)是有自动故障恢复功能的主从集群

劣势：需要对整个图做计算才能得出结果，不容易做分布式的集群方案。

当网站的访问量达到一定程度后，单台服务器不能满足用户的请求时，需要用多台服务器集群可以使用nginx做反向代理。并且多台服务器可以平均分担负载，不会因为某台服务器负载高宕机而某台服务器闲置的情况。

options]networkcontainerdockernetworkconnectmynettomcat01#将docker0的tomcat01连通到mynet网络中相当于一个容器两个IPRedis集群

支持健康检查使用Raft算法来保证一致性,比复杂的Paxos算法更直接.相比较而言,zookeeper采用的是Paxos,而etcd使用的则是Raft，同时支持HTTP和DNS协议，支持跨数据中心的WAN集群

上不封顶，基本上16g做应用开发，32g做web开发，再大也没啥必要，用远程的服务器即可，服务器配置上不封顶，甚至多集群。

Prometheus和Heapster(Heapster是K8S的一个子项目，用于获取集群的性能数据。)相比功能更完善、更全面。Prometheus性能也足够支撑上万台规模的集群。