刘峻良
0%

发表于 更新于
本文字数： 2.5k 阅读时长 ≈ 2 分钟

hystrix-board服务监控

1、创建新项目:hystrixdashboard。在application.properties文件中添加配置文件

1
2
spring.application.name=hystrixboard
server.port=6009

2、在pom文件中添加依赖

阅读全文 »

发表于 更新于
本文字数： 7.3k 阅读时长 ≈ 7 分钟

1、简介

生产者为了提供测试方法

2、贴代码

（1）、application.properties文件

1
2
3
4
5
spring.application.name=springbootService

server.port=6001

eureka.client.service-url.defaultZone=http://user1:password1@localhost:5000/eureka/
阅读全文 »

发表于 更新于
本文字数： 4.9k 阅读时长 ≈ 4 分钟

1、简介

Zuul是Netflix开源的微服务网关，可以和Eureka、Ribbon、Hystrix等组件配合使用，Spring Cloud对Zuul进行了整合与增强，Zuul默认使用的HTTP客户端是Apache HTTPClient，也可以使用RestClient或okhttp3.OkHttpClient。 Zuul的主要功能是路由转发和过滤器。路由功能是微服务的一部分。zuul默认和Ribbon结合实现了负载均衡的功能

阅读全文 »

发表于 更新于
本文字数： 1.1k 阅读时长 ≈ 1 分钟

什么是Spring cloud

构建分布式系统不需要复杂和容易出错。Spring Cloud 为最常见的分布式系统模式提供了一种简单且易于接受的编程模型，帮助开发人员构建有弹性的、可靠的、协调的应用程序。Spring Cloud 构建于 Spring Boot 之上，使得开发者很容易入手并快速应用于生产中。

个人理解：服务发现注册 、配置中心 、消息总线 、负载均衡 、断路器 、数据监控 等操作。我们能在 Spring Boot 的基础上轻松地实现微服务项目的构建。

阅读全文 »

发表于 更新于
本文字数： 3.2k 阅读时长 ≈ 3 分钟
  • redis是key-value的数据结构，每条数据都是⼀个键值对
  • 键的类型是字符串
  • 注意：键不能重复
  • 值的类型分为五种：
  • 字符串string
  • 哈希hash
  • 列表list
  • 集合set
  • 有序集合zset
    阅读全文 »

发表于 更新于
本文字数： 9k 阅读时长 ≈ 8 分钟

连接数据库

连接数据库，你需要指定数据库名称，如果指定的数据库不存在，mongo会自动创建数据库。

连接数据库的Java代码如下：

阅读全文 »

发表于 更新于
本文字数： 1.6k 阅读时长 ≈ 1 分钟

hadoop常用操作命令汇总

（1）、列出根目录下所有的目录或文件

hadoop dfs -ls /

（2）、列出/user目录下的所有目录和文件

Hadoop dfs -ls /user

（3）、列出/user目录及其子目录下的所有文件（谨慎使用）

hadoop dfs -ls -R /user

（4）、创建/soft目录

hadoop dfs -mkdir /soft

阅读全文 »

发表于 更新于
本文字数： 1.8k 阅读时长 ≈ 2 分钟

1 、Hadoop 入门教程

Hadoop 是 Apache 开源组织的一个分布式计算开源框架 (http://hadoop.apache.org/) ，用 java 语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop 框架中最核心设计就是：HDFS 和 MapReduce ，HDFS 实现存储，而MapReduce实现原理分析处理，这两部分是 hadoop 的核心。数据在 Hadoop 中处理的流程可以简单的按照下图来理解：数据通过 Haddop 的集群处理后得到结果，它是一个高性能处理海量数据集的工具 。

（1）、HDSF 文件存儲

（2）、HBASE 非关系型数据库

（3）、MapReduce 离线计算

（4）、hive 数据查询

（5）、spark 内存级别计算

（6）、stom 实时计算

（7）、kafka 消息队列

阅读全文 »

发表于 更新于
本文字数： 5.4k 阅读时长 ≈ 5 分钟

MapReduce简介

MapReduce （分布式计算框架）是一种基于磁盘的分布式并行批处理计算模型，用于处理大数据量的计算。其中Map对应数据集上的独立元素进行指定的操作，生成键-值对形式中间，Reduce则对中间结果中相同的键的所有值进行规约，以得到最终结果。

Jobtracker：master节点，只有一个，管理所有作业，任务/作业的监控，错误处理等，将任务分解成一系列任务，并分派给Tasktracker。

Tacktracker：slave节点，运行 Map task和Reduce task；并与Jobtracker交互，汇报任务状态。

Map task：解析每条数据记录，传递给用户编写的map()函数并执行，将输出结果写入到本地磁盘（如果为map—only作业，则直接写入HDFS）。

Reduce task：从Map 它深刻地执行结果中，远程读取输入数据，对数据进行排序，将数据分组传递给用户编写的Reduce()函数执行。

阅读全文 »