Created: March 24, 2022 5:33 PM
Tags: Work
Topic: Apache nifi
Type: Java
日期: March 24, 2022
使用redis作为缓存储存数据的时候, nifi的缓存处理只能进行set操作; 如果想要hash存储就不支持了
Nifi操作Redis_TineAine的博客-CSDN博客_nifi 调用redis
💡 通用步骤指的是读写Redis都需要执行的操作，其实就是创建链接Redis服务，注意，通用步骤**必须** 要做，否则后面的读写Redis步骤必然失败
-
RedisConnectionPoolService
-
RedisDistributedMapCacheClientService
-
该服务主要是实现redis的操作,目前只有put,get方法是实现redis的get/set方法
添加redis服务(数据源)
目前nifi中可以对redis进行处理的处理器有
-
PutDistributedMapCache
-
FetchDistributedMapCache
PutDistributedMapCache 处理器
Redis
ConnectionPoolService
该控制器服务用来
链接
到
Redis
，并控制
链接
参数
Redis
DistributedMapCacheClientService
PutDistributedMapCache
FetchDistributedMapCache
通用步骤指的是读写
Redis
都需要执行的操作，其实就
nifi
实现
数据
库到
数据
库之间
数据
同步
一.安装：
NiFi
是免安装地，仅需从官网下载压缩包，然后解压，即完成了整个安装过程，官网下载安装包（http://
nifi
.
apache
.org/download.html），选择
nifi
-x.x.x-bin.tar.gz的最新版本即可。解压结束即完成安装过程。
二.配置：修改配置文件
nifi
.properties（路径/usr/download/
nifi
...
Kettle是一款国外开源的ETL工具，纯
java
编写，可以在Window、Linux、Unix上运行，绿色无需安装，
数据
抽取高效稳定。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种
数据
放到一个壶里，然后以一种指定的
格式
流出。
Kettle这个ETL工具集，它允许你管理来自不同
数据
库的
数据
，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。
Kettle中有两种脚本文件，transformation和
if (
Redis
Config.equals("ERROR")) {
// Oracle的配置
final Char
set
char
set
= StandardChar
set
s.UTF_8;
final byte[] buffer = new byte[1024];
final AtomicInteger bufferedByteCount = new AtomicInteger(0);
session.read(flowFile, new InputStreamCa
writeAsText()：将元素以字符串形式逐行写入，这些字符串通过调用每个元素的toString()方法来获取
print() / printToErr()：打印每个元素的toString()方法的值到标准输出或者标准错误输出流中
自定义输出addSink【kafka、
redis
】
我们可以通过sink算子，将我们的
数据
发送到指定的地方去，例如kafka或者
redis
或者hb
redis
和
数据
库的同步+varnish(CDN缓存系统)
redis
和
数据
库的同步+varnishCDN缓存系统
redis
和
数据
库的同步+varnish(CDN缓存系统)问题出现
redis
服务
redis
持久化RDB与AOF方式的优缺点实验环境准备同步方式一同步方式二测试
redis
和
数据
库之间的同步测试CDN(内容分发网络)——varnish测试扩展功能1.添加一个默认后端测试测试测试2.模拟负载均衡测试3.设置健康检查问题模拟4.nginx代理配置
CDN：企业自觉维护，高额费用
Redis
是一个key-value的nosql
数据
库，key我们一般认为就是字符串类型，但是value，也就是我们常说的
redis
数据
类型有五种，字符串，哈西表，列表，集合
和有序集合。每一种
数据
类型的操作都不一样。nosql是not only sql 的意思，和传统关系型
数据
库还是有区别的，他的
数据
直接存放在内存中，所以读写块，适合做缓存，我们没有类sql的语法来操作
redis
。
