网站首页 美食营养 游戏数码 手工爱好 生活家居 健康养生 运动户外 职场理财 情感交际 母婴教育 时尚美容

ETL之StreamSet软件安装

时间:2024-10-23 01:37:45

1、这里以Centos7.5为例进行安装。

2、导航至https://streamsets.com/opensource,按图示选择下载。

ETL之StreamSet软件安装

3、这个大家伙足足有5Gb,因此准备好足够的空间和耐心。下载完成后,在该文件所在目录下执行如下命令:tar xf streamsets-datacollector-<version>-<operating_system>-all-rpms.tar

4、解压好后,进入解压的目录内执行yum localinstall streamsets*.rpmsystemctl start sdc

5、为了能在外部访问,检查下Centos的防火墙策略,允许需要的端口出去,这里简单粗暴的关闭防火墙:systemctl stop firewalld.service

6、通过地址访问:http://localhost:18630/默认账号和密码均为admin

ETL之StreamSet软件安装

7、StreamSet有可视化流程编辑界面,并且包括50种数据源、44种数据操作、46种目的地。对于Streamsets来说,最重要的概念就是数据源(Origins)、操作(Processors)、目的地(Destinations)。创建一个Pipelines管道配置也基本是这三个方面。StreamSet支持的源有Kafka、HTTP、UDP、JDBC、HDFS等;Processors可以实现对每个字段的过滤、更改、编码、聚合等操作;Destinations跟Origins差不多,可以写入Kafka、Flume、JDBC、HDFS、Redis等。甚至可以直接建立HTTP微服务Api,以供第三方调用,强大的功能吸引我们继续去探索。

© 2025 小知经验
信息来自网络 所有数据仅供参考
有疑问请联系站长 site.kefu@gmail.com