kafka-jaas环境下常用命令示例（含压测）

本文记录本人使用kafka过程中常用的运维指令。一 准备客户端环境安装好jdk和kafka1. 配置producer/consumer.properties修改config/producer.properties和config/consumer.properties，添加以下内容security.p

grafana第三方集成以及使用jwt(jwks)实现免登录访问

对于第三方集成grafana，需要可以通过链接直接访问管理界面，跳过登录页面。传统方法是使用代理认证，而最新的jwt方法可以更好地实现这个需求。不过网络上相关教程文档较少，缺乏详细说明，故此记录。一 控制台/面板-分享grafana本身支持面板的内嵌分享，见 https://grafana.com/

基于k8s的家用大数据集群设计与实现

使用3台废旧笔记本搭建k8s集群，部署大数据组件，利用路由器进行异地组网，配合wsl作为管理和客户端，实现随时随地，在工作笔记本上以本地访问的体验使用自建家庭大数据平台进行学习、开发、测试。前言起因最近换了电脑，之前的机器闲置着浪费，又刚好看到了https://github.com/geekyout

大数据通用计算平台(支持flink、spark、storm)-系统调研及设计

项目源于对flink_sql流计算任务的实际使用需求，最初目标是设计一个系统可以在线提交sql生成flink流式计算任务，并进行监控监测。 后延申至支持在线jar包提交的方式，同时支持批式计算任务。并以模块化开发的思路，引入对spark的支持。一 简介1 系统介绍本系统基于多种不同的底层计算框架，如

hive使用bulkLoad批量导入数据到hbase

本文主要参考了hbase和hive官方文档的说明，并结合cdh和hdp的一些教程以及个人在生产中的实践进行记录。主要内容有hbase bulkload的原理以及对应hive的操作步骤，最后基于cdh进行完整实验提供参考实例。不过整个操作确实很复杂繁琐，不是很建议使用。现在有挺多使用Spark Bul

hive编写udf实践记录

官方教程：https://cwiki.apache.org/confluence/display/Hive/HivePlugins简单使用查看上面官方的文档即可。这里记录一下我使用的实践和一点注意事项。一 编写udf这里的需求是写一个udf，用于将经纬度转换成geohash。参数有 经纬度和geoh

CDH客户端环境搭建

最近遇到一个需求：要使用azkaban对接客户的CDH集群，CDH用的是oozie，azkaban只能部署在我们客户端的机器上，所以需要在客户机上手动搭建CDH的hadoop环境。操作很简单，过程比较麻烦，这里记录一下。一 获取所需CDH rpm包1. 搭建本地CDH package仓库说明：CDH

CDH部署笔记

本文为个人安装CDH时记录，不具普适性，仅供参考。建议对比官方文档阅读。一 依赖检查以centos7为例1. 软件https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_os_requirements.

kafka动态调整副本因子replication.factor及json生成脚本

kafka默认的副本因子default.replication.factor是1，即无额外副本，如果在创建topic时没有指定副本数，则无高可用性。1. 说明kafka默认的副本因子default.replication.factor是1，即无额外副本，如果在创建topic时没有指定副本数，则无高可

HBCK2修复RIT实践笔记

本文记录了作者使用HBCK2工具对线上HBase发生RIT状态的处理，仅供参考，若有疵漏，还望指正。网络上关于HBCK2的文章很少，基本都是复制粘贴自田竞云(小米)的这一篇：HBase指南 | HBase 2.0之修复工具HBCK2运维指南事实上这一篇文章介绍得也已经很详细了。这里只是做一些实践上的