自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

gmHappy

从不敢夜郎自大,但也不至于妄自菲薄,只是想做一个靠本事吃饭的手艺人

  • 博客(391)
  • 资源 (1)
  • 论坛 (3)
  • 收藏
  • 关注

原创 轻量级车牌检测开源项目(支持车牌四顶点定位、车牌矫正对齐)

Pytorch_Retina_License_Plate利用RetinaFace进行迁移学习实现的车牌检测、车牌四角定位、车牌矫正对齐程序。当Retinaface使用mobilenet0.25作为骨干网时,模型大小仅为1.8M我们还提供resnet50作为骨干网以获得更好的结果。RetinaFace的官方代码可以在这里找到。内容环境说明安装数据训练TODO参考文献环境说...

2020-01-10 14:16:49 2416 4

原创 基于TensorFlow Object Detection API进行迁移学习训练自己的人脸检测模型(二)

前言已完成数据预处理工作,具体参照:基于TensorFlow Object Detection API进行迁移学习训练自己的人脸检测模型(一)设置配置文件新建目录face_faster_rcnn将上文已完成预数据处理的目录data移动至face_faster_rcnn目录下,并在face_faster_rcnn目录下创建face_label.pbtxt文件,内容如下:...

2018-07-12 14:40:03 8238 4

原创 基于TensorFlow Object Detection API进行迁移学习训练自己的人脸检测模型(一)

前言已完成TensorFlow Object Detection API环境搭建,具体搭建过程请参照:安装运行谷歌开源的TensorFlow Object Detection API视频物体识别系统或Ubuntu系统安装配置tensorflow开发环境准备工作下载训练数据和验证数据香港中文大学(Chinese University of Hong Ko...

2018-07-11 15:00:41 6922 6

原创 Ubuntu系统安装配置tensorflow开发环境

Ubuntu系统安装下载ubuntu iso选择目前最新的版本是 Ubuntu 18.04 LTS 。下载地址: 官网:https://www.ubuntu.com/download/desktop 下载 RufusRufus 是Ubuntu官网推荐的USB启动盘制作工具,此工具的特点: * 体积小,只有几百KB (Rufus 3.1版只有945KB) * 功能全 * 免安装,下载后可以直接使用 ...

2018-07-07 09:58:59 5003

原创 基于谷歌开源的TensorFlow Object Detection API视频物体识别系统搭建自己的应用(三)

基于上篇基于谷歌开源的TensorFlow Object Detection API视频物体识别系统搭建自己的应用(一),实现摄像头物体识别下载opencv的cv2包在Python官网即可下载opencv相关库,点击此处直接进入。 pip install opencv-python安装完成后,进入IDLE输入命令import cv2若未报错,则opencv-python库成功导入,环境搭配成功。基...

2018-05-25 15:47:04 3499 1

原创 基于Nginx+nginx-rtmp-module+ffmpeg搭建rtmp、hls流媒体服务器

上篇文章是基于Red5与ffmpeg实现rtmp处理NVR或摄像头的监控视频处理方案,有兴趣的朋友可以查看。Nginx及nginx-rtmp-module安装新建目录mkdir /usr/local/mginx下载cd /usr/local/nginxwget http://nginx.org/download/nginx-1.12.2.tar.gzwget https://codeload....

2018-03-29 10:06:46 10858

原创 基于Red5与ffmpeg实现rtmp处理NVR或摄像头的监控视频处理方案

各大监控视频平台厂商与外对接均是基于IE的OCX插件方式提供实时视频查看、历史视频回放与历史视频下载。在H5已大行其道的当下,基于IE的OCX插件方式已满足不了广大客户的实际需求,因此需要一个兼容各大主流浏览器与手机浏览的监控视频处理方案。Red5是基于Flash的流媒体服务的一款基于Java的开源流媒体服务器。FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。...

2018-03-28 14:40:18 11054 2

原创 Docker Swarm 部署minio集群

一、环境说明节点名称节点IP节点描述node01.bigdata192.168.3.125主节点node02.bigdata92.168.3.127工作节点node03.bigdata192.168.3.129工作节点二、MinIO简介官网链接:https://docs.minio.io/cn/minio-quickstart-guide.htmlMinIO 是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存

2021-07-23 15:16:11 2

原创 Java 访问Kerberos认证的HDFS

一、前言HDFS已完成Kerberos认证,可参照:https://gaoming.blog.csdn.net/article/details/118958406二、功能实现2.1 Maven依赖<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding>UTF-8</proj

2021-07-23 09:24:29 7

原创 Hadoop开启Kerberos安全模式

一、前言完成Hadoop集群搭建,可参照:https://gaoming.blog.csdn.net/article/details/118995746完成Kerberos KDC的搭建,可参照:https://gaoming.blog.csdn.net/article/details/118939810二、kerberos配置2.1 新增用户在kerberos服务器执行以下命令新增用户,对应HDFS集群的3台服务器的默认用户hdfs和http,还有yarnkadmin.local -q "a

2021-07-22 19:08:58 25 1

原创 Hadoop 2.7.7 集群安装教程(多用户版)

一、环境说明系统信息角色hostnameIP地址CentOS Linux release 7.9.2009 (Core)Msternode01.bigdata.hadoop192.168.3.14CentOS Linux release 7.9.2009 (Core)Slavenode02.bigdata.hadoop192.168.3.79CentOS Linux release 7.9.2009 (Core)Slavenode03.bigdata.h

2021-07-22 15:20:08 4

原创 CentOS 安装 Kerberos及简单应用

一、环境说明主机名IP地址角色node01.bigdata.hadoop192.168.3.14kerberos KDCnode02.bigdata.hadoop192.168.3.79kerberos clientnode03.bigdata.hadoop192.168.3.88kerberos client二、KDC安装及配置2.1 KDC安装yum install krb5-server krb5-libs krb5-auth-dialog

2021-07-21 08:36:41 16 1

原创 Hadoop 2.7.7 集群安装教程(详细完整版)

一、环境说明系统信息角色hostnameIP地址CentOS Linux release 7.9.2009 (Core)Msternode01.bigdata.hadoop192.168.3.14CentOS Linux release 7.9.2009 (Core)Slavenode02.bigdata.hadoop192.168.3.79CentOS Linux release 7.9.2009 (Core)Slavenode03.bigdata.h

2021-07-20 11:11:42 29

原创 idea 或 eclipse 作为driver向Standalone 集群提交任务出现异常处理

问题描述idea 或 eclipse 作为driver向Standalone 集群提交任务出现异常处理:Caused by: java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.ListSerializationProxytofieldorg.apache.spark.rdd.RDD.orgSerializationProxy to field org.apache.spark.rdd.R

2021-07-19 10:22:35 8

原创 Python 解决 org.apache.spark.storage.BlockManagerId; local class incompatible 异常

异常描述利用 pyspark 在 Standalone 模式下出现以下错误:Caused by: java.lang.RuntimeException: java.io.InvalidClassException: org.apache.spark.storage.BlockManagerId; local class incompatible: stream classdesc serialVersionUID = -3720498261147521051, local class serialVer

2021-07-05 16:53:32 12

原创 解决 sentinel 实时监控无数据问题

问题描述:通过Docker部署sentinel,启动项目后访问接口,sentinel实时监控中一直显示为空白状态问题原因:一般是sentinel服务器和项目服务器时间不一致造成的解决方案:把sentinel服务器和项目服务器时间改为一致,重新启动项目访问接口即可正常version: "3"services: sentinel: image: bladex/sentinel-dashboard:latest container_name: sentinel volum

2021-06-24 10:36:20 305

原创 docker swarm 集群安装及日常使用

一、Docker Swarm 架构在架构图可以看出Docker Client使用Swarm对集群(Cluster)进行调度使用。Swarm是典型的master-slave结构,通过发现服务来选举manager。manager是中心管理节点,各个node上运行agent接受manager的统一管理,集群会自动通过Raft协议分布式选举出manager节点。无需额外的发现服务支持,避免了单点的瓶颈问题,同时也内置了DNS的负载均衡和对外部负载均衡机制的集成支持。二、Swarm的几个关键概念1.Sw

2021-05-18 14:43:17 54

原创 利用NFS Gateway将HDFS挂载至本地目录

一、需求描述装上了hadoop,hdfs提供了很大的空间,然后有个问题,我外部很多linux服务器中很多文件如何上传到hdfs?先sftp到一个hdfs客户端,然后再hadoop fs -put 上去?二、解决方案CDH中有2个组件可以帮忙:NFS Gateway和HttpFS本文此次介绍NFS Gateway的安装与使用三、具体实现3.1 离线下载nfs安装包yum -y install nfs-utils --downloadonly --downloaddir /root/nfs

2021-05-14 16:03:04 58

原创 DataX及DataX-Web容器化镜像构建、部署、集群部署方案

需求分析利用Docker对DataX和Datax-Web进行容器化部署,搭建数据同步平台。DataX简介DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。官网地址:https://github.com/alibaba/DataX支持的数据源:类型数

2021-05-13 14:32:29 129

原创 解决SpringBoot和SpringCloud版本不兼容启动异常问题

问题描述springboot 引入springcloud 后启动报错:org.springframework.boot.context.properties.ConfigurationPropertiesBean解决方法步骤1在线访问:https://start.spring.io/actuator/info ,如下图所示:步骤二对以上返回内容进行JSON格式化,可选择地址:https://www.bejson.com/json/format/{ "git": { "branch":

2021-05-13 11:15:31 33

原创 解决在Docker alpine镜像中安装服务启动时的相关问题

问题描述在Docker的alpine镜像中安装Redis或Nginx服务时出现:* WARNING: nginx is already starting或* WARNING: redis is already starting或touch: /run/openrc/softlevel: No such file or directory问题解决方案sudo apk add --no-cache openrcsudo openrcsudo touch /run/openrc/softlevelsu

2021-04-29 19:38:54 120

原创 解决CDH 安装Kafka服务中的各种问题

通过CDH安装Kafka服务常见问题一、内存溢出问题在Kafka配置页面搜索Java调整对应的Java堆大小,如下图操作:二、启动Kafka MirrorMaker服务失败提示whitelist must be specified在Kafka配置页面搜索Whitelist,添加对应的主机信息三、启动Kafka Broker服务失败,提示配置broker.id 问题点击失败角色类型->选择日志文件中的角色日志文件,查看具体错误日志具体错误如下:晚上7点01:52.2

2021-04-28 08:51:37 84

原创 K8S 安装Nginx部署前端项目(PV、PVC、Deployment、Service、IngressRoute)

需求描述在K8S上通过Nginx部署前端项目,前端项目及Nginx配置文件部署NFS上实现多Pod共享,再通过IngressRoute进行服务发布。目录结构描述/root/nfs_root/nginx-deployment├── config│ ├── default.conf│ ├── html│ ├── assets│ ├── css│ ├── fonts│ ├── img│ ├── js│ ├── favicon│ ├── index.ht

2021-04-27 17:12:48 168 2

原创 解决CDH HiveServer2 因OutOfMemory errors原因造成异常退出问题

问题描述在诊断->事件中出现如下图异常:异常描述:The health test result for HIVESERVER2_UNEXPECTED_EXITS has become bad: This role encountered 1 unexpected exit(s) in the previous 5 minute(s).This included 1 exit(s) due to OutOfMemory errors. Critical threshold: any.解决方

2021-04-27 10:04:09 157

原创 解决CDH中NFS Gateway实例启动失败问题

问题描述Centos7 通过CDH启动HDFS中的NFS Gateway服务,出现以下异常:+ HADOOP_IDENT_STRING=hdfs+ '[' -n '' ']'+ '[' mkdir '!=' nfs3 ']'+ acquire_kerberos_tgt hdfs.keytab+ '[' -z hdfs.keytab ']'+ KERBEROS_PRINCIPAL=+ '[' '!' -z '' ']'+ '[' -n '' ']'+ '[' validate-writab

2021-04-26 16:24:40 81

原创 Traefik 日常使用(一)

一、Traefik 简介Traefik是开源的Edge路由器,使发布服务变得有趣而轻松。它代表您的系统接收请求,并找出负责处理这些请求的组件。Traefik的与众不同之处还在于,它可以自动发现适合您服务的配置。使用Traefik,无需维护和同步单独的配置文件:一切都会自动,实时地进行(无需重新启动,不会中断连接)。使用Traefik,您可以花时间在系统上开发和部署新功能,而不是在配置和维护其工作状态上。官网地址:https://doc.traefik.io/traefik/二、Traefik

2021-04-23 17:12:50 68

原创 Kubernetes 集成Traefik(一)—— 转发鉴权

一、需求描述通过Kubernetes集成Traefik,实现请求接收、服务发现、路由转发及服务转发验证。本文Kubernetes采用K3S进行安装配置,具体细节请参照以下链接:K3S使用(一)—— 集群安装 Kuboard统一管理 NFS持久卷声明等使用示例K3S使用(二)—— 将自带traefik版本升级为2.4二、功能实现2.1 转发鉴权example-whoami-authentication-middleware.yaml## Middleware1apiVersion: trae

2021-03-30 16:29:04 112

原创 Docker-compose 集成Traefik

一、需求描述通过docker-compose集成traefik,实现请求接收、服务发现、路由转发及服务转发验证。二、功能实现2.1 目录结构.├── config│ ├── example-whoami-authentication-middleware.toml│ ├── dashboard.toml├── docker-compose.yml├── traefik.toml2.2 搭建traefik服务创建docker-compose.yml,在其中定义使用traefik

2021-03-30 13:51:59 123

原创 解决 CDH6.3.1 安装HDFS时出现{{CMF_CONF_DIR}}/redaction-rules.json (No such file or directory)错误

问题描述CDH6.3.1安装HDFS DATANODE节点时,出现以下异常:Caused by: java.lang.IllegalArgumentException: Problem with rules file {{CMF_CONF_DIR}}/redaction-rules.json at org.cloudera.log4j.redactor.RedactorPolicy.activateOptions(RedactorPolic`enter code here`y.java:55)

2021-03-26 15:57:51 255

原创 containerd 配置镜像仓库完全攻略

一、前言Kubernetes 在 Changelog 中宣布自 Kubernetes 1.20 之后将弃用 Docker 作为容器运行时之后,containerd 成为下一个容器运行时的热门选项。虽然 containerd 很早就已经是 Docker 的一部分,但是纯粹使用 containerd 还是给大家带来了诸多困扰,本文将介绍如何使用 containerd 配置镜像仓库和加速器。本文将以 K3s 为例对 containerd 进行配置,如果您的环境未使用 K3s 而是使用的 Kubernetes,

2021-03-20 12:41:27 425 2

原创 K3S使用(二)—— 将自带traefik版本升级为2.4

一、卸载K3S自带traefik原K3S 安装自带的traefik:版本为:rancher/library-traefik:1.7.19二、安装helmhelm官方文档,https://helm.sh/docs/intro/install/2.1 下载所需版本下载路径:https://github.com/helm/helm/releases2.2 上传至服务器并解压tar -zxvf helm-v3.5.3-linux-amd64.tar.gz2.3 移到到可执行目录helm在解压

2021-03-18 17:23:53 468

原创 离线安装docker-compose

因为公司内外网隔绝,离线安装:访问 compose Git地址下载导入服务器 mv docker-compose-Linux-x86_64 /usr/local/bin/docker-compose添加权限 chmod +x /usr/local/bin/docker-compose测试一下docker-compose -vdocker-compose version 1.27.2, build 18f557f9...

2021-03-16 18:35:15 88

原创 Java List集合交集、差集、并集计算

需求描述两个集合之间进行交集、差集、并集计算。在日常工作中前端可能传过来一个数据集合,需要和数据库中查出的集合进行比较,判断前端的集合中那些数据是需要在数据库新增、那些数据是需要从数据库中删除、那些数据需要在数据库中变更(此示例的变更依据是name)具体实现package cn.net.hylink;import java.util.ArrayList;import java.util.List;import java.util.Map;import java.util.stream.

2021-03-16 11:54:20 168

原创 K3S使用(一)—— 集群安装 Kuboard统一管理 NFS持久卷声明等使用示例

一、需求介绍安装K3S集群,并通过Kuboard对集群进行统一管理,对常用的操作进行示例展示。二、安装 Docker2.1 系统要求Docker 支持 64 位版本 CentOS 7/8,并且要求内核版本不低于 3.10。 CentOS 7 满足最低内核的要求,但由于内核版本比较低,部分功能(如 overlay2 存储层驱动)无法使用,并且部分功能可能不太稳定。2.2 卸载旧版本旧版本的 Docker 称为 docker 或者 docker-engine,使用以下命令卸载旧版本:sudo yu

2021-02-26 10:12:02 431

原创 利用Harbor搭建Docker私有仓库

一、Harbor简介虽然Docker官方提供了公共的镜像仓库,但是从安全和效率等方面考虑,部署我们私有环境内的Registry也是非常必要的。Harbor是由VMware公司开源的企业级的Docker Registry管理项目,相比Docker官方拥有更丰富的权限权利和完善的架构设计,适用大规模docker集群部署提供仓库服务。它主要提供 Dcoker Registry 管理界面UI,可基于角色访问控制,镜像复制, AD/LDAP 集成,日志审核等功能,完全的支持中文。二、Harbor 的主要功能

2021-02-19 17:44:43 111 1

原创 Maxwell‘s Daemon 采集Mysql数据变更到Kafka构建数据库审计

一、前言审计日志系统有很多应用场景,而不仅仅是存储用于审计目的的数据。除了合规性和安全性的目的之外,它还能够被市场营销团队使用,以便于锁定目标用户,也可以用来生成重要的告警。数据库内置的审计日志功能可能并不够用,要处理所有的用户场景,它肯定不是理想的方式。目前,有很多的开源工具,如Maxwell’s Daemons、Debezium,它们能够以最少的基础设施和时间需求支持这些需求。Maxwell’s daemons 能够读取binlog并发送事件到各种生产者,比如Kafka、Amaz

2021-02-06 10:31:15 117

原创 Debezium 采集Postgrsql数据变更到Kafka构建数据库审计

一、目的利用Debezium实时采集Postgrsql的数据变更,到Kafka用于后续操作日志审计。官网参考地址:https://debezium.io/docs/connectors/postgresql/二、基于Docker组件安装2.1 zookeeper安装docker run -itd --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:latest2.2 kafka安装docker

2021-02-06 08:58:03 139

原创 Hive 存储parquet格式

创建存储格式为parquet的hive表CREATE TABLE parquet_table(age INT, name STRING)STORED AS PARQUET;指定parquet写文件的压缩编码方式支持类型:"uncompressed", "snappy", "gzip", "lzo"Snappy压缩具有更好的性能,Gzip压缩具有更好的压缩比。hive中支持对parquet的配置,主要有:parquet.compressionparquet.block.sizeparque

2021-02-02 17:04:17 739

原创 Postgres Docker版本安装mysql_fdw 插件

很多数据库都支持通过某个插件将另外一个数据库的表格映射进来,以形成单一数据库视图。PostgreSQL 作为“最高级”的开源关系数据库,毫不意外也具备这个能力。本文只介绍下 mysql_fdw 插件,这个插件由 PostgreSQL 社区著名的商业支持提供商 EnterpriseDB 开发并开源出来。mysql_fdw 官网地址:https://pgxn.org/dist/mysql_fdw/mysql_fdw 源码的 README.md 讲述了安装过程和使用步骤,并不复杂。如果使用 Docker

2021-02-01 13:59:44 137

原创 MybatisPlus 解决 org.apache.ibatis.reflection.ReflectionException: Could not set property ‘id‘ of 问题

异常介绍利用MybatisPlus进行数据插入时出现以下异常:org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.reflection.ReflectionException: Could not set property 'id' of 'class cn.net.hylink.datamanager.entity.DemoDTO' with value '13546728804522721

2021-01-28 14:29:13 780

sqoop_3_1_4_0_315-1.4.7.3.1.4.0-315.noarch.rpm

HDP3.1.4版本对应的sqoop安装包,HDP3.1.4版本对应的sqoop安装包HDP3.1.4版本对应的sqoop安装包HDP3.1.4版本对应的sqoop安装包HDP3.1.4版本对应的sqoop安装包HDP3.1.4版本对应的sqoop安装包HDP3.1.4版本对应的sqoop安装包HDP3.1.4版本对应的sqoop安装包

2020-09-29

gmHappy的留言板

发表于 2020-01-02 最后回复 2020-06-30

抢注域名过审问题

发表于 2019-02-26 最后回复 2019-02-26

上周三申请专栏至今没有反馈望解决

发表于 2018-07-23 最后回复 2018-07-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除