美文网首页Hadoop
KAFKA小白入门-配置优化

KAFKA小白入门-配置优化

作者: GeekerLou | 来源:发表于2019-08-08 15:51 被阅读38次

前言

本人使用的KAFKA的安装版本为kafka_2.11-1.1.0,其他版本的配置不保证完全一致,谨防入坑,但是操作思路是可以借鉴和参考的。

日志优化

清理消息日志文件

KAFKA的消息清理支持两种配置,一种是根据时间,一种是根据消息的大小。下面举一个例子:

# 启用删除策略,直接删除,删除后的消息不可恢复
log.cleanup.policy=delete
# 可配置以下两个策略
# 可选策略1:清理超过指定时间清理
log.retention.hours=16
# 可选策略2:超过指定大小后,删除旧的消息
log.retention.bytes=1073741824

打开kafka_2.11-1.1.0/config/server.properties,可以看到默认设置是启用过期消息删除功能,保留策略采取的是保留近三天的消息日志内容,可以根据自己的业务特点进行调整。

############################# Log Retention Policy #############################

# The following configurations control the disposal of log segments. The policy can
# be set to delete segments after a period of time, or after a given size has accumulated.
# A segment will be deleted whenever *either* of these criteria are met. Deletion always happens
 # from the end of the log.

 # The minimum age of a log file to be eligible for deletion due to age
log.retention.hours=72
log.cleanup.policy=delete

# A size-based retention policy for logs. Segments are pruned from the log unless the remaining
# segments drop below log.retention.bytes. Functions independently of log.retention.hours.
#log.retention.bytes=1073741824

清理中间件运行时日志文件

需求描述:清理KAFKA/ZK运行时产生的日志文件:

方式一:定时任务清理:

每天凌晨一点执行清理任务,删除15天之前的所有类别日志文件(包括KAFKA、ZK、GC等):

0 0 1 * *  find /home/{user}/kafka_2.11-1.1.0/logs/ -mtime +15 -delete > /dev/null 2>&1

方式二:修改log4j.properties文件

(TODO)

相关文章

  • KAFKA小白入门-配置优化

    前言 本人使用的KAFKA的安装版本为kafka_2.11-1.1.0,其他版本的配置不保证完全一致,谨防入坑,但...

  • Kafka 最佳实践

    Kafka 基本配置及性能优化 这里主要是 Kafka 集群基本配置的相关内容。 硬件要求 Kafka 集群基本硬...

  • A(19)Kafka参数优化

    19 Kafka参数优化 1)Broker参数配置(server.properties)1、网络和io操作线程配置...

  • kafka手记

    参考 Kafka文件存储机制那些事 kafka入门:简介、使用场景、设计原理、主要配置及集群搭建(转)zookee...

  • Kafka相关文章索引(2)

    基本常识 kafka主要配置 Kafka配置说明 Kafka学习整理四(Producer配置) Kafka学习整理...

  • CDH 组件配置

    kafka外网访问配置 进入kafka 点击配置 搜索kafka.properties 的 Kafka Broke...

  • Kafka视频集

    kafka企业级入门实战完整版 Kafka系列教程 Kafka入门 分布式消息通信Kafka原理剖析 阿里架构师直...

  • kafka配置KAFKA_LISTENERS和KAFKA_ADV

    kafka配置KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS 介绍kafka...

  • 再看kafka——spring boot集成kafka

    之前自己写过一篇入门文章kafka简单入门及与spring boot整合,主要是结合kafka官方的文档入门,学习...

  • Kafka学习

    MQ入门总结(六)Kafka的原理和使用 Kafka的架构原理,你真的理解吗? 真的,Kafka 入门一篇文章就够...

网友评论

    本文标题:KAFKA小白入门-配置优化

    本文链接:https://www.haomeiwen.com/subject/ocvcrctx.html