标签归档：运维

用strings命令查看kafka-log内容

发表于由
回复

kafka的log内容格式还不没怎么了解，想快速浏览消息内容的话，除了使用它自带的kafka-console-consumer.sh脚本，还可以直接去看log文件本身，不过内容里有部分二进制字符，通过命令看的话会有乱码。

strings 命令可以过滤掉二进制编码，但默认它也会过滤掉中文字符，只留有英文字符。要用它的-e S参数可以同时过滤出中文或英文字符，但仍会包含了小部分的二进制编码，可以在通过iconv去掉一下，能大致看到消息内容：

$ cat log-strings.sh
#!/bin/bash

PROG_NAME=$0
LOG_FILE=$1

if [ -z "$LOG_FILE" ];then
  echo "Usage: $PROG_NAME logfile"
  exit 1
fi

strings -e S "$LOG_FILE" | iconv -c -f "UTF-8" -t "UTF-8"

查看多个节点上的日志：multitail脚本

发表于由
1

日志分布在多个节点上，想要实时查看多个日志输出的话可以用这个脚本。这个脚本模拟了multitail的效果：

$ cat multitail.sh

#!/bin/bash
set -f

PROG_NAME=$0

usage() {
    echo "Usage: $PROG_NAME ip1,ip2,ip3... file1 file2 file3 ..."
    exit 1
}

if [ $# -lt 2 ]; then
    usage
fi

COMMAND="tail -f"

IP_LIST=$1
shift && FILES=("$@")

for file in ${FILES[*]}; do
    COMMAND="$COMMAND $file"
done

SED="sed"
if [[ $OSTYPE == *darwin* ]]; then
  which gsed 
  if [ $? -eq 0 ];then
    SED="gsed"
  else
    echo "mac os need gsed, please install gnu-sed." 
    exit 1
  fi
fi

for ip in $(echo "$IP_LIST" | tr ',' '\n'); do
  if [ ${#FILES[@]} -gt 1 ];then
    ssh user@$ip "$COMMAND" | $SED 's/\(==> \)/\1'"$ip:"'/' &
  else
    #ssh user@$ip "$COMMAND" | $SED '0~10a===='"$ip"'====' &
    ssh user@$ip "$COMMAND" | $SED 's/^/'"$ip "'/' &
  fi
done

CHILD_PIDS=$(ps -ef | grep $$ | grep -v grep | awk '$3=='"$$"'{print $2}' | xargs)

# CTRL-C to stop
trap 'kill $CHILD_PIDS >/dev/null 2>&1' SIGINT SIGTERM 
wait

使用方式：

$ ./multitail.sh 192.168.10.1,192.168.10.2 /data/app1/a.log /data/app2/b.log

可以配合ack命令对一些关键字高亮：

$ ./multitail.sh ip1,ip2 log1 log2 | ack --passthru login

注意，依赖ssh执行远程命令，所以前提是执行脚本的机器必须与目标ip打通ssh，不需要密码。