标签归档:运维

用strings命令查看kafka-log内容

kafka的log内容格式还不没怎么了解,想快速浏览消息内容的话,除了使用它自带的kafka-console-consumer.sh脚本,还可以直接去看log文件本身,不过内容里有部分二进制字符,通过命令看的话会有乱码。

strings 命令可以过滤掉二进制编码,但默认它也会过滤掉中文字符,只留有英文字符。要用它的-e S参数可以同时过滤出中文或英文字符,但仍会包含了小部分的二进制编码,可以在通过iconv去掉一下,能大致看到消息内容:

$ cat log-strings.sh
#!/bin/bash

PROG_NAME=$0
LOG_FILE=$1

if [ -z "$LOG_FILE" ];then
  echo "Usage: $PROG_NAME logfile"
  exit 1
fi

strings -e S "$LOG_FILE" | iconv -c -f "UTF-8" -t "UTF-8"

查看多个节点上的日志:multitail脚本

日志分布在多个节点上,想要实时查看多个日志输出的话可以用这个脚本。这个脚本模拟了multitail的效果:

$ cat multitail.sh

#!/bin/bash
set -f

PROG_NAME=$0

usage() {
    echo "Usage: $PROG_NAME ip1,ip2,ip3... file1 file2 file3 ..."
    exit 1
}

if [ $# -lt 2 ]; then
    usage
fi

COMMAND="tail -f"

IP_LIST=$1
shift && FILES=("$@")

for file in ${FILES[*]}; do
    COMMAND="$COMMAND $file"
done

SED="sed"
if [[ $OSTYPE == *darwin* ]]; then
  which gsed 
  if [ $? -eq 0 ];then
    SED="gsed"
  else
    echo "mac os need gsed, please install gnu-sed." 
    exit 1
  fi
fi

for ip in $(echo "$IP_LIST" | tr ',' '\n'); do
  if [ ${#FILES[@]} -gt 1 ];then
    ssh user@$ip "$COMMAND" | $SED 's/\(==> \)/\1'"$ip:"'/' &
  else
    #ssh user@$ip "$COMMAND" | $SED '0~10a===='"$ip"'====' &
    ssh user@$ip "$COMMAND" | $SED 's/^/'"$ip "'/' &
  fi
done

CHILD_PIDS=$(ps -ef | grep $$ | grep -v grep | awk '$3=='"$$"'{print $2}' | xargs)

# CTRL-C to stop
trap 'kill $CHILD_PIDS >/dev/null 2>&1' SIGINT SIGTERM 
wait

使用方式:

$ ./multitail.sh 192.168.10.1,192.168.10.2 /data/app1/a.log /data/app2/b.log

可以配合ack命令对一些关键字高亮:

$ ./multitail.sh ip1,ip2 log1 log2 | ack --passthru login

注意,依赖ssh执行远程命令,所以前提是执行脚本的机器必须与目标ip打通ssh,不需要密码。