项目背景
1 因为项目需要,需要对客户端的一个控件做访问日志记录。用以统计页面过去七天的平均数量。项目中一直使用Log4j1,这次升级使用Log4j2。准备将用户的登录id和设备id单独记录在一个日志文件中,每天生成一份文件,保留七天。
2 项目中使用Jetty作为web容器,Jetty将统一打印日志。但是这次的特殊统计,需要单独设置一个logger对象。输出到单独的日志文件。
第一部分: 原有的日志流程总结
1. log4j的配置方法
线上的日志应该是jetty打印的,log4j采用了SYSTEM_OUT的输出,没有指定。但是配置了具体的日志的格式和方法:
<Appenders>
<Console name="Console" target="SYSTEM_OUT">
<PatternLayout pattern="[%date{yyyy-MM-dd HH:mm:ss.SSS}][%thread][%level][%class][%line]:%message%n"/>
</Console>
</Appenders>
Console 的target是SYSTEM_OUT是输出到统一的输出流,没有指定日志文件
2. jetty的日志配置方法
jetty的启动配置文件xml在 jetty.xml
<New id="ServerLog" class="java.io.PrintStream">
<New class="org.eclipse.jetty.util.RolloverFileOutputStream">
<SystemProperty name="jetty.logs" default="./logs" />/<SystemProperty name="jetty.appkey" default="jetty" />.log.yyyy_mm_dd
<Arg type="boolean">true</Arg>
<Arg type="int">10</Arg>
<Call class="java.util.TimeZone" name="getTimeZone">
<Arg>GMT+8</Arg>
</Call>
<Arg type="string">yyyy-MM-dd</Arg>
<Arg type="string"></Arg>
<Get id="ServerLogName" name="datedFilename" />
<Call class="org.eclipse.jetty.util.log.Log" name="info">
<Arg>Redirecting stderr/stdout to <Ref id="ServerLogName"/></Arg>
</Call>
<Call class="java.lang.System" name="setErr">
<Ref id="ServerLog"/>
</Call>
<Call class="java.lang.System" name="setOut">
<Ref id="ServerLog"/>
</Call>
同时具体的参数配置在 boot.init
和 mms启动文件之中: 文件配置之中:
JVM_ARGS="-server -Dfile.encoding=UTF-8 -Dapp.key=apollo-item -Dsun.jnu.encoding=UTF-8 -Djava.io.tmpdir=/tmp -Djava.net.preferIPv6Addresses=false -Duser.timezone=GMT+08 -Djava.util.prefs.systemRoot=/home/sankuai/.java -XX:-LoopUnswitching -XX:-OmitStackTraceInFastThrow"
在mms的启动文件之中的代码。说明(mms文件时 线上的jetty启动配置文件)
EXEC_JAVA=$EXEC_JAVA" -Djetty.appkey=$MODULE -Djetty.context=$CONTEXT -Djetty.logs=$LOG_ROOT"
LOG_ROOT=/opt/logs/mobile
日志打印流程说明
配置文件log4j.xml 中的<Console name="Console" target="SYSTEM_OUT">
表示 log4j2将日志配置到System.out输入到控制到输出流。
Jetty中对于所有的控制台输出流统一进行处理,有一个ServerLog
的配置部分代表将所有的
控制台输出流统一输出到文件之中,使用到了org.eclipse.jetty.util.RolloverFileOutputStream
类,这个类的定义式:
RolloverFileOutputStream This output stream puts content in a file that is rolled over every 24 hours.
代表将输出流放到一个每24小时产生一个新的文件的日志之中。
然后具体的文件输出地址与日志打印的格式都在<Arg>
标签中进行了详细的配置。相应的参数从jetty的启动命令中获取。语句<SystemProperty name="jetty.logs" default="./logs" />/<SystemProperty name="jetty.appkey" default="jetty" />.log.yyyy_mm_dd
代表了日志的输出文件地址。
第二部分 - 新的日志配置
1 项目背景:
原有的项目中所有的日志都是统一到一个日志文件中,但是产品临时需要对一个功能进行统计分析,需要进行单独的日志处理。这时就需要设计一个新的日志对象并增加一个新的日志输出流,从其他的统一日志中进行区分,以用于单独的统计与分析功能。具体的配置过程如下ji:
2 具体配置
配置appender(日志输出源)
#配置一个新的appender(输出流 - 直接打到文件输出流)
<RollingFile name="Daijia" fileName="/opt/logs/mobile/apolloitem/daijia"
filePattern="'.'yyyy-MM" Append="true" >
<PatternLayout pattern="%-5p:%d:%c{1} [%x] - %m%n"/>
<Policies>
<SizeBasedTriggeringPolicy size="16 MB"/>
</Policies>
<DefaultRolloverStrategy fileIndex="min" max="16"/>
</RollingFile>
RollingFile代表新增加一个appender(输出源),日志名称是Daijia, fileName代表的则是 日志文件的输出地点,这里采用了绝对路径,也可以采用相对路径。
配置一个日志对象
<logger name="com.meituan.apollo.item.filter.util.VListResultModelFilterUtil" level="info" additivity="false">
<appender-ref ref="Daijia" />
</logger>
在Root里面配置新的AppendRef
配置根日志
<Root level="INFO">
<AppenderRef ref="Console"/>
#if($environment == 'online')
<AppenderRef ref="Sentry"/>
# <AppenderRef ref="Daijia"/>
</Root>
Root里面都代表日志的根日志,所有其他的日志都集成来自Root,如果把一个Appender放到<Root>的根日志配置下面,则所有的log对象都会输出到这些源头。我们想单独记录记录E代驾的日志,所以就不把代驾的输出源放到根日志下面了.
3 配置log4j中应该注意的地方(或者说遇到的坑)
1 log4j迁移的问题
2015-11-02 17:38:02,742 ERROR Appenders contains an invalid element or attribute "appender"
2015-11-02 17:38:02,746 ERROR Unable to locate appender Daijia for logger
2015-11-02 17:38:02,746 ERROR Unable to locate appender Daijia for logger com.meituan.apollo.item.controller.IndexControlle
2)原因与解决办法
说appender
这个标签在log4j.xml中是违法的,第一次出现这个问题的时候很纳闷,因为这是从网上复制拷贝的配置语法。但是仔细深入发现之后,问题在于<appender>标签是属于log4j 1的版本,升级到log4j2之后,不再支持原有<appender>
标签。
log4j1的console输出源
<appender name="STDOUT" class="org.apache.log4j.ConsoleAppender">
<layout class="org.apache.log4j.PatternLayout">
<param name="ConversionPattern" value="%d %-5p [%t] %C{2} (%F:%L) - %m%n"/>
</layout>
</appender>
迁移到log4j2之后的语法配置就应该是;
<Console name="STDOUT" target="SYSTEM_OUT">
<PatternLayout pattern="%d %-5p [%t] %C{2} (%F:%L) - %m%n"/>
</Console>
同样对于所有的输出流式日志文件的<appender>
标签同样是这样的配置语法。具体的log4j2迁移参考官网:Migrating from Log4j 1.x
2 RollingFile必须加上参数大小的配置
2015-11-02 18:28:06,742 ERROR A TriggeringPolicy must be provided
2015-11-02 18:28:06,743 ERROR Null object returned for RollingFile in Appenders.
2015-11-02 18:28:06,747 ERROR Unable to locate appender Daijia for logger com.meituan.apollo.item.filter.util.VListResultModelFilterUtil
2015-11-02 18:28:06,748 ERROR Unable to locate appender Daijia for logger
2)原因与解决办法
出现这个问题是因为采用了<RollingFile>
是因为,RollingFile的输出流代表指定输入到指定参数的文件之中,然后根据的指定的策略重新覆盖日志文件。所以<RollingFile>
必须配置 TriggeringPolicy(触发策略) 和 RolloverStrategy(覆盖策略)这两个参数,否则出错。这里采取的策略是根据日志大小进行重新覆盖SizeBasedTriggeringPolicy
.并采用了默认的覆盖行为DefaultRolloverStrategy
进行重新覆盖。
详细的<RollingFile>
的输出流配置可以参考:log4j2中Appender的配置