多行完整正则模式

LogCollector 采集配置支持多行完整正则模式采集日志。在多行完整正则模式下，LogCollector 通过指定的行首正则匹配日志开头，通过提取正则表达式去解析日志字段，并将其提取为多个键值对。多行完整正则模式适用于多行、且需要进行结构化处理的日志。

背景信息

LogCollector 通过完整正则模式采集日志时，以 \n 换行符作为日志结束的标识符，以指定的正则表达式提取日志字段，并使用自定义的 Key 作为字段名，对日志数据进行个性化的结构化处理。

日志服务对 LogCollector 采集到的原始日志数据进行以下处理。

• 根据指定的正则表达式提取日志字段，提取到的数据为字段值（Value），其字段名（Key）可自定义。

• 日志时间可使用采集日志时 LogCollector 所在服务器的系统时间，或通过 使用采集时间 指定为日志时间字段中的时间。

• 日志中增加以下元数据字段，并默认为其创建索引。

  预留字段	说明
  __path__	日志的源文件目录与文件名。
  __source__	日志源服务器的 IP 地址。

前提条件

• 已创建日志项目和日志主题。详细操作步骤请参考 创建日志项目 和 创建日志主题 。
• 已创建机器组，并确认机器组的服务器心跳状态正常。详细操作步骤请参考 创建机器组（IP地址） 或 创建机器组（机器标识） 。
• 已在数据源服务器上安装了最新版本的 LogCollector。详细安装步骤请参考 安装 LogCollector 。

操作步骤

步骤一 填写初始配置

1. 登录 日志服务控制台 。
2. 在顶部导航栏中选择日志服务所在的地域。
3. 在左侧导航栏中单击 日志项目管理 ，并单击指定的日志项目名称。
4. 在左侧导航栏中单击 日志接入 > 采集配置 。
5. 单击 创建采集配置 。
6. 填写初始配置。

   1. 选择日志主题。
      选择日志主题，采集到的日志数据会存储在指定主题中，以日志主题为维度进行查询和分析。 如果没有合适的日志主题，可以根据页面提示创建新的日志主题。

   2. 配置机器组。
      在 全部机器组 区域中选择需要采集日志的机器组，并在 已选机器组 区域中确认选择的机器组是否正确。

   3. 单击 下一步 。

步骤二 配置采集规则

1. 填写 规则名称 。

   规则名称 即 LogCollector 采集配置的名称。需要满足以下要求：

   • 只支持小写英文字母、数字和连字符（-）。
   • 必须以小写英文字母或数字开头或结尾。
   • 长度为 3～63 个字符。

   您也可以单击 导入其他采集配置 ，选择当前账号下指定日志项目中的指定采集配置，将已创建的其他采集配置导入到当前新配置中。新配置的采集规则默认和指定配置相同，您只需要指定采集规则名称即可。

2. 选择是否启用 容器日志采集 。
   采集宿主机日志及 Sidecar 方式采集容器日志时，此配置应维持默认的关闭状态。

3. 填写 采集路径 。

   采集路径 即日志所在的目录和文件名，LogCollector 会按照采集路径中的目录部分匹配符合规则的目录，监听这些目录下符合规则的日志文件。最多设置 10 个不同的采集路径。

   采集路径可以指定完整的目录和文件名，也可以通过通配符模糊匹配。

   说明

   • 默认情况下，一个日志文件只能被采集到一个日志主题中，且只能匹配一个采集配置，如果多个采集配置重复采集同一个文件，则以最新的采集配置规则为准。如果一个文件需要被采集多份，建议为源文件创建多个软链接，不同的日志主题采集不同的软链接。
   • 日志采集路径中指定通配符 ** 时，表示多层目录匹配，仅在此时，日志服务才会监听指定目录下深至8级的子目录。
   • 日志服务目前支持的通配符包括星号（*）、双星号（**）和半角问号（?）。双星号（**）最多只能配置一个。

   常见的采集路径的配置方式及示例如下。

   配置方式	日志路径示例	说明
   完整名称	/var/log/access.log	指定完整的目录和文件名，不包含通配符，表示监听指定目录下的指定文件，不监听其子目录。 例如，左侧示例表示监听 /var/log 目录下名为 access.log 的日志文件。
   文件名模糊匹配	/var/log/*.log	不指定文件名，表示监听所有日志文件；指定部分文件名规则，表示监听符合规则的部分文件。 例如，左侧示例表示监听 /var/log 目录下，文件格式为 .log 的日志文件。
   路径模糊匹配	/var/log/**/access.log /var/log/*/access.log	通过 * 模糊匹配路径时，仅监听一级目录中的日志文件；通过 ** 模糊匹配路径时，表示监听一级及其子目录下的日志文件，目录深度最大为 8。 例如， /var/log/**/access.log 表示监听 /var/log 目录及其子目录下名为 access.log 的日志文件，目录深度最大为 8。

4. 设置 采集路径黑名单 。
   

   配置采集路径黑名单之后，日志服务通过 LogCollector 采集日志时，会忽略指定的目录和文件。选择 启用 后，请根据页面提示设置黑名单目录和文件。

   说明

   • 每个采集配置中最多设置 10 条采集路径黑名单。
   • 如果您在配置日志路径时使用了通配符，但又需要过滤掉其中部分目录或文件时，需要在黑名单中填写对应的完整路径或文件名来保证过滤生效。例如采集路径为 /var/log/project/*.log ，需要过滤其中 /var/log/project 目录下的所有子目录，则 采集路径黑名单 应设置为 目录路径 ，配置路径为 /var/log/project/** 。

   采集路径黑名单中的路径类型支持设置为 目录路径 和 文件路径 。

   配置	说明
   目录路径	采集时忽略指定的目录。目录路径支持完整匹配和通配符模式匹配。 完整匹配：指定完整的目录名称，例如 /var/log/mydata/new 。 通配符匹配：目录中包含通配符，支持的通配符包括星号（*）和半角问号（?）。例如 /var/log/mydata/n* 表示不采集目录 /var/log/mydata/ 下以 n 开头的目录。
   文件路径	采集时忽略指定的文件，需配置文件路径及文件名。文件路径支持完整匹配和通配符模式匹配。 完整匹配：指定完整的路径及文件名称，例如 /var/log/mydata/access.log 。 通配符匹配：路径及文件名中包含通配符，支持的通配符包括星号（*）半角问号（?）和双星号（**）。通配符中，双星号（**）最多只能配置一个。例如 /data/nginx/log/*/*/access.log 表示不采集目录 /data/nginx/log 及其一级和二级目录中名为 access.log 的日志文件。

   

5. 设置 采集策略 。
   

   采集策略表示 LogCollector 采集增量日志还是全量日志。默认为增量日志。

   配置	说明
   全量	LogCollector 从每个文档的起始位置开始采集日志，此时 LogCollector 会采集历史日志数据。
   增量	LogCollector 采集日志时，只采集文件内新增的内容。监控范围内的日志文件写入新的日志时，触发 LogCollector 日志采集行为。对于首次采集的日志文件： 如果新文件不超过 1024 KiB，从新文件的起始位置开始首次采集。 如果新文件大于 1024 KiB，从新文件的末尾位置开始首次采集，即仅采集增量日志。

   

6. 指定 采集模式 。
   

   配置	说明
   采集模式	LogCollector 解析日志文件的模式，请配置为 多行完整正则 模式。
   日志样例	填写真实的日志样例作为字段解析和提取的模板。 建议使用生产环境的真实样例。 为提高匹配度，建议填写 2 行以上日志样例。
   行首正则表达式	行首正则表达式是用于识别日志开头的正则表达式，匹配到的部分将作为日志开头。支持自动生成或手动输入行首正则表达式。
   	自动生成	日志服务根据已填写的日志样例自动生成行首正则表达式。页面提示的 匹配行首数 和日志样例中的日志数量相同，表示自动生成成功。 说明 自动生成 功能仅适用于英文字符的正则表达式提取，暂不支持中文字符。
   	手动输入	手动输入行首正则表达式，并单击 立即验证 。日志服务会根据此正则表达式去匹配日志内容，并将匹配到的部分作为日志的开始。页面提示的 匹配行首数 和日志样例中的日志数量相同，表示验证通过。
   提取正则表达式	提取正则表达式即日志样例对应的正则表达式，日志服务会用其解析并提取日志字段。您可以选择不同的提取模式，手动或自动生成正则表达式，并在 提取结果 区域确认正则表达式对于日志样例的提取结果。
   	自动生成	开启 自动生成 功能后，页面会根据鼠标划词自动提取正则表达式。 在 日志样例 区域，通过鼠标自左至右划词选中需要提取的日志内容。 在弹出的文本框中确认 所选值 ，并单击 生成正则 。 依次划词提取所有需要采集的键值对之后，在 提取结果 区域设置各个字段的Key值。 说明 对于无需采集的字段，建议在划词时忽略。 提取结果 中的 Key 不可为空，且不可重复。 自动生成 功能仅适用于英文字符的正则表达式提取，暂不支持中文字符。
   	手动输入	关闭 自动生成 功能即手动设置正则表达式。设置后单击 立即验证 ，日志服务会根据已输入的正则表达式匹配 日志样例 中的内容，提取键值对。 页面提示 验证成功 之后，您可以在 提取结果 区域设置各个字段的Key值。 说明 请用 () 标识每个 kv 对应的正则表达式，日志服务将 () 视为捕获组，这些捕获组会被解析为键值对。 对于无需采集的字段，可以不体现在正则表达式中，或提取后在 提取结果 中删除。 提取结果 中的 Key 不可为空，且不可重复。

7. （可选）启用 插件配置 。
   

   通过 LogCollector 采集文本日志时，如果业务日志结构复杂、格式不固定，无法通过 JSON 模式等常规的日志采集模式进行解析时，可以通过 LogCollector 插件进行采集后处理。详细说明请参考 插件概述 。

8. （可选）启用 高级设置 。
   

   请根据您的需求选择高级配置。如果没有特殊需求，建议保持默认配置。

   配置	说明
   过滤器	是否开启日志字段过滤规则。默认为关闭状态。开启后，通过正则表达式配置过滤规则，完全匹配正则表达式的日志才会被采集上报，帮助您筛选出有价值的日志数据。 例如，设置 Key 为 response_code ，过滤规则为 400|500 ，表示只采集 response_code 为 400 或 500 类型的日志。
   上传解析失败日志	是否上传解析失败的日志，默认为关闭状态。 开启：所有解析失败的日志，均以指定字段作为键名称（Key），原始日志内容作为值（Value）上传到日志服务。其中键名称可以通过 失败日志键名称 指定，默认为 LogParseFailed 。 关闭：解析失败的日志不上传到日志服务。
   解析采集路径	通过正则表达式提取采集路径中的字段，并将其作为元数据添加到日志数据中。此功能默认为关闭状态。 开启此功能后，您需要设置采集路径样例、提取正则表达式和提取结果。 采集路径样例：实际场景的采集路径样例。 采集路径样例必须是一个绝对路径。 路径样例中不能包含通配符 * 、 ? 、 ** 。 提取正则表达式：用于提取路径字段的正则表达式。必须和采集路径样例匹配，否则无法成功提取。 提取结果： 提取结果 中展示日志服务根据正则表达式将路径样例解析并提取到的每个字段值（Value）。您需要为每个字段指定字段名称（Key）。 最多配置 100 个字段名。 字段名不可为空，且不可重复。
   HashKey路由Shard	指定 HashKey 将数据写入到符合范围要求的日志分区。此功能默认为关闭状态。 开启此功能，表示使用 HashKey 路由 Shard 模式采集数据，将数据有序写入到指定 Shard 中。适用于数据写入和消费对有序性要求较高的场景。 此时需要设置 HashKey，日志服务会将数据写入到包含该 Key 值的 Shard 中。HashKey 的取值范围为 [00000000000000000000000000000000-ffffffffffffffffffffffffffffffff)。 关闭此功能，表示使用负载均衡模式采集数据，自动根据负载均衡原则将数据包写入当前可用的任一 Shard 中。该模式适用于写入和消费行为与 Shard 无关的场景，例如不保序。
   上传原始日志	开启后，原始的日志数据将被封装在 __raw__ 字段中，和解析后的日志数据一起上传到日志服务中。 此功能默认为关闭状态。
   上传常量字段	开启后，LogCollector 会将指定字段的 Key 和 Value 封装到每一条日志中。常量字段需遵循以下限制： 支持上传最多 5 个常量字段。 字段名（Key）不可重复，不可为空。长度限制为 1~128 字符，包括英文字母、数字、和特殊字符（ -_./ ），且不能以下划线开头。 字段值（Value）不可为空，长度最大为 512 KiB。
   使用采集时间	设置是否 使用采集时间 。 使用采集时间 默认为开启状态。 开启：采集日志时，将 LogCollector 所在服务器的时间设置为日志时间戳。 关闭：将日志中的指定时间字段作为日志时间戳。此时您需要填写 时间键名称 和 时间转换格式 。 配置方式： 时间键名称：指定日志中的时间字段名称（Key），此字段值（Value）将作为日志时间戳。例如指定时间键名称为 time 。请确认指定的 时间键名称 已在 提取结果 中被正确解析、提取。 时间转换格式：日志时间字段中的时间格式，日志字段将根据 时间转换格式 解析时间字段值，并解析后的时间作为日志时间戳记录在服务端。例如时间字段的内容为 17/June/2022:20:15:02 ，可以指定时间转换格式为 %d/%b/%Y:%H:%M:%S 。 说明 日志时间可精确到毫秒级。 若时间格式填写错误日志时间将以采集时间为准。
   扩展配置	LogCollector 扩展配置，JSON 对象格式。目前支持的参数包括 CloseInactive、CloseRemoved、CloseRenamed、CloseEOF 和 CloseTimeout。详细的参数说明请参考 Advanced 。 例如填写以下配置，表示日志文件持续 10 秒没有新日志写入、日志文件被移除或重命名、LogCollector 读取至文件末尾、日志文件监控时长超过 30 分钟后，释放文件句柄。

9. 确认采集配置，并单击 下一步 。

步骤三 更新索引

1. 更新索引。

   根据页面提示，按需设置或更新索引。索引默认为关闭状态，启用索引后才能检索分析采集到的日志数据。

   • 若此日志主题未设置索引，可以参考文档 设置索引 进行设置。
   • 若此日志主题已设置索引，可以根据采集规则中解析的日志字段判断是否需要更新索引。

   说明

   更新后的索引设置仅对后续写入的新数据生效。其他检索分析的使用说明及限制请参考 检索概述 和 分析概述 。

2. 确认索引配置，并单击 提交 。

后续步骤

创建采集配置之后，LogCollector 会根据指定规则开始监听日志文件并采集日志，日志数据将保存在指定的日志主题中。

日志索引默认为关闭状态，您需要为日志主题开启索引功能，并配置索引，才能在控制台中对采集到的日志数据进行查询分析。