如何用 Linux 命令行工具解析和格式化输出 JSON

Linux中国

已认证账号

我们将使用 Linux 上的命令行工具解析并格式化打印 JSON。它对于在 shell 脚本中处理大型 JSON 数据或在 shell 脚本中处理 JSON 数据非常有用。
-- Ostechnix（作者）

JSON 是一种轻量级且与语言无关的数据存储格式，易于与大多数编程语言集成，也易于人类理解 —— 当然，如果格式正确的话。JSON 这个词代表 J ava S cript O bject N otation，虽然它以 JavaScript 开头，而且主要用于在服务器和浏览器之间交换数据，但现在正在用于许多领域，包括嵌入式系统。在这里，我们将使用 Linux 上的命令行工具解析并格式化打印 JSON。它对于在 shell 脚本中处理大型 JSON 数据或在 shell 脚本中处理 JSON 数据非常有用。

什么是格式化输出？

JSON 数据的结构更具人性化。但是在大多数情况下，JSON 数据会存储在一行中，甚至没有行结束字符。

显然，这对于手动阅读和编辑不太方便。

这是 格式化输出(pretty print) 就很有用。这个该名称不言自明：重新格式化 JSON 文本，使人们读起来更清晰。这被称为 JSON 格式化输出 。

用 Linux 命令行工具解析和格式化输出 JSON

可以使用命令行文本处理器解析 JSON 数据，例如 awk 、 sed 和 gerp 。实际上 JSON.awk 是一个来做这个的 awk 脚本。但是，也有一些专用工具可用于同一目的。

jq 或 jshon ，shell 下的 JSON 解析器，它们都非常有用。
Shell 脚本，如 JSON.sh 或 jsonv.sh ，用于在 bash、zsh 或 dash shell 中解析JSON。
JSON.awk ，JSON 解析器 awk 脚本。
像 json.tool 这样的 Python 模块。
undercore-cli ，基于 Node.js 和 javascript。

在本教程中，我只关注 jq ，这是一个 shell 下的非常强大的 JSON 解析器，具有高级过滤和脚本编程功能。

JSON 格式化输出

JSON 数据可能放在一行上使人难以解读，因此为了使其具有一定的可读性，JSON 格式化输出就可用于此目的的。

示例： 来自 jsonip.com 的数据，使用 curl 或 wget 工具获得 JSON 格式的外部 IP 地址，如下所示。

$ wget -cq http://jsonip.com/ -O -

实际数据看起来类似这样：

{"ip":"111.222.333.444","about":"/about","Pro!":"http://getjsonip.com"}

现在使用 jq 格式化输出它：

$ wget -cq http://jsonip.com/ -O - | jq '.'

通过 jq 过滤了该结果之后，它应该看起来类似这样：

{
   "ip": "111.222.333.444",
   "about": "/about",
   "Pro!": "http://getjsonip.com"
}

同样也可以通过 Python json.tool 模块做到。示例如下：

$ cat anything.json | python -m json.tool

这种基于 Python 的解决方案对于大多数用户来说应该没问题，但是如果没有预安装或无法安装 Python 则不行，比如在嵌入式系统上。

然而， json.tool Python 模块具有明显的优势，它是跨平台的。因此，你可以在 Windows、Linux 或 Mac OS 上无缝使用它。

如何用 jq 解析 JSON

首先，你需要安装 jq ，它已被大多数 GNU/Linux 发行版选中，并使用各自的软件包安装程序命令进行安装。

在 Arch Linux 上：

$ sudo pacman -S jq

在 Debian、Ubuntu、Linux Mint 上：

$ sudo apt-get install jq

在 Fedora 上：

$ sudo dnf install jq

在 openSUSE 上：

$ sudo zypper install jq

对于其它操作系统或平台参见官方的安装指导。

`jq 的基本过滤和标识符功能`

jq 可以从 STDIN 或文件中读取 JSON 数据。你可以根据情况使用。

单个符号 . 是最基本的过滤器。这些过滤器也称为 对象标识符-索引 。 jq 使用单个 . 过滤器基本上相当将输入的 JSON 文件格式化输出。

单引号 ：不必始终使用单引号。但是如果你在一行中组合几个过滤器，那么你必须使用它们。
双引号 ：你必须用两个双引号括起任何特殊字符，如 @ 、 ＃ 、 $ ，例如 jq .foo.”@bar” 。
原始数据打印 ：不管出于任何原因，如果你只需要最终解析的数据（不包含在双引号内），请使用带有 -r 标志的 jq 命令，如下所示： jq -r .foo.bar 。

`解析特定数据`

要过滤出 JSON 的特定部分，你需要了解格式化输出的 JSON 文件的数据层次结构。

来自维基百科的 JSON 数据示例：

{
  "firstName": "John",
  "lastName": "Smith",
  "age": 25,
  "address": {
    "streetAddress": "21 2nd Street",
    "city": "New York",
    "state": "NY",
    "postalCode": "10021"
  "phoneNumber": [
  "type": "home",
  "number": "212 555-1234"
  "type": "fax",
  "number": "646 555-4567"
  "gender": {
  "type": "male"