CSV 到 JSON 转换：何时以及如何转换数据格式

· 12分钟阅读

📑 目录

CSV 和 JSON 是软件开发、数据科学和业务分析中使用最广泛的两种数据格式。CSV 在电子表格和数据库导出中占主导地位，而 JSON 则统治着 Web API 和现代应用程序。了解何时使用每种格式——以及如何干净地在它们之间转换——是开发人员、数据分析师和任何处理数据的人的必备技能。

本综合指南深入比较 CSV 和 JSON，解释何时转换有意义，涵盖多种转换方法，解决数据完整性挑战，并展示如何处理即使是经验丰富的开发人员也会遇到的常见边缘情况。

理解 CSV 格式

CSV（逗号分隔值）是一种纯文本格式，以行和列的形式存储表格数据。每一行代表一条记录，记录中的字段由逗号分隔（有时根据区域设置使用制表符或分号）。

这是一个简单的 CSV 示例：

name,age,city,active
Alice,30,New York,true
Bob,25,London,false
"Smith, Jr.",45,"San Francisco",true

第一行通常包含列标题，后续行包含实际数据。注意第三行如何使用引号来处理姓名字段中的逗号——这是 CSV 需要仔细处理的怪癖之一。

CSV 优势

CSV 局限性

专业提示：虽然 RFC 4180 试图标准化 CSV 格式，但许多工具仍然实现自己的变体。在处理大型数据集之前，始终使用目标应用程序测试您的 CSV 文件。

理解 JSON 格式

JSON（JavaScript 对象表示法）是一种轻量级数据交换格式，支持嵌套结构、数组和类型化值。它已成为 Web API 和配置文件的事实标准。

这是相同数据的 JSON 格式：

[
  {
    "name": "Alice",
    "age": 30,
    "city": "New York",
    "active": true
  },
  {
    "name": "Bob",
    "age": 25,
    "city": "London",
    "active": false
  },
  {
    "name": "Smith, Jr.",
    "age": 45,
    "city": "San Francisco",
    "active": true
  }
]

JSON 使用花括号中的键值对表示对象，使用方括号表示数组。注意数据类型是如何保留的——数字就是数字，布尔值就是布尔值，字符串就是字符串。

JSON 优势

JSON 局限性

何时将 CSV 转换为 JSON

在特定场景中，JSON 的结构和类型保留提供明显优势时，将 CSV 转换为 JSON 是有意义的。了解这些用例有助于您为工作流选择正确的格式。

API 集成

大多数现代 Web API 期望 JSON 输入和输出。如果您要将数据上传到 REST API、GraphQL 端点或云服务，通常需要将 CSV 转换为 JSON。JSON 的结构与 API 自然消费数据的方式相匹配，具有命名字段和适当的数据类型。

例如，向 CRM API 发送用户数据或向电子商务平台上传产品信息通常需要 JSON 格式。

JavaScript 应用程序

在构建 Web 应用程序时，JSON 与 JavaScript 无缝集成。您可以直接将 JSON 解析为 JavaScript 对象，无需额外处理。这使得在将电子表格数据导入 Web 应用程序、仪表板或数据可视化工具时，CSV 到 JSON 的转换至关重要。

配置文件

许多现代应用程序使用 JSON 进行配置。如果您管理的设置、功能标志或环境变量最初在电子表格中，转换为 JSON 会创建应用程序可以直接读取的格式。

数据类型保留

当数据类型很重要时——区分数字 42 和字符串 "42"，或者 true 和 "true"——需要进行 JSON 转换。这对于数学运算、布尔逻辑和类型安全的编程语言至关重要。

嵌套数据结构

如果您的数据具有层次关系（如具有多个地址的用户，或具有变体选项的产品），JSON 可以自然地处理这些，而 CSV 需要笨拙的变通方法，如单独的表或字段内的分隔字符串。

快速提示：如果您只是在电子表格或数据库之间移动数据，请坚持使用 CSV。只有在需要其特定功能或与需要它的系统集成时才转换为 JSON。

何时保留 CSV

在以下情况下不要转换为 JSON：

转换方法和工具

有多种方法可以将 CSV 转换为 JSON，每种方法都适合不同的场景和技能水平。让我们探索最实用的方法。

在线转换工具

对于快速的一次性转换，在线工具提供最快的解决方案。我们的 CSV 到 JSON 转换器可在您的浏览器中即时处理转换，无需将数据上传到任何服务器，确保隐私和速度。

在线工具最适合：

Python 转换

Python 提供强大的 CSV 到 JSON 转换库。这是一个使用内置 csv 和 json 模块的强大示例：

import csv
import json

def csv_to_json(csv_file, json_file):
    data = []
    
    with open(csv_file, 'r', encoding='utf-8') as f:
        csv_reader = csv.DictReader(f)
        for row in csv_reader:
            # 将数字字符串转换为数字
            for key, value in row.items():
                if value.isdigit():
                    row[key] = int(value)
                elif value.replace('.', '', 1).isdigit():
                    row[key] = float(value)
                elif value.lower() in ['true', 'false']:
                    row[key] = value.lower() == 'true'
            data.append(row)
    
    with open(json_file, 'w', encoding='utf-8') as f:
        json.dump(data, f, indent=2, ensure_ascii=False)

# 使用方法
csv_to_json('input.csv', 'output.json')

此脚本读取 CSV 数据，尝试将字符串转换为适当的数据类型，并写入格式化的 JSON 输出。ensure_ascii=False 参数保留 Unicode 字符。

JavaScript/Node.js 转换

对于 JavaScript 环境，csv-parser 包提供出色的 CSV 解析：

const fs = require('fs');
const csv = require('csv-parser');

const results = [];

fs.createReadStream('input.csv')
  .pipe(csv())
  .on('data', (data) => {
    // 类型转换
    Object.keys(data).forEach(key => {
      const value = data[key];
      if (!isNaN(value) && value !== '') {
        data[key] = Number(value);
      } else if (value === 'true' || value === 'false') {
        data[key] = value === 'true';
      }
    });
    results.push(data);
  })
  .on('end', () => {
    fs.writeFileSync('output.json', JSON.stringify(results, null, 2));
    console.log('转换完成');
  });

命令行工具

对于基于 Unix 的系统，像 jq 和 csvkit 这样的工具可以实现强大的命令行转换：

# 使用 csvkit
csvjson input.csv > output.json

# 使用 jq 处理 csv 输入
jq -R -s 'split("\n") | map(split(",")) | .[0] as $headers | .[1:] | map(. as $row | $headers | with_entries({"key": .value, "value": $row[.key]}))' input.csv > output.json

命令行工具在自动化工作流、shell 脚本和数据管道中表现出色。

Excel 和电子表格应用程序

虽然 Excel 不原生导出 JSON，但您可以使用 Power Query 或 VBA 宏。或者，先导出为 CSV，然后使用上述方法之一。Google Sheets 用户可以利用 Apps Script 进行直接 JSON 导出。

方法 最适合 技能水平 自动化
在线工具 快速转换、小文件 初学者 手动
Python 数据处理、类型转换 中级 可脚本化
JavaScript/Node.js Web 应用、流式数据 中级 可脚本化
命令行 管道、批处理 高级 完全自动化
电子表格应用 业务用户、手动编辑 初学者 有限

处理边缘情况和特殊字符

现实世界的 CSV 文件包含需要仔细处理的混乱数据。以下是最常见的边缘情况以及如何解决它们。

带逗号的引号字段

CSV 使用引号来转义字段值中的逗号。例如：

name,address
John Doe,"123 Main St, Apt 4"
Jane Smith,"456 Oak Ave, Suite 200"

好的 CSV 解析器会自动处理这个问题，但手动字符串拆分会失败。始终使用适当的 CSV 解析库，而不是按逗号拆分。

嵌入的引号

引号字段中的引号通过加倍来转义：

name,quote
Alice,"She said ""Hello"" to me"
Bob,"The ""best"" option"

当转换为 JSON 时，这变得特别棘手，因为引号是用反斜杠转义的。

字段中的换行符

CSV 允许引号字段中的换行符：

name,description
Product A,"This is a long
description that spans
multiple lines"

逐行处理在这里会失败。使用能够正确处理多行字段的解析器。

Unicode 和特殊字符

现代数据包括表情符号、重音字符和非拉丁文字。在读取和写入文件时始终指定 UTF-8 编码：

📚 You May Also Like

JSON Formatting Guide Text Comparison Guide