dsv_table: 一文看懂 C++ 高性能表格数据处理

id,lon,lat,depth,den,sus,name,date,location
,32.23,65.23,,2.3,,gabbro,,"enshi, hubei"
,65.2,12.7,,2.5,,basalt,,"wuhan"
,70.23,10.6,,3.1,,volcanic,,"hangzhou, zhejiang"

#include "dsv_table.hpp"

int main() {
    utilsxx::dsv_table t("data/sample_data", ".csv");
    t.info(utilsxx::ColInfo);  // 打印列信息
    return 0;
}

utilsxx::dsv_table tc;
tc.delimeter('|');           // 设置分隔符为竖线
tc.head_number(1);           // 指定有1行头信息
tc.load_text("data/world_data", ".txt", utilsxx::ColHead | utilsxx::RowHead);

# World Bank Population Dataset
# Data is available at xxx.com

#! rows = 240
#! cols = 15

This is a test file for the 2014 World Bank population dataset.

// cell() 是 0-based，可以操作表头
double val = t.cell<double>(1, 2);   // 第2行第3列的数据（0-based）
t.cell(0, 0, "CornerName");          // 修改左上角表头单元格
t.cell(0, 1, "ColumnA");             // 修改第1个列名
t.cell(1, 0, "Row1");                // 修改第1个行名

// 其他所有 API 都是 1-based，只操作数据区域
std::vector<double> col3 = t.get_column<double>(3);   // 第3列数据
std::vector<double> row2 = t.get_row<double>(2);       // 第2行数据
t.fill_column(data, 1);                                // 填充第1列数据
t.row_type(utilsxx::Int, 2);                           // 设置第2行类型

// 通过列名获取一整列
std::vector<double> lon = t.get_column<double>("lon");

// 通过行名获取一整行（world_data.txt 中第一列是行名）
std::vector<std::string> china_row = t.get_row<std::string>("CHN");

// 获取第5列（无论是否有列名）
std::vector<double> col5 = t.get_column<double>("C5");

// 获取第10行
std::vector<std::string> row10 = t.get_row<std::string>("R10");

// 在末尾添加一个空白列，命名为 "new_col"
int idx = t.add_column("new_col");

// 在索引2的位置插入数据列
std::vector<double> new_data = {1.0, 2.0, 3.0};
t.add_column(2, new_data);  // 在第二列前插入

// 通过列名定位插入
t.add_column("after_this", new_data);  // 在 "after_this" 列后插入

// 添加空白行
int row_idx = t.add_row("China");

// 插入数据行
std::vector<std::string> row_data = {"CHN", "China", "Asia"};
t.add_row("new_row", row_data);

// 填充指定列
std::vector<double> depths = {100.0, 200.0, 150.0};
t.fill_column(depths, "depth");

// 填充指定行
t.fill_row(row_data, "CHN");

// 按列过滤：只保留 "Continent_s" 列中包含 "America" 的行
// 参数说明：正则表达式, 基准列/行名, 基准类型
tc.filter("America", "Continent_s", utilsxx::ColHead);

// 定义过滤函数：保留第一列（行头除外）大于100的行
bool filter_func(const std::vector<utilsxx::table_cell>& row) {
    return row[1].value<double>() > 100.0;
}

tc.filter(filter_func, utilsxx::RowHead);  // 按行过滤

// 按 "SurfaceArea_n" 列升序排序（整行联动）
tc.reorder<int>("SurfaceArea_n", utilsxx::ASCENDING);

// 按第3列降序排序
tc.reorder<double>(3, utilsxx::DESCENDING);

// 禁用第3列
t.column_output(3, utilsxx::Disable);

// 禁用名为 "deprecated" 的列
t.column_output("deprecated", utilsxx::Disable);

// 禁用第5行
t.row_output(5, utilsxx::Disable);

// 禁用整个表格
t.table_output(utilsxx::Disable);

// 重新启用
t.table_output(utilsxx::Enable);

// 导出时忽略被禁用的行列（默认行为）
utilsxx::dsv_table filtered = tc.export_table();

// 包含被禁用的行列
utilsxx::dsv_table full = tc.export_table(false);

[
    {"姓名": "张三", "年龄": 25, "城市": "北京", "分数": 85.5},
    {"姓名": "李四", "年龄": 30, "城市": "上海", "分数": 92.0}
]

utilsxx::dsv_table t;
t.load_json("data/student_data", 0);  // 格式0

{
    "headers": ["姓名", "年龄", "城市", "分数"],
    "data": [
        ["张三", 25, "北京", 85.5],
        ["李四", 30, "上海", 92.0]
    ]
}

t.load_json("data/table_data", 1);  // 格式1

// 保存为对象数组格式（默认）
t.save_json("output", 0);

// 保存为表格格式
t.save_json("output", 1);

// 设置 double 类型保存时的有效数字为4位
t.cell(1, 1, 3.1415926, 4);  // 保存为 "3.142"

// 批量填充时控制精度
std::vector<double> data = {1.234567, 2.345678};
t.fill_column(data, "value", 3);  // 保留3位有效数字

// 将 "id" 列设为整数类型
t.column_type(utilsxx::Int, "id");

// 将第2行设为字符串类型
t.row_type(utilsxx::String, 2);

if (t.has_column("depth")) {
    // 处理 depth 列
}

if (t.has_row("CHN")) {
    // 处理中国行
}

// begin() 自动跳过第0行（表头行）
for (auto it = t.begin(); it != t.end(); ++it) {
    for (const auto& cell : *it) {
        std::cout << cell.str_ << " ";
    }
    std::cout << "\n";
}

utilsxx::dsv_table load_big_data() {
    utilsxx::dsv_table t;
    t.load_csv("huge_file.csv");
    return t;  // 移动语义，高效
}

auto data = load_big_data();

#include "dsv_table.hpp"
#include <iostream>

int main() try {
    // 1. 加载竖线分隔的世界银行数据
    utilsxx::dsv_table tc;
    tc.delimeter('|');
    tc.head_number(1);
    tc.load_text("data/world_data", ".txt", utilsxx::ColHead | utilsxx::RowHead);
    
    // 2. 查看文件元信息
    tc.info(utilsxx::AttInfo | utilsxx::HeadInfo | utilsxx::TagInfo);
    
    // 3. 过滤：只保留美洲国家
    tc.filter("America", "Continent_s", utilsxx::ColHead);
    
    // 4. 检查列是否存在
    if (tc.has_column("SurfaceArea_n")) {
        std::cout << "找到 SurfaceArea_n 列\n";
    }
    
    // 5. 导出过滤结果（生成新表格）
    utilsxx::dsv_table tc2 = tc.export_table();
    
    // 6. 按国土面积升序排序
    tc2.reorder<int>("SurfaceArea_n", utilsxx::ASCENDING);
    
    // 7. 设置分隔符并保存
    tc2.delimeter('|');
    tc2.save_text("america_sorted");
    
    // 8. 同时保存为 JSON
    tc2.save_json("america_sorted", 0);
    
    return 0;
}
catch(const utilsxx::error_handler& e) {
    e.show();
    return 1;
}