Hive Json数组解析 - 实现json数据的列转行

hive中解析json字符串常用的函数是get_json_object, 但对于数组形式存储的, 如下名字marked_json的字段: 

[{"id":559,"labelType":3,"labelCode":"BUMANYI","labelName":"不满意","isGrouped":1},{"id":560,"labelType":3,"labelCode":"YTSBCW","labelName":"意图识别错误","isGrouped":1}]
这种格式的就无法直接解析.

平时在需求中, 常会有要提取其中多个id的需求, 碰到这种情形, 当然要感慨, 如果系每个json串是array的一个子元素多好啊. 这种感慨, 也就是处理的思路, 既然还不是array, 能不能分离成array? 于是乎, 掐头去尾后以'},{'分隔, split处理形成数组. 

split(substring(marked_json,3,length(marked_json)-4),'\\},\\{')
在此基础上, 再利用hive的lateral view explode语法。 
lateral view explode(split(substring(marked_json,3,length(marked_json)-4),'\\},\\{')) view_table_name as mj
现在, 我们的mj变成了 "id":559,"labelType":3,"labelCode":"BUMANYI","labelName":"不满意","isGrouped":1 这种光光秃秃的字符串, 要想提取其中的信息, 还要再转回json格式 concat('{', mj, '}')下面, 可以提取我们感兴的内容了, 比如id: 
select get_json_object(concat('{', mj, '}'), '$.id') as id from hive_table lateral view explode(split(substring(marked_json,3,length(marked_json)-4),'\\},\\{')) vv as mj
当然, 如果我们的Array的元素是固定的, 比如上面的例子中, 元素不会超过两个, 那就可以这样简单处理 
select get_json_object(concat('{"jl":',marked_json,'}'),'$.jl[0].id'),get_json_object(concat('{"jl":',marked_json,'}'),'$.jl[1].id') from hive_table

评论：
  • * * * Claim Free iPhone 16: https://avtoilm.uz/index.php?yqk9mw * * * hs=29a9d78675d4920a75ab73b8aa2e194c* ххх* 2025-06-03 23:05:53

    zh6kj7

  • * * * <a href="https://avtoilm.uz/index.php?yqk9mw">Claim Free iPhone 16</a> * * * hs=29a9d78675d4920a75ab73b8aa2e194c* ххх* 2025-06-03 23:05:56

    zh6kj7