网站首页 美食营养 游戏数码 手工爱好 生活家居 健康养生 运动户外 职场理财 情感交际 母婴教育 时尚美容

Spark如何解决读取文本或CSV文件中文乱码的问题

时间:2024-10-16 19:13:18

1、首先要知道源数倌栗受绽据是什么中文编码,如果编码不是utf-8的话,用默认的方法读取:spark.read.option("茑霁酌绡header","true").csv(path)spark.read.textFile(path)就会有中文乱码。

Spark如何解决读取文本或CSV文件中文乱码的问题

3、要了解中文乱码的原因,这是原因上面的方法默认用TextInputFormat,而在TextInputFormat中把编码写死为UTF_8

Spark如何解决读取文本或CSV文件中文乱码的问题

5、如果不知道中文编码,可以遍历使用"GBK"、“GB2312"等可能的中文编码,直到输出结果没中文乱码为止

Spark如何解决读取文本或CSV文件中文乱码的问题
© 2025 小知经验
信息来自网络 所有数据仅供参考
有疑问请联系站长 site.kefu@gmail.com