关于在Spark集群中读取本地文件抛出找不到文件异常的问题

xiaoxiao2021-02-28  10

关于在Spark集群中读取本地文件抛出找不到文件异常的问题

一般情况下,我们在本地ide里写好程序,打成jar包上传到集群取运行,有时候需要读取数据文件,这个时候需要注意,如果程序中读取的是本地文件,那么,要在所有的节点都有这个数据文件,只在master中有这个数据文件时执行程序时一直报找不到文件

解决方式1:让每个Worker节点的相应位置都有要读取的数据文件。

解决方式2:直接将数据文件上传到hdfs,达到数据共享。(强烈推荐,比格更高更专业)

转载请注明原文地址: https://www.6miu.com/read-2300164.html

最新回复(0)