如何解決Flink提交PyFlink作業(yè)到Y(jié)arn Application時(shí)找不到Python任務(wù)腳本的問題？
Apr 19, 2025 pm 05:21 PM
Flink提交PyFlink作業(yè)到Y(jié)arn時(shí)找不到Python腳本的解決方案
在使用Flink提交PyFlink作業(yè)到Y(jié)arn時(shí)，如果遇到找不到Python腳本的錯(cuò)誤，通常是由於Python腳本路徑配置錯(cuò)誤或Python環(huán)境設(shè)置問題導(dǎo)致的。本文將分析並解決此問題。
您使用了以下命令提交PyFlink作業(yè)：
./flink run-application -t yarn-application \ -dyarn.application.name=flinkcdctestpython \ -dyarn.provided.lib.dirs="hdfs://nameservice1/pyflink/flink-dist-181" \ -pyarch hdfs://nameservice1/pyflink/pyflink181.zip \ -pyclientexec pyflink181.zip/pyflink181/bin/python \ -pyexec pyflink181.zip/pyflink181/bin/python \ -py hdfs://nameservice1/pyflink/wc2.py
錯(cuò)誤信息如下：
<code>2024-05-24 16:38:02,030 info org.apache.flink.client.python.pythondriver [] - pyflink181.zip/pyflink181/bin/python: can't open file 'hdfs://nameservice1/pyflink/wc2.py': [errno 2] no such file or directory</code>
該錯(cuò)誤表明Flink找不到指定的Python腳本wc2.py 。然而，提交Java作業(yè)時(shí)HDFS配置正常，說(shuō)明HDFS配置本身沒有問題。
問題可能出在以下幾個(gè)方面：
-
Python腳本路徑:仔細(xì)檢查
hdfs://nameservice1/pyflink/wc2.py路徑是否正確，以及wc2.py文件是否存在於該路徑下。使用HDFS命令驗(yàn)證：hdfs dfs -ls hdfs://nameservice1/pyflink/wc2.py
-
Python環(huán)境配置:
-pyclientexec和-pyexec參數(shù)指定了Python執(zhí)行環(huán)境。確保pyflink181.zip中的Python環(huán)境配置正確，並且可以訪問HDFS。建議將參數(shù)直接指向HDFS上的Python環(huán)境路徑：-pyclientexec hdfs://nameservice1/pyflink/pyflink181.zip/pyflink181/bin/python -pyexec hdfs://nameservice1/pyflink/pyflink181.zip/pyflink181/bin/python
-
權(quán)限問題:確保Flink作業(yè)具有訪問HDFS上Python腳本文件的權(quán)限。檢查文件權(quán)限：
hdfs dfs -ls -h hdfs://nameservice1/pyflink/wc2.py
Flink和PyFlink版本兼容性:確認(rèn)Flink版本與PyFlink版本兼容。版本不匹配可能導(dǎo)致問題。
通過(guò)以上步驟排查，您應(yīng)該能夠找到並解決Flink提交PyFlink作業(yè)時(shí)找不到Python腳本的問題。如果問題仍然存在，請(qǐng)檢查Flink和PyFlink的日誌文件，尋找更多線索。
以上是如何解決Flink提交PyFlink作業(yè)到Y(jié)arn Application時(shí)找不到Python任務(wù)腳本的問題？的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費(fèi)脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動(dòng)的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費(fèi)的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費(fèi)的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強(qiáng)大的PHP整合開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁(yè)開發(fā)工具
SublimeText3 Mac版
神級(jí)程式碼編輯軟體(SublimeText3)
熱門話題
如何處理Python中的API身份驗(yàn)證
Jul 13, 2025 am 02:22 AM
處理API認(rèn)證的關(guān)鍵在於理解並正確使用認(rèn)證方式。 1.APIKey是最簡(jiǎn)單的認(rèn)證方式，通常放在請(qǐng)求頭或URL參數(shù)中；2.BasicAuth使用用戶名和密碼進(jìn)行Base64編碼傳輸，適合內(nèi)部系統(tǒng)；3.OAuth2需先通過(guò)client_id和client_secret獲取Token，再在請(qǐng)求頭中帶上BearerToken；4.為應(yīng)對(duì)Token過(guò)期，可封裝Token管理類自動(dòng)刷新Token；總之，根據(jù)文檔選擇合適方式，並安全存儲(chǔ)密鑰信息是關(guān)鍵。
如何在Python中解析大型JSON文件？
Jul 13, 2025 am 01:46 AM
如何在Python中高效處理大型JSON文件？ 1.使用ijson庫(kù)流式處理，通過(guò)逐項(xiàng)解析避免內(nèi)存溢出；2.若為JSONLines格式，可逐行讀取並用json.loads()處理；3.或先將大文件拆分為小塊再分別處理。這些方法有效解決內(nèi)存限制問題，適用於不同場(chǎng)景。
python循環(huán)在元組上
Jul 13, 2025 am 02:55 AM
在Python中，用for循環(huán)遍曆元組的方法包括直接迭代元素、同時(shí)獲取索引和元素、以及處理嵌套元組。 1.直接使用for循環(huán)可依次訪問每個(gè)元素，無(wú)需管理索引；2.使用enumerate()可同時(shí)獲取索引和值，默認(rèn)索引起始為0，也可指定start參數(shù)；3.對(duì)嵌套元組可在循環(huán)中解包，但需確保子元組結(jié)構(gòu)一致，否則會(huì)引發(fā)解包錯(cuò)誤；此外，元組不可變，循環(huán)中不能修改內(nèi)容，可用\_忽略不需要的值，且建議遍歷前檢查元組是否為空以避免錯(cuò)誤。
如何在Python中製作異步API
Jul 13, 2025 am 02:01 AM
Python實(shí)現(xiàn)異步API調(diào)用首選async/await搭配aiohttp。使用async定義協(xié)程函數(shù)並通過(guò)asyncio.run驅(qū)動(dòng)執(zhí)行，例如：asyncdeffetch_data():awaitasyncio.sleep(1)；通過(guò)aiohttp發(fā)起異步HTTP請(qǐng)求，需用asyncwith創(chuàng)建ClientSession並await響應(yīng)結(jié)果；並發(fā)多個(gè)請(qǐng)求可使用asyncio.gather打包任務(wù)列表；注意事項(xiàng)包括：避免阻塞操作、不混用同步代碼、Jupyter需特殊處理事件循環(huán)。掌握eventl
什麼是python中的純粹功能
Jul 14, 2025 am 12:18 AM
純函數(shù)在Python中是指給定相同輸入始終返回相同輸出且沒有副作用的函數(shù)。其特點(diǎn)包括：1.確定性，即相同輸入總是產(chǎn)生相同輸出；2.無(wú)副作用，即不修改外部變量、不改變輸入數(shù)據(jù)、不與外界交互。例如，defadd(a,b):returna b是純函數(shù)，因?yàn)闊o(wú)論調(diào)用多少次add(2,3)，都始終返回5，且不更改程序中的其他內(nèi)容。相較而言，修改全局變量或改變輸入?yún)?shù)的函數(shù)則是非純函數(shù)。純函數(shù)的優(yōu)勢(shì)有：更容易測(cè)試、更適合併發(fā)執(zhí)行、可緩存結(jié)果提升性能，並能良好配合函數(shù)式編程工具如map()和filter()。
Apache的默認(rèn)Web根目錄是什麼？
Jul 15, 2025 am 01:51 AM
Apache的默認(rèn)網(wǎng)頁(yè)根目錄在大多數(shù)Linux發(fā)行版中是/var/www/html。這是因?yàn)锳pache服務(wù)器從特定的文檔根目錄提供文件，若未自定義配置，則Ubuntu、CentOS和Fedora等系統(tǒng)使用/var/www/html，而macOS（使用Homebrew）通常為/usr/local/var/www，Windows（XAMPP）則為C:\xampp\htdocs；要確認(rèn)當(dāng)前路徑，可檢查Apache配置文件如httpd.conf或apache2.conf，或創(chuàng)建含phpinfo()的P
如果還有其他在Python
Jul 13, 2025 am 02:48 AM
ifelse是Python中用於條件判斷的基礎(chǔ)結(jié)構(gòu)，通過(guò)條件的真假執(zhí)行不同代碼塊。它支持多條件判斷時(shí)使用elif添加分支，且縮進(jìn)是語(yǔ)法關(guān)鍵；如num=15時(shí)，程序輸出“這個(gè)數(shù)字大於10”；若需簡(jiǎn)化賦值邏輯，可用三元運(yùn)算符如status="成年人"ifage>=18else"未成年人"。 1.ifelse根據(jù)條件真假選擇執(zhí)行路徑；2.elif可添加多個(gè)條件分支；3.縮進(jìn)決定代碼歸屬，錯(cuò)誤會(huì)導(dǎo)致異常；4.三元運(yùn)算符適用於簡(jiǎn)單賦值場(chǎng)景。
Python類可以有多個(gè)構(gòu)造函數(shù)嗎？
Jul 15, 2025 am 02:54 AM
Yes,aPythonclasscanhavemultipleconstructorsthroughalternativetechniques.1.Usedefaultargumentsinthe__init__methodtoallowflexibleinitializationwithvaryingnumbersofparameters.2.Defineclassmethodsasalternativeconstructorsforclearerandscalableobjectcreati
