दिलचस्प पोस्ट
एक MongoDB संग्रह में परिवर्तनों के लिए कैसे सुनने के लिए? जावा: मैं कैसे जांच करूं कि कोई दिनांक एक निश्चित सीमा के भीतर है? मैं विधि वापसी प्रकार सामान्य कैसे कर सकता हूँ? एएसपी के लिए jQuery के माध्यम से JSON डेटा पोस्टिंग। नेट MVC 4 नियंत्रक कार्रवाई कैसे जाँचने के लिए कि कर्ल सक्षम या अक्षम है स्विफ्ट में आवश्यक तर्क लेबल कब हैं? क्या आईओएस डिवाइस लॉक / अनलॉक है या नहीं यह जांचने का कोई तरीका है? अपवाद कोड: 0xE0434352 के साथ स्टार्टअप पर मैं .NET विंडोज़ एप्लिकेशन क्रैशिंग कैसे ठीक करूं? रीसाइज़िंग विंडो के दौरान ऑटो आकार का आकार (फ़ॉन्ट आकार)? jQuery .scrollTop (); + एनीमेशन क्या कोई एचटीटीपी / एचटीटीपीएस अवरोधन उपकरण जैसे मैक ओएस एक्स के लिए फिडलर हैं? ग्राहकों से आईफोन क्रैश लॉग कैसे प्राप्त करें? MySQL में दिन के बराबर या उससे अधिक समय जेपीए द्वारा जारी एसक्यूएल प्रश्नों को कैसे देखें? यूनिक्स को टैब डेलिमिटर के साथ सॉर्ट करें

pyspark में अन्य नोड्स के लिए शिपिंग अजथन मॉड्यूल?

मैं स्पार्क क्लस्टर में प्रत्येक नोड को C संकलित मॉड्यूल (उदाहरण के लिए, पायथन-लेवेनशेटिन) कैसे भेज सकता हूं?

मुझे पता है कि मैं एक अजगर अजगर स्क्रिप्ट (नीचे दिए गए उदाहरण कोड) का उपयोग करके स्पार्क में अजगर फ़ाइलों को भेज सकता हूं:

from pyspark import SparkContext sc = SparkContext("local", "App Name", pyFiles=['MyFile.py', 'MyOtherFile.py']) 

लेकिन ऐसे परिस्थितियों में जहां '.py' नहीं है, मैं मॉड्यूल कैसे भेजूं?

वेब के समाधान से एकत्रित समाधान "pyspark में अन्य नोड्स के लिए शिपिंग अजथन मॉड्यूल?"

यदि आप अपने मॉड्यूल को .egg या .zip फ़ाइल में पैकेज कर सकते हैं, तो आप अपने स्पार्क कॉन्टैक्ट (या आप इसे बाद में sc.addPyFile के माध्यम से जोड़ सकते हैं) के निर्माण के दौरान इसे pyFiles में सूचीबद्ध करने में सक्षम होना चाहिए।

पायथन पुस्तकालयों के लिए जो सेटअप टूल्स का उपयोग करते हैं, आप अंडा वितरण के निर्माण के लिए python setup.py bdist_egg चला सकते हैं।

एक और विकल्प पुस्तकालय क्लस्टर चौड़ा स्थापित करना है, या तो प्रत्येक मशीन पर पीपी / आसान_इंटर का उपयोग करके या क्लस्टर-वाइड फाइल सिस्टम (जैसे NFS) पर एक पायथन इंस्टॉलेशन साझा करके।