Articles of अपाचे स्पार्क

स्पार्क में दो (या अधिक) डेटाफ्रेम को कैसे ज़िप करें

मेरे पास दो DataFrame a और b DataFrame a समान है Column 1 | Column 2 abc | 123 cde | 23 b की तरह है Column 1 1 2 मैं a और b (या अधिक) डाटाफ्रेम को ज़िप करना चाहता हूं जो कुछ ऐसा हो जाता है: Column 1 | Column 2 | Column […]

प्रत्येक DStream को स्थायी तालिका में कैसे सहेज / डालें

मुझे एक समस्या का सामना करना पड़ रहा है "स्पार्क स्ट्रीमिंग" के बारे में एक डीएसटीएम आउटपुट को स्थायी एसक्यूएल तालिका में डालने के बारे में मैं प्रत्येक आउटपुट डीएसटी्रीम (एकल बैच से आने वाली प्रक्रियाओं को एक अनूठी तालिका में) मैं एक स्पार्क संस्करण 1.6.2 के साथ पायथन का उपयोग कर रहा हूँ। मेरे […]

स्पर्क एमएल लिब में टीएफ वेक्टर आरडीडी से शब्द विवरण कैसे प्राप्त करें?

मैंने स्पार्क में HashingTF का उपयोग करके टर्म फ़्रीक्वेंसी बनाई है। प्रत्येक शब्द के लिए tf.transform का उपयोग करते हुए tf.transform आवृत्तियों की अवधि मिल गई है। लेकिन परिणाम इस प्रारूप में दिखाए जा रहे हैं। [<hashIndexofHashBucketofWord1>,<hashIndexofHashBucketofWord2> …] ,[termFrequencyofWord1, termFrequencyOfWord2 ….] उदाहरण के लिए: (1048576,[105,3116],[1.0,2.0]) मैं tf.indexOf("word") का उपयोग कर, हैश बाल्टी में सूचक प्राप्त […]

स्पार्क एमएलबीबी मॉडल की सेवा कैसे करें?

मैं उत्पादन एमएल आधारित अनुप्रयोगों के लिए उपकरणों का मूल्यांकन कर रहा हूं और हमारे एक विकल्प स्पार्क एमएलबीबी हैं, लेकिन मुझे इसके बारे में कुछ सवाल हैं कि एक बार अपने प्रशिक्षित प्रशिक्षण के लिए एक मॉडल कैसे तैयार किया जाए? उदाहरण के लिए, एक बार प्रशिक्षित एज़्योर एमएल में, मॉडल को एक वेब […]

स्पार्क एसक्यूएल में कलेक्ट_लाइट और इकट्ठा करें

डॉक्स के अनुसार, collect_set और collect_list कार्य स्पार्क एसक्यूएल में उपलब्ध होना चाहिए। हालांकि, मैं इसे काम करने के लिए नहीं मिल सकता है मैं एक Docker छवि का उपयोग कर स्पार्क 1.6.0 चला रहा हूँ। मैं स्काला में ऐसा करने की कोशिश कर रहा हूं: import org.apache.spark.sql.functions._ df.groupBy("column1") .agg(collect_set("column2")) .show() और रनटाइम पर निम्नलिखित […]

स्पार्क में स्तरीकृत नमूना

मेरे पास डेटा सेट होता है जिसमें उपयोगकर्ता और खरीदारी डेटा शामिल होता है यहां एक उदाहरण है, जहां पहला तत्व यूजर आईडी है, दूसरा उत्पाद आईडी है, और तीसरा बुलियन को इंगित करता है। (2147481832,23355149,1) (2147481832,973010692,1) (2147481832,2134870842,1) (2147481832,541023347,1) (2147481832,1682206630,1) (2147481832,1138211459,1) (2147481832,852202566,1) (2147481832,201375938,1) (2147481832,486538879,1) (2147481832,919187908,1) … मैं यह सुनिश्चित करना चाहता हूं कि मैं केवल […]

स्पार्क में आरडीडी कैसे स्थानांतरित किया जाए

मेरे पास एक RDD है: 1 2 3 4 5 6 7 8 9 यह एक मैट्रिक्स है अब मैं इस तरह आरडीडी को स्थानांतरित करना चाहता हूं: 1 4 7 2 5 8 3 6 9 मैं यह कैसे कर सकता हूँ?

स्पार्क में पंक्तियां सपाट

मैं स्कार्ला का उपयोग करके स्पार्क के लिए कुछ परीक्षण कर रहा हूं हम आम तौर पर जेएसओन फाइलों को पढ़ते हैं जिन्हें निम्न उदाहरण की तरह हेरफेर करने की जरूरत है: test.json: {"a":1,"b":[2,3]} val test = sqlContext.read.json("test.json") मैं इसे कैसे प्रारूप में बदल सकता हूं: {"a":1,"b":2} {"a":1,"b":3}

स्पार्क: स्काला या जावा उपयोगकर्ता परिभाषित कार्यों के साथ अजगर को कैसे मैप करें?

उदाहरण के लिए मान लें कि मेरी टीम ने स्पाइन के साथ विकसित करने के लिए संदर्भ भाषा के रूप में अजगर को चुना है। लेकिन बाद में प्रदर्शन के कारणों के लिए, हम अपने पायथन कोड (स्काला या जावा कंकाल के साथ पायथन स्टब के समान) के साथ नक्शा करने के लिए विशिष्ट स्काला […]

स्पार्कआर की स्थापना

मेरे पास R – 3.2.1 का अंतिम संस्करण है। अब मैं आर पर स्पार्क आर स्थापित करना चाहता हूं I निष्पादित करने के बाद: > install.packages("SparkR") मुझे वापिस मिला: Installing package into '/home/user/R/x86_64-pc-linux-gnu-library/3.2' (as 'lib' is unspecified) Warning in install.packages : package 'SparkR' is not available (for R version 3.2.1) मैंने अपने मशीन पर स्पार्क […]

दिलचस्प पोस्ट
सेलेनियम वेबड्राइवर – यदि तत्व मौजूद है तो टेस्ट करें का उपयोग क्या है – ? प्रतिलिपि elision क्या है और यह कॉपी-और-स्वैप मुहावरों को कैसे अनुकूलित करता है? एप्लिकेशन से कैसे निकलते हैं और होम स्क्रीन दिखाते हैं? अगर माता-पिता और बच्चे की एक ही ऊंचाई होती है तो एक ऊर्ध्वाधर स्क्रॉल बार क्यों है? एक सूची प्रथा में कस्टम पंक्ति? HiveContext के साथ एकाधिक स्पार्क एप्लिकेशन PrependId = "false" ब्रेक के साथ UIForm <f: AJAX रेंडर> VBA मैक्रो टाइमर शैली पर कोड को चलाने के लिए सेकंड के प्रत्येक सेट नंबर, अर्थात 120 सेकंड पृष्ठ पर घड़ियों की कुल संख्या की गणना कैसे करें? गैर-थ्रेड-सुरक्षित async का उपयोग कैसे करें / ASP.NET वेब एपीआई के साथ API और पैटर्न का इंतजार करें? जावा कास्ट ऑपरेटर कैसे काम करता है? कैसे लाइन समापन रूपांतरण जीआईटी कोर के साथ काम करते हैं। विभिन्न ऑपरेटिंग सिस्टम के बीच सबमिट करने पर चेकबॉक्स मान प्राप्त करना यह निर्धारित करने के लिए कि क्या दिया गया Linux 32 बिट या 64 बिट है?