Articles of स्काला

(क्यों) हमें कैश कॉल करने की आवश्यकता है या आरडीडी पर जारी रहना चाहिए

जब एक लचीला वितरित डेटासेट (आरडीडी) एक पाठ फ़ाइल या संग्रह (या किसी अन्य RDD) से बनाई गई है, तो क्या हमें "कैश" या "लगातार" कॉल करने के लिए स्पष्ट रूप से आरडीडी डेटा को स्मृति में संग्रहीत करने की आवश्यकता है? या क्या आरडीडी डाटा को डिस्ट्रीब्यूशन में वितरित तरीके से संग्रहीत किया जाता […]

प्रकार सेट अनुमान पर विफल रहता है। सेट के साथ बनाया गया है?

प्रकार का अनुमान क्यों असफल रहा है? scala> val xs = List(1, 2, 3, 3) xs: List[Int] = List(1, 2, 3, 3) scala> xs.toSet map(_*2) <console>:9: error: missing parameter type for expanded function ((x$1) => x$1.$times(2)) xs.toSet map(_*2) हालांकि, यदि xs.toSet को असाइन किया गया है, तो यह संकलित करता है। scala> xs.toSet res42: scala.collection.immutable.Set[Int] […]

स्पार्क एसक्यूएल में यूज़र-डिफ़ाइंड कुल फ़ंक्शन को कैसे परिभाषित और इस्तेमाल किया जाए?

मुझे स्पार्क एसक्यूएल में एक यूडीएफ कैसे लिखना है: def belowThreshold(power: Int): Boolean = { return power < -40 } sqlContext.udf.register("belowThreshold", belowThreshold _) क्या मैं एक समान कार्य को परिभाषित करने के लिए कुछ ऐसा कर सकता हूँ? यह कैसे किया जाता है? संदर्भ के लिए, मैं निम्नलिखित SQL क्वेरी को चलाने के लिए चाहता […]

एचडीएफएस के बजाय स्थानीय फाइल को कैसे लोड करें

मैं महान स्पार्क ट्यूटोरियल का पालन ​​कर रहा हूँ इसलिए मैं README.md को लोड करने के लिए 46 मीटर पर कोशिश कर रहा हूँ। README.md लेकिन मैं क्या कर रहा हूँ में विफल यह है: $ sudo docker run -i -t -h sandbox sequenceiq/spark:1.1.0 /etc/bootstrap.sh -bash bash-4.1# cd /usr/local/spark-1.1.0-bin-hadoop2.4 bash-4.1# ls README.md README.md bash-4.1# ./bin/spark-shell […]

अपाचे स्पार्क में केस वर्ग समानता

स्पार्क में पैटर्न का मिलान स्काले के समान ही क्यों नहीं होता है? नीचे दिए गए उदाहरण देखें … फ़ंक्शन f() क्लास पर पैटर्न मैच की कोशिश करता है, जो स्काला आरईपीएल में काम करता है लेकिन स्पार्क में विफल रहता है और सभी "???" में परिणाम होता है। f2() एक वैकल्पिक हल है जो […]

मैं सीएसवी फ़ाइल को आरडीडी में कैसे रूपांतरित कर सकता हूं

मैं चिंगारी के लिए नया हूँ मैं सीएसवी रिकॉर्ड में विशेष डेटा पर कुछ परिचालन करना चाहता हूं। मैं एक सीएसवी फ़ाइल पढ़ने और इसे RDD में परिवर्तित करने की कोशिश कर रहा हूँ। मेरे आगे के संचालन सीएसवी फ़ाइल में दिए गए शीर्षक पर आधारित हैं। (टिप्पणियों से) यह मेरा कोड अभी तक है: […]

स्कला में विधि मापदंडों की मान्यता, समझ और मोनाद के लिए

मैं शून्यता के लिए एक विधि के मापदंडों को मान्य करने का प्रयास कर रहा हूं, लेकिन मुझे समाधान नहीं मिला … क्या कोई मुझे बता सकता है कि कैसे करना है? मैं इस तरह से कुछ कोशिश कर रहा हूँ: def buildNormalCategory(user: User, parent: Category, name: String, description: String): Either[Error,Category] = { val errors: […]

स्पार्क में डेटाफ्रेम के लिए आरडीड ऑब्जेक्ट कैसे परिवर्तित करें

मैं एक आरडीडी ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] org.apache.spark.sql.Row org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] ) को एक डाटाफ्रेम org.apache.spark.sql.DataFrame में कैसे रूपांतरित कर सकता / सकती हूं। मैं .rdd का उपयोग करने के लिए एक .rdd । इसे संसाधित करने के बाद मैं इसे डाटाफ्रेम में वापस करना चाहता हूं मैं यह कैसे कर सकता हूँ ?

अपडेट की हुई पंक्ति में डेटाफ्रेम पंक्ति को मैप करने का प्रयास करते समय एन्कोडर त्रुटि

जब मैं नीचे बताए अनुसार मेरे कोड में एक ही चीज़ करने की कोशिश कर रहा हूं I dataframe.map(row => { val row1 = row.getAs[String](1) val make = if (row1.toLowerCase == "tesla") "S" else row1 Row(row(0),make,row(2)) }) मैंने यहां से उपरोक्त संदर्भ लिया है: स्कला: मैं स्केल का उपयोग करके डेटाफ्रेम में मान को कैसे […]

स्पार्क डेटाफ़्रेम का उपयोग करते हुए JSON डेटा कॉलम की क्वेरी कैसे करें?

मेरे पास एक सीसांद्रा टेबल है जो सादगी के लिए कुछ ऐसा दिखता है: key: text jsonData: text blobData: blob मैं इसका उपयोग करके चिंगारी और स्पार्क-कासांद्रा-कनेक्टर का उपयोग करने के लिए एक बुनियादी डेटा फ्रेम बना सकता हूं: val df = sqlContext.read .format("org.apache.spark.sql.cassandra") .options(Map("table" -> "mytable", "keyspace" -> "ks1")) .load() मैं हालांकि अपने अंतर्निहित […]

दिलचस्प पोस्ट
जावा में यूआरएल मैच के लिए नियमित अभिव्यक्ति जावा इंटरफेस / कार्यान्वयन नामकरण सम्मेलन सी # में स्ट्रीम के साथ बड़ी पाठ फ़ाइलें पढ़ना सी # और जावा में जेनेरिक के बीच अंतर क्या है … और सी ++ में टेम्पलेट्स? MVC प्रगति बार थ्रेडिंग मैं .NET के लिए अच्छा क्रैश डंप कैसे ले सकता हूं? पिछले फ़ंक्शन के पूरा होने के बाद फ़ंक्शन को कॉल करें मैं जावास्क्रिप्ट में एसिंक्रोनस फ़ंक्शन कैसे बना सकता हूं? JSON स्ट्रिंग में बाइनरी डेटा Base64 से बेहतर कुछ कैसे underscore.js एक टेम्पलेट इंजन के रूप में उपयोग करें? ओ (1) में अद्वितीय (गैर दोहराव) यादृच्छिक संख्याएं? SO_REUSEADDR (setockopt विकल्प) का अर्थ क्या है – लिनक्स? Android में गतिशील रूप से एक LinearLayout पर मैं एक TextView कैसे जोड़ सकता / सकती हूं? अनुरोध हैडर फ़ील्ड ऐक्सेस-कंट्रोल-एप-हेडर्स द्वारा प्रवेश-नियंत्रण-अनुमति-हेडर की अनुमति नहीं है ओपनएसएल मैक ओएस एक्स एल कैप्टन के नवीनतम संस्करण को कैसे स्थापित करें I