Articles of स्क्रीन स्क्रैपिंग

अजगर में सही वर्णसेट के साथ किसी भी (!) वेबपृष्ठ को कैसे डाउनलोड करें?

मुसीबत जब अजगर का उपयोग कर किसी वेबपेज को स्क्रीन-स्क्रैप करना होता है तो उसे पृष्ठ के वर्ण एन्कोडिंग को पता होना चाहिए। अगर आपको अपने आउटपुट से गलत एन्कोडिंग वर्ण मिलते हैं तो गड़बड़ हो जाएगी। लोग आमतौर पर एन्कोडिंग का पता लगाने के लिए कुछ मूल तकनीक का उपयोग करते हैं। वे या […]

फ़ॉर्म डेटा सबमिट करने और प्रमाणित करने के लिए अजगर और मैकेनिक का उपयोग करना

मैं वेबसाइट Reddit.com पर लॉगिन सबमिट करना चाहता हूं, पृष्ठ के किसी विशेष क्षेत्र पर जाएं, और एक टिप्पणी सबमिट करें। मुझे नहीं पता कि इस कोड में क्या गलत है, लेकिन यह काम नहीं कर रहा है कि Reddit साइट पर कोई भी बदलाव नहीं दिखाई देता है। import mechanize import cookielib def main(): […]

नोकोगिरि, ओपन-यूरी और यूनिकोड वर्ण

मैं एक वेबपेज पर शीर्षक टैग की सामग्री को पकड़ने के लिए नोकोगीरी और ओपन-यूरी का उपयोग कर रहा हूं, लेकिन जोर से अक्षर के साथ परेशानी हो रही है इनमें से निपटने का सबसे अच्छा तरीका क्या है? यहां मैं क्या कर रहा हूं: require 'open-uri' require 'nokogiri' doc = Nokogiri::HTML(open(link)) title = doc.at_css("title") […]

एडब्ल्यूएस मशीन पर अजगर में सेलेनियम से फ़ायरफ़ॉक्स को कॉल करने में असमर्थ

मैं जावास्क्रिप्ट के साथ कुछ गतिशीलता पृष्ठों को स्क्रैप करने के लिए अजगर से सेलेनियम का उपयोग करने की कोशिश कर रहा हूं। हालांकि, मैं पपी पेज (http://pypi.pyththon.org/pypi/selenium) पर सेलेनियम के निर्देशों का पालन करने के बाद फ़ायरफ़ॉक्स नहीं बुला सकता। मैं AWS उबुंटू 12.04 पर फ़ायरफ़ॉक्स स्थापित कर रहा हूँ। मुझे मिल गया त्रुटि […]

मैं वेब पेज की सामग्री कैसे प्राप्त कर सकता हूं और उसे स्ट्रिंग चर में सहेज सकता हूं

मैं एएसपी.NET का उपयोग कर वेब पेज की सामग्री कैसे प्राप्त करूं? मुझे एक वेबपेज का HTML प्राप्त करने के लिए एक कार्यक्रम लिखना होगा और उसे स्ट्रिंग चर में संग्रहीत करना होगा।

नोड। जेएस के साथ रीयल टाइम में वेब पेज स्क्रैप करें

नोड। जेएस का उपयोग करते हुए वेबसाइट सामग्री को परिमार्जन करना अच्छा था। मैं कुछ बहुत, बहुत तेजी से निर्माण करना चाहता हूं जो कयाक डॉट कॉम की शैली में खोजों को निष्पादित कर सकता है, जहां एक क्वेरी कई अलग-अलग साइटों पर भेजी जाती है, परिणाम स्क्रैप हो जाते हैं, और क्लाइंट के रूप […]

HTML पार्सिंग के लिए अजगर नियमित अभिव्यक्ति (सुंदरसूप)

मैं एचटीएमएल में छिपे हुए इनपुट फ़ील्ड के मूल्य को प्राप्त करना चाहता हूं <input type="hidden" name="fooId" value="12-3456789-1111111111" /> मैं पायथन में एक नियमित अभिव्यक्ति लिखना चाहता हूं जो कि फ़ूइड के मान को वापस देगा, बशर्ते मुझे पता है कि HTML में पंक्ति प्रारूप का अनुसरण करती है <input type="hidden" name="fooId" value="**[id is here]**" […]

पायथन से जावास्क्रिप्ट निष्पादित करना

मेरे पास HTML वेबपेज हैं जो मैं xpath का उपयोग कर रेंग रहा हूँ। एक विशिष्ट नोड के etree.tostring मुझे यह स्ट्रिंग देता है: <script> <!– function escramble_758(){ var a,b,c a='+1 ' b='84-' a+='425-' b+='7450' c='9' document.write(a+c+b) } escramble_758() //–> </script> मुझे सिर्फ escramble_758() के उत्पादन की आवश्यकता है मैं पूरी बात समझने के लिए […]

मैं साइट स्क्रैपिंग को कैसे रोकूं?

मेरे पास बड़े कलाकार डेटाबेस के साथ काफी बड़ी वेबसाइट है मैं हमारी साइट के डेटा को स्क्रैप करने वाले अन्य संगीत साइटों को देख रहा हूं (मैं यहां डमी कलाकार नाम दर्ज करता हूं और फिर उनके लिए Google खोज करता हूं)। मैं स्क्रीन स्क्रैपिंग कैसे रोक सकता हूं? क्या यह संभव है?

एक ही बात करने के लिए यूआरएल पर लूपिंग

मैं कुछ साइटों को परिमार्जन करने के लिए tring हूँ। यहां मेरा कोड है: for (var i = 0; i < urls.length; i++) { url = urls[i]; console.log("Start scraping: " + url); page.open(url, function () { waitFor(function() { return page.evaluate(function() { return document.getElementById("progressWrapper").childNodes.length == 1; }); }, function() { var price = page.evaluate(function() { // […]

दिलचस्प पोस्ट
वेबविय टेक्स्ट चयन के लिए एक कस्टम प्रासंगिक ऐक्शन बार का उपयोग करें मैं कैसे git शाखाओं को संग्रहित कर सकता हूँ? मैं एसक्यूएल सर्वर में INNER JOIN का उपयोग कर एक से अधिक तालिकाओं से कैसे हटाऊं? मैं किसी को जीआईटी रिपॉजिटरी कैसे ईमेल कर सकता हूं? ES6 टेम्पलेट लिटरल्स के लिए निष्पादन हटाएं क्यों जावा 8 विभाजन में कभी-कभी परिणाम स्ट्रिंग की शुरुआत में खाली स्ट्रिंग को हटा दिया जाता है? 'रनटाइम लाइब्रेरी' के लिए बेमेल का पता चला कैसे mysql डेटाबेस का आकार प्राप्त करने के लिए? टर्नरी हालत में अप्रत्यक्ष रूपांतरण मुद्दा कैसे स्कैनर विधि "hasNext" के साथ जावा में लूप से बाहर निकलने के लिए स्थिति के रूप में? क्रोम एक्सटेंशन में popup.js और background.js के बीच कैसे संपर्क करें? सीएसएस रूपांतरण इनलाइन तत्वों पर काम नहीं करता है Xcode 6 आईओओ एक कोको टच फ्रेमवर्क बनाना – आर्किटेक्चर मुद्दे एक अजगर कार्यक्रम से यूट्यूब-डीएल का उपयोग कैसे करें छवि को कर्सर में क्रोम में संगत बनाने में ड्रॉप करें