Semalt: Бясплатныя вэб-скрабкі для праграмістаў
Калі вам калі-небудзь спатрэбілася выцягваць дадзеныя з старонніх сайтаў, хутчэй за ўсё, вы аддаеце перавагу афіцыйным API. Аднак у Інтэрнэце ёсць некалькі вэб-скрабкоў, якія могуць палегчыць вашу працу, і як праграміст або распрацоўшчык вы можаце здабываць дадзеныя з самых розных сайтаў.
1. Скрабок дадзеных:
Data Scraper - гэта простая, але магутная і карысная праграма выскрабання Інтэрнэту. Ён не толькі соскабливает выявы і тэксты, але і аналізуе спісы і табліцы з адной альбо некалькіх старонак. Затым гэты інструмент пераўтворыць або захоўвае дадзеныя, вынятыя ў файлы XLS і CSV. Гэта бясплатна і пастаўляецца з вялікай колькасцю функцый. Аднак праграмісты і прафесійныя распрацоўшчыкі павінны выкарыстоўваць яго платную версію, якая пастаўляецца з вялікай колькасцю функцый і не патрабуе кадавання.
2. Вэб-скрабок:
Web Scraper - гэта пашырэнне Chrome, якое можна лёгка інтэграваць з вашым браўзэрам Google Chrome. Дазваляе карыстальнікам ствараць мапы сайтаў, каб паказаць, якім спосабам павінны перамяшчацца па сайце, і тып дадзеных, якія трэба саскрэбці. Праграмістам і распрацоўшчыкам проста неабходна дадаць гэта пашырэнне ў свой Chrome і пачаць здабываць дадзеныя.
3. Скрабок:
Калі гаворка ідзе пра выманне дадзеных, распрацоўшчыкам і праграмістам даводзіцца сутыкацца з вялікай колькасцю праблем. Аднак з Scraper іх працу можна зрабіць хутчэй і прасцей, чым калі-небудзь. Гэта просты ў выкарыстанні вэб-скрабок, які можа здабываць дадзеныя ў выглядзе табліц, малюнкаў, спісаў і тэкстаў. Вам проста трэба націснуць кнопку Scrape у правым верхнім меню і дазволіць гэтаму інструменту зрабіць сваю працу.
4. Васьміног:
Octoparse пастаўляецца з магутнымі варыянтамі і з'яўляецца адным з лепшых скрабкоў у Інтэрнэце. Ён можа лёгка апрацоўваць статычныя і дынамічныя сайты пры дапамозе AJAX, кукі і Javascript. Вам проста трэба спампаваць гэтую праграму і актываваць яе. Ён таксама схавае змесціва, якое вы можаце не жадаеце здабываць, і яго хмарны сэрвіс дазваляе вам атрымаць велізарны аб'ём дадзеных на працягу некалькіх хвілін.
5. ParseHub:
Parsehub - вядомая праграма выскрабання, якая збірае дадзеныя з сайтаў і блогаў, якія выкарыстоўваюць JavaScript, кукі і тэхналогію AJAX. Ён мае унікальную тэхналогію машыннага навучання, якая дазваляе без праблем чытаць, ацэньваць, трансфармаваць і аналізаваць адпаведныя дадзеныя.
6. Візуальны скрабок:
Visual Scraper выдатна падыходзіць для тых, хто хоча здабываць выявы і відэафайлы. Гэта бясплатны вэб-скрабок, які пастаўляецца з простым інтэрфейсам "націсніце і націсніце" і шырока выкарыстоўваецца для збору адпаведных дадзеных з Інтэрнэту. Вы атрымаеце дадзеныя ў рэжыме рэальнага часу з патрэбных старонак і экспартуеце іх у выглядзе XML, CSV, SQL і JSON.
7. Перахітрыце хаб:
Гэтая бясплатная праграма пастаўляецца з вялікай колькасцю функцый і лепш за ўсё падыходзіць для Windows, Linux і іншых аперацыйных сістэм. Гэта дазволіць вам скрабаць дадзеныя з больш чым пяцідзесяці тысяч вэб-старонак. Аднак прэміум-версія можа выдаліць звыш 130 000 вэб-старонак без праблем.
8. Dexi.io:
Dexi.io - таксама вядомы пад назвай CloudScrape - вядомы вэб-скрабок на аснове браўзэра. Ён дазваляе карыстальнікам скрабаваць дадзеныя і дае тры робаты рознага тыпу, каб лёгка зрабіць працу. Ён можа выконваць задачы, звязаныя з поўзаннем, здабычай і перадачай дадзеных.
9. Webhose.io:
Webhose.io - бясплатная праграма, якая прадастаўляе нам ананімны вэб-проксі-сервер і выконвае працу як мага хутчэй. Ён не толькі скрэблі ваш сайт, але і архіўныя дадзеныя; гэта азначае, што вам не прыйдзецца турбавацца пра страту карыснай інфармацыі, бо яна будзе захавана ў тэчцы Archive.