Programe de dezvoltare pentru Python

Activități de miniere a datelor

  • Activitatea de exploatare a datelor implică accesarea cu crawlere a web-ului, folosind instrumente precum Nutch și alte aplicații software relevante.

  • Lucrarea implică, de asemenea, o mulțime de răzuire web, folosind Python și alte instrumente conexe, având grijă de situații diferite - pe site se utilizează scripturi precum javascript sau ajax.

  • Analiza datelor cu ajutorul instrumentelor, cum ar fi Hadoop, face parte, de asemenea, din acest post.

  • Folosim baza de date MongoDB pentru majoritatea scopurilor noastre de stocare a datelor. Prin urmare, este o cerință ca dezvoltatorul de date miniere să aibă o bună cunoaștere a folosirii stand-alone MongoDB și să o integreze cu alte programe.

  • În afară de alte MongoDB, postul implică, de asemenea, alte baze de date mari de date, după cum este necesar pentru rezolvarea problemelor.

  • Activitatea de extragere a datelor presupune, de asemenea, citirea documentației API terță parte și integrarea funcționalității în programul propriu al companiei.

  • De asemenea, sarcina implică scrierea codificării bazată pe concepte statistice, astfel încât dezvoltatorul de date miniere este de așteptat să aibă o bună cunoaștere a statisticilor.

  • O altă cerință a oricărui candidat care solicită acest post este cunoașterea software-ului de control al versiunilor, cum ar fi Git, și subiecte conexe, pe măsură ce le folosim pe scară largă.

  • Versiunea Ubuntu a Linux este folosită în cadrul companiei noastre pentru dezvoltarea software-ului. Prin urmare, este de așteptat să fiți foarte familiarizați cu aceasta.

  • Nu trebuie să cunoașteți toate subiectele menționate mai sus. Dar ar fi trebuit să fi fost cel puțin un coder python de ceva timp pentru a constata că ești cu adevărat pasionat de a fi un dezvoltator de date miniere.

  • În cazul în care descrierea de mai sus a activității noastre de exploatare minieră vă interesează, atunci vă rugăm să o aplicați mai jos.