Een web scraper die top 10 blogs post zonder menselijke tussenkomst

Eén van de problemen die we vinden met sommige projectaanbevelingen, is dat ze projecten aanbevelen die niet zo zijn geïmplementeerd dat de programmeur enthousiast wordt om door te gaan met ontwikkelen. Ik zie bijvoorbeeld dat veel mensen aanraden om een web scraper te bouwen.

Als je eenmaal die web scraper hebt gebouwd en de gegevens hebt geschraapt, wat ga je er dan mee doen?

In plaats van alleen de gegevens te schrapen, waarom bouw je niet een website met die gegevens. Het hoeft niet mooi te zijn of veel bekeken te worden. Deze scraper kan de gegevens in een database zetten en dan de populairste berichten selecteren. Van daaruit zou het de titel kunnen kopiëren, samen met een paar zinnen, en dan een post maken die het online deelt. Dit zou een indrukwekkend en eenvoudig project zijn waar je mee voor de dag kunt komen.

Je hebt nu laten zien dat je meer kunt doen dan alleen een klein deel van een systeem coderen. In plaats daarvan kun je een heel systeem doordenken. Je moet bedenken hoe je het proces gaat automatiseren, de database gaat beheren, de website gaat maken en de berichten gaat selecteren. Dit stelt u ook in staat om daadwerkelijk een tastbaar eindproduct te hebben.

Zonder een tastbaar eindproduct, is het heel gemakkelijk om ongemotiveerd te raken en gewoon te stoppen bij slechts een web scraper.

Daarnaast, je weet maar nooit, misschien wordt je site populair!

Vaardigheden: Database, web scraper, automatisering, web development (voor de blog), en algemeen programmeren.

Een event-alert systeem dat Meetup en Eventbrite API’s gebruikt

Heb je ooit naar een band of comedian show willen gaan, maar realiseerde je je dat het vorige week was? Misschien was er een gratis conferentie bij jou in de buurt over data science of big data en heb je die gemist omdat je vergeten was te checken.

Waarom maak je niet je eigen aggregator met behulp van de Meetup en Eventbrite API’s, die je waarschuwt als er trefwoorden in beschrijvingen of titels van evenementen staan? Nu, ik neem aan dat Meetup en Eventbrite vergelijkbare opties hebben. Maar het is altijd leuk om te proberen je eigen systeem te bouwen.

Je kunt het systeem aanpassen om te werken zoals jij wilt, en misschien zelfs andere mensen toestaan om hun eigen waarschuwingen te maken door hier een website van te maken. Wat we leuk vinden aan dit project is dat je kunt oefenen met het werken met twee verschillende API’s. Dit zal je toelaten om te vergelijken en te contracteren wat je wel en niet goed vindt aan hen. Op die manier, als je ooit de leiding krijgt over het bouwen van een API, heb je een beter beeld van wat werkt en wat niet.

Vaardigheden: API’s, database, automatisering, webontwikkeling en algemeen programmeren.

Een 9GAG copy cat

Je hoeft niet altijd te proberen om het wiel opnieuw uit te vinden bij het maken van je eigen projecten. Eenvoudige projecten zoals een site waarop je kunt inloggen, foto’s en GIF’s kunt posten en door een feed kunt scrollen, bieden de mogelijkheid om eerst een solide basissite te maken. Dan kun je veel interessante functies toevoegen zoals volgen, liken en zoeken. Vooral zoeken zou een geweldige kans zijn om te leren hoe aanbevelingssystemen en machinaal leren werken!

Het is altijd leuk om te proberen populaire sites na te maken. Het is eigenlijk een geweldige manier om te leren, omdat je elke functie moet reverse-engineeren. Reverse engineering is een geweldige vaardigheid, want als software engineer zul je constant andermans code onderhouden en je zult in hun hoofd moeten kruipen.

Vaardigheden: Machine learning (voor aanbevelingssysteem), database, automatisering, webontwikkeling, en algemene programmering.