Hi,
Saya perlu bantuan untuk fix bug aplikasi webscraper, untuk source code aplikasi yang saat ini bisa dicek di lampiran project ini.
Bug yang perlu di fix:
- Webscraper ini tidak menyimpan link url selain pada file index
- Webscraper ini masih menyimpan halaman dari link url external, misal link sosial media di footer, embed youtube, embed google. Seharusnya webscraper ini hanya memproses dan menyimpan halaman dari link internal saja yang start domainnya sama, untuk link eksternal bisa diubah menjadi #
- Webscraper ini tidak bisa start dengan input yang menggunakan subfolder, contoh namawebsite.com/web, tidak work, dia akan mencoba start dari namawebsite.com dan bukan dari namawebsite.com/web, jadi hanya bisa work di main domain atau main subdomain tapi tidak di subfolder.
- namadomain.com WORK
- subdomain.namadomain.com WORK
- namadomain.com/subfolder TIDAK WORK
- subdomain.namadomain.com/subfolder TIDAK WORK