Hei!
Ikke sikkert det løser problemet ditt, men er i samme gata.
Da jeg programmerte, riktignok for en del år siden brukte jeg Python sitt Beautiful Soup-bibliotek for web scrapping. Jeg brukte også en del Jsoup i Java. Begge deler er veldokumentert og funket veldig bra. De navnene har satt seg i hjernen fordi det fungerte godt av de mange bibliotekene jeg brukte.