Dette nettstedet er avhengig av annonseinntekter for å holde driften og videre utvikling igang. Vi liker ikke reklame heller, men alternativene er ikke mange. Vært snill å vurder å slå på annonsevisning, eller å abonnere på en reklamefri utgave av nettstedet.
  20 11023
Registrer deg for å skrive svar Trådrulett
aug. 2009
81  93
Kanskje ikke helt undergrunn å lagre noe som ligger ute på nettet for alle med norsk IP, men jeg prøver meg.

Er det noen her som kunne hjulpet meg med å lagret et par bøker fra NB.no?
Det jeg vil prøve på er å lagre bildene som nettsiden viser. Ser i URL at de ligger fra 0-100 f. eks ved en bok på 100 sider.

Sikkert ikke hokkuspokkus å få til dette. Har søkt på forumet, googlet, ja, det meste i et par dager nå.

Håper at noen kunne hjelpe meg

Takk på forhånd.

(Fint om vi slipper linker til lovdata her nå
zorro's Avatar
april 2007
443  255
Hei! Jeg lastet ned en del bøker fra nb.no før, men ser nå at de har fått en helt ny nettside og dermed også nytt system for visning av boksidene. Før var sidene lagret som ett enkelt bilde, nå ser det ut som om de ofte er delt opp i to (i hvert fall når man øker kvaliteten/størrelsen på boksiden). Dette gjør metoden min noe utdatert, men jeg kan allikevel dele den med deg.

Du trenger: Firefox, BatchDownload , ReNamer og eventuelt CutePDF Writer eller lignende. Jeg bruker "Sult" av Knut Hamsun som eksempelbok.

Bla opp til første side med tekst, i mitt tilfelle blir det siden hvor det kun står "Sult". (Dette fordi det ser ut som om forsiden, baksiden og noen andre "spesialsider" faller utenfor systemet jeg bruker.) På den siden du bladde opp, høyreklikker du og trykker "Kopier bildeadresse". Det skal være et firesifret tall etter no-nb_digibok_[BOKAS ID]_XXXX, for eksempel no-nb_digibok_2009011604050_0001. Da får du noe lignende:

Kode

http://www.nb.no/services/image/resolver?url_ver=geneza&urn=URN:NBN:no-nb_digibok_2009011604050_0001&maxLevel=5&level=2&col=0&row=0&resX=1744&resY=2872&tileWidth=1024&tileHeight=1024
Bytt deretter ut &level=2 med &level=3. Ved å bytte ut med &level=4 eller &level=5, så vil kvaliteten og lesbarheten bedres, men samtidig splittes også boksiden i flere bilder (hvor du ved hjelp av row og col kan hente ut de forskjellige delene.) I og med at det med min metode ikke er ønskelig å ha én side på mange bilder, bruker jeg her &level=3.

Nå lager du på PC-en din en mappe kalt "Sult", og deretter tre undermapper, f.eks. A, B og C. Finn også ut hva som er adressen til siste vanlige side. I vårt tilfelle er det no-nb_digibok_2009011604050_0160.

Høyreklikk deretter i Firefox og klikk på "BatchDownload". I feltet til "Base Url" limer du inn den &level=3-adressen vi fant i stad, i dette tilfellet denne. Endre så no-nb_digibok_2009011604050_0001 til no-nb_digibok_2009011604050_000(*), sett "Numbers: From" fra 1 til 9 og sett "Download folder" til Sult\A. Klikk deretter på "Start".

Prossessen må deretter gjentas igjen, men nå må 000(*) forandres til 00(*), "Numbers: From" fra 10 til 99 og nedlastningsmappen til Sult\B. Klikk Start.

Og jadda, enda en gang: denne gangen med 0(*), tall fra 100 til 160 (altså det vi istad fant ut at var siste side) og mappen til Sult\C. Grunnen til at vi må gjøre dette i tre prosesser er at BatchDownload gjør om 001 i "Numbers: From" til 1. Den skjønner altså ikke at den skal telle 001, 002, 003, istedet for 1, 2 og 3. Om vi ikke hadde lastet ned til tre forskjellige mapper, ville BatchDownload overskrevet de tidligere boksidene den har lastet ned. Dette skjønner du hvorfor om du ser i mappe A, B og C, siden filene får navn 001.jpg, 002.jpg, osv i alle mappene.

Nå kan du lukke både BatchDownload og Firefox, for så å starte ReNamer. Dra først filene dine fra mappe A inn i feltet "Drag your files here". Gjør så det samme med filene fra mappe B og deretter C. Klikk "Add", "Strip", huk av for "Digits" og klikk "Add rule". Du får da en feilmelding som sier at flere bilder får samme navn, klikk bare ok da. Trykk på ny på "Add", så på "Serialize" og "Add rule". Trykk så på "Rename". Nå skal filene ha fått forskjellige navn, fra 1.jpg og til og med 160.jpg. Du kan derfor nå klippe ut alle bildene fra A, B og C og lime inn i mappen "Sult", før du sletter de tre tomme mappene.

Nå har du for så vidt lagret hele boka, men om du synes det er upraktisk å ha hver side lagret som et bilde, kan du bruke f.eks. Cute PDF Writer til å lage én pdf av alle bildene.

Selv om dette ble et nokså langt innlegg, håper jeg du får det til! Hvis ikke er det bare å spørre i vei. Så får vi håpe at noen etter hvert også finner en god måte for å få lastet ned sidene i bedre kvalitet. God lesning!
aug. 2009
81  93
Takk for meget utfyllende svar! Skal nok lese det én gang til før jeg prøver meg
KP
¯\(º_o)/¯
Lanjelin's Avatar
juli 2007
Mekket til en downloader til et tidligere prosjet jeg hadde (lage ebøker av en serie som ikke er utgitt digitalt).
Du kan finne den her.
Laget i java, og bør kjøre fint på de fleste plattformer.

For å bruke denne plotter du inn bokID, fra side, til side (ingen fare om du setter denne for høyt), level og maxlevel.

De to sistnevnte finner du i URL'en om du åpner et bilde fra eboken her f.eks brukes maxlevel 5 og level 3.

Level og Maxlevel kan være noe krøll å få på plass, zorro hadde en fin beskrivelse hva dette er.

Trykk last ned - mappe lages og navngis fra bokID, hvor alle bildene inkl. cover blir lagret.
Kan anbefale XnView for å kikke fort over bildene at alle er hele.
aug. 2009
81  93
Bok nr. 1 lagret i PDF-format etter Zorros oppskrift!

Takk for det, Lanjelin! Skal ses på!
▼ over et år senere ... ▼
feb. 2014
1
Hei,
Har brukt Lanjelins downloader flere ganger med vellykket resultat!
Takk for det!
Men, jeg opplever at det er behov for bedre kvalitet for å få god lesbarhet av den nedlastede teksten. Opp til Level 4 kommer hver side som ett image, men som Zorro beskriver, er problemet at for høyere Levels blir sidene delt i to eller flere images. Såvidt jeg kan se, gir Level 5 at sidene blir delt i to images for hhv. øvre og nedre halvdel. Level 6 gir fire kvartsider.

Level 5 gir mye bedre kvalitet enn Level 4 og er helt OK til mitt formål, men da leverer Lanjelins downloader bare øvre halvside.

Da jeg ikke er oppegående på Java, vil jeg med dette spørre om Lanjelin kunne tenke seg å utvide downloaderen til å handtere Level 5 også?
Om ikke annet ville det være til stor hjelp om downloaderen kunne levere både øvre og nedre halvdel, så skal jeg vel finne en måte å lime dem sammen på.
▼ noen måneder senere ... ▼
¯\(º_o)/¯
Lanjelin's Avatar
juli 2007
Sitat av KrizR Vis innlegg
Hei,
Har brukt Lanjelins downloader flere ganger med vellykket resultat!
Takk for det!
Men, jeg opplever at det er behov for bedre kvalitet for å få god lesbarhet av den nedlastede teksten. Opp til Level 4 kommer hver side som ett image, men som Zorro beskriver, er problemet at for høyere Levels blir sidene delt i to eller flere images. Såvidt jeg kan se, gir Level 5 at sidene blir delt i to images for hhv. øvre og nedre halvdel. Level 6 gir fire kvartsider.

Level 5 gir mye bedre kvalitet enn Level 4 og er helt OK til mitt formål, men da leverer Lanjelins downloader bare øvre halvside.

Da jeg ikke er oppegående på Java, vil jeg med dette spørre om Lanjelin kunne tenke seg å utvide downloaderen til å handtere Level 5 også?
Om ikke annet ville det være til stor hjelp om downloaderen kunne levere både øvre og nedre halvdel, så skal jeg vel finne en måte å lime dem sammen på.
Vis hele sitatet...
Beklager for treg tilbakemelding.
Greide å slette kildekoden, og da det er det andre prosjektet jeg har hatt i java, vegret jeg meg litt for å ta det opp igjen, da det fører til endel lesing for å få til ganske basiske ting.

Uansett, fikk dekompilert den gamle downloaderen, og mekket/oppdatert koden, for å implementere en funksjon som du nevner.

Har selv ikke vært borti bøker der sidene er delt i to, men kodet på grunnlag av slik du beskriver det. Har derimot fått testet på bøker der sidene er delt i 4 og i 6, og det ser ut til å fungere uten problemer.

Da jeg først var i gang, slengte jeg like lett inn en funksjon som setter bildene sammen til ett enkelt, etter hvert som den laster ned de forskjellige delene.

Da det er brukt over, kan jeg også bruke Knut Hamsunds Sult som eksempel; med maxLevel 5, Level 5, 4 bilder for hver side, ender en opp med bilder på 1688x2830.

Nye filen kan finnes her.
zorro's Avatar
april 2007
443  255
Lanjelin: Ut i fra hva du skriver, virker det som et meget nyttig kode du har skrevet! Jeg får den dessverre ikke til å fungere på Mac med Mavericks, da det ser slik ut:

Jeg antar den hvite boksen nederst egentlig ikke skal være der? Har ingen Windows-maskin i nærheten som jeg kan teste på.


Legger derfor også ut min metode for å laste ned bøker i full kvalitet på, selv om den er nokså rotete og litt tungvind (disclaimer: jeg er kun en hobby-programmerer!). Se vedlegget "nb-download.zip" for filene. Disse må lastes opp på en server som kjører PHP. Videre følger en trinnvis gjennomgang av hvordan man laster ned Hamsuns "Sult".
1) Åpne boka på Nasjonalbiblioteket sine nettsider, og gå til første side du ønsker å laste ned. Høyreklikk deretter og vis bildet. Kopierer bildeadressen.
Ved problemer: sjekk at du har huket av på HTML og ikke på Flash-visning av boka!

2) Åpne index.php på serveren din. Du vil da få opp en dialogboks som spør etter bildeadresse; lim inn adressen her. Scale kan bare stå på 100, siden dette egentlig er en funksjon jeg ikke har giddet å verken fjerne/lage ferdig.
Om du ikke får opp dialogboksen: sjekk at du har Javascript aktivert i nettleseren!

3) Siden du har limt inn, i vårt tilfelle denne, vil nå vises i best mulig kvalitet - boksiden blir lagret på serveren din som "temp.jpg", og blir overskrevet om du limer inn en ny bildeadresse i dialogboksen på index.php. Trykk deretter på lenken hvor det står "(kode)". Du vil da få opp en kodesnutt lignende denne:

Kode

$colrow_file = "col1row2.php";
$x = "1024";
$y = "1024";
$background = imagecreatetruecolor($x*1+1760, $y*2+2880);
$bookid = "2009011604050";
$maxLevel = "5";
$level = "5";
$resX = "1760";
$resY = "2880";
4) Kopier kodesnutten, og åpne loop.php i en tekst-/kodeeditor. Lim den inn mellom "// KODESNUTT: START" og "// KODESNUTT: SLUTT". Ingen vits i å lukke loop.php ennå, du må endre et par ting til.

5) Sjekk nå hva som var sidetallet til den første siden du ville laste ned. OBS: ikke sjekk sidetallet på selve boksida, men den som finnes i URL-adressen - altså: &urn=URN:NBN:no-nb_digibok_2009011604050_XXXX. I vårt eksempel velger jeg 0003 og 0159 som start og slutt. Forside- og bakside-cover bruker et annet system, så velg første og siste "ordentlig" side.

6) Rediger start- og sluttverdi på loopen, slik at det i vårt tilfelle blir slik:

Kode

$loop=3;			// start sidetall
$loop<=159;		// slutt sidetall

// Viktig: ledende null skal ikke være med!
7) Gå til loop.php i din nettleser. Du vil bare se en hvit skjerm, mens nettsiden laster og laster. Om du derimot bruker et FTP-program, som for eksempel FileZilla, vil du se at boksidene én etter én blir lagret i full kvalitet i servermappa "output". Navnene er "0003.jpg", "0004.jpg", osv.
Om du skulle klare å avbryte loop.php mens den laster, kan du bare endre startverdien på loopen ( $loop=XX; ) til det siste filnavnet du har i "output"-mappa.

8) Når du ser at siste side ligger i "output" (i vårt tilfellle "0159.jpg"), kan du kopiere alle bildene over på din maskin. Jeg pleier dog å gjøre dette underveis/eventuelt laste ned boka i etapper, men dette er fordi jeg ikke har så altfor mye ledig plass på serveren min for tida. Når det er gjort, kan du slette alle bildene fra "output"-mappa på serveren.

9) For å laste ned for- og bakside av boka: Åpne forsiden av boka på Nasjonalbiblioteket sine sider, og kopierer bildeadressen. (Sidetallet er som oftest "C1"). Lim inn i dialogboksen på index.php, og last ned bildet som blir generert. Gjør det samme med baksiden av boka (som oftest er sidetallet "C3").

Du skal nå ha fått lastet ned alle sidene. Du kan eventuelt slå de sammen til en pdf, noe jeg pleier å bruke Automator (på Mac) til (guide). Legg da merke til at for-/bakside ikke har samme dimensjoner som resten av bildene; du trenger ikke å beskjære dem slik at de får samme dimensjon som resten av boka, men jeg synes det ser mye penere ut når det er gjort!

Du kan også bruke Automator til å skalere bildene dine, om du vil redusere filstørrelsen (guide). I mine øyne kan man ofte redusere bildestørrelsen en god del uten at lesbarheten blir merkbart dårligere.

Se de første sidene av endelig resultat her (uskalert).
Håper du får det til - bøker til folket! Hvis ikke er det bare å spørre, eller bruke Lanjelin sitt noe mer brukervennlige program.
Vedlegg
Click image for larger version

Name:	temp.jpg‎
Views:	247
Size:	80,1 KB
ID:	11173  Click image for larger version

Name:	lanjelin.png‎
Views:	2457
Size:	19,9 KB
ID:	11175  
Attached Files
File Type: zip nb-download.zip‎ (18,6 KB, 223 views)
File Type: pdf freak-sult.pdf‎ (1,82 MB, 209 views)
¯\(º_o)/¯
Lanjelin's Avatar
juli 2007
Sitat av zorro Vis innlegg
Lanjelin: Ut i fra hva du skriver, virker det som et meget nyttig kode du har skrevet! Jeg får den dessverre ikke til å fungere på Mac med Mavericks, da det ser slik ut:

Jeg antar den hvite boksen nederst egentlig ikke skal være der? Har ingen Windows-maskin i nærheten som jeg kan teste på.
...snip...
Vis hele sitatet...
Den hvite boksen skal være der, output for hva den gjør havner der.
Problemet er med måten jeg har bygget opp UI'en på, da endring av bredde påvirker plasseringen til elementene.
Er langt ifra erfaren med java, kan vel på godt norsk kalles en noob.

Har satt opp instillingene for bredden, så om du laster den ned igjen, havnet forhåpentligvis elementene noenlundes på rett plass.
Har dessuten rettet opp i en feil for lasting av sider med to bilder, samt lagt til støtte for 8.

Slik ser det ut for meg.
rAgIfOlO's Avatar
okt. 2011
342  50
Hei!

Jeg bare lurer, men går det ann å "lure" seg rundt sperren som gjør at stoffet jeg har lyst til å se på nb.no kun er tilgjengelig i norske biblioteker?

Gjelder forøvrig Aftenposten fra perioden under krigen.
zorro's Avatar
april 2007
443  255
Sitat av rAgIfOlO Vis innlegg
Hei!

Jeg bare lurer, men går det ann å "lure" seg rundt sperren som gjør at stoffet jeg har lyst til å se på nb.no kun er tilgjengelig i norske biblioteker?

Gjelder forøvrig Aftenposten fra perioden under krigen.
Vis hele sitatet...
Hei! Nå har jeg snoket litt rundt på deres nettsider, og har funnet en slags løsning. Det mest naturlige var jo å starte med et avansert søk blant avisene, hvor jeg satte søkeperioden fra 9. april 1940 til 8. mai 1945 (tok utgangspunkt i Norge). Først da skjønte jeg hva du mente med "kun er tilgjengelig i norske biblioteker"; alle avisene var merket med "Tilgang i norske bibliotek".

En tur innom Google (hvor site:nb.no er en flott funksjon!), avslørte denne lenken. Derfra fant jeg fram til en Java-applet hvor man kunne lese avisene:


Eneste problemet nå, er at dropdown-menyen på venstre side ikke går lenger fram til år 1908 - men det stopper da ikke oss! Ved å se på URL-adressen, kan du se hvordan systemet er bygget opp:

Kode

Her er siste avisa dropdown-menyen viser (31. des 1908):
http://www.nb.no/avis/programvare/vis_sider.php?publisert=&vis_tiffbilde=JA&modus=sok&tittel=URN:NBN:no-nb_digavishefte_5&aarstall=1908&maaned=12&dag=31

Om vi splitter opp litt, ser man lettere systemet:
http://www.nb.no/avis/programvare/vis_sider.php
?publisert=
&vis_tiffbilde=JA
&modus=sok
&tittel=URN:NBN:no-nb_digavishefte_5
&aarstall=1908
&maaned=12
&dag=31
Ganske selvforklarende, egentlig. Som du sikkert skjønner kan du manuelt endre på årstall, måned og dag (som f.eks. til 09.04.1940: morgenutgaven / kveldsutgaven, se eventuelt direktelenke til avisforsiden / 2). Det skal dog sies at jeg på noen utgaver får den noe kryptiske feilmeldinga "For Feil i tiden_sok: Dessverre: ikke funnet noe hefte(r) som tilsvarerer søkekriteriene" - men ved enkelte tilfeller har det funket for meg å prøve igjen senere. Etter at du manuelt har plottet inn en ønsket dato, så kan du benytte deg av "Hefte"- og "Side"-navigasjonen på venstre side.

Et par kommentarer angående direktelenker. Om du ser på adressen, vil du oppdage "URN:NBN:no-nb_digavisside_1760136". Ved å øke/minske URN:NBN:no-nb_digavisside_XXXXXXX (med én) vil du gå til neste/forrige side. Om du i en URL-adresse finner &vis_startnummer=XXXXXXX, kan du bruke dette tallet til å finne direktelenken til riktig avis. Eventuelt kan du høyreklikke på en avisside -> "Image" -> "Image Properties" og finne adressen der. Dette kan være meget nyttig om du ønsker å laste ned en hel avis/årgang - du kan da bruke for eksempel Firefox + BatchDownload:

Etter dette kan du jo slå bildene sammen til en pdf, og du vil få noe lignende dette eller dette.

Jeg anbefaler i tillegg å prøve deg litt fram med å endre på de andre verdiene du får oppgitt i URL-feltet. Eksempelvis forteller &tittel Java-appleten hvilken avis den skal vise; siden du nevnte Aftenposten brukte jeg den som eksempel (med &tittel=URN:NBN:no-nb_digavishefte_5). Denne kan du for eksempel bytte ut med URN:NBN:no-nb_digavishefte_27 (som er VG). Det er lærerikt å prøve seg fram! Håper du får det til, gamle aviser er spennende saker!
rAgIfOlO's Avatar
okt. 2011
342  50
Takk for svaret! Det var til stor hjelp
▼ over et år senere ... ▼
sep. 2016
13  2
her er noen script som kan laste ned ei liste med bøker fra nb og lage pdf-bøker av dem. les 00readme.txt der for mer info. takker for hjelp fra dere folka ovanfor her i tråden.
/jo

Link til kode
http://www101.zippyshare.com/v/nSnZWvTs/file.html
▼ over en uke senere ... ▼
okt. 2016
1
Jeg prøvde den snutten din, Jonny2, men ingenting fungerte. Er det noen programmer jeg må ha på pc'n for å få det til å fungere?
sep. 2016
13  2
hei
jeg har brukt XAMPP (v5.6.24) under windows. installér XAMPP så har du Apache og PHP og kan kjøre scripta på pc'en via http://localhost/nb-dl/
(Legg script-mappa nb-dl inn i xampp\htdocs\. i mitt tilfelle installerte jeg XAMPP til C:\xampp, dermed ligger scripta slik: C:\xampp\htdocs\nb-dl\ )
Deretter følger du det som står i 00readme.txt. husk at bookids.txt er lista med bøker du vil laste ned (én bok-id per linje). du kan lime inn id'er der manuelt, eller bruke html-filene og klikke "Last ned" ved en boktittel for at bok-id'en skal legges til bookids.txt. Når du har en eller flere linjer i bookids.txt så kan du kjøre nbno7.php (som er den siste versjonen).
lykke til da, prøv deg fram ved å lese 00readme.txt
-j
▼ noen måneder senere ... ▼
The Merciful One
mr5050's Avatar
mai 2008
296  96
er helt ubruklig til it realterte ting men hvor finner jeg bok id! på nb ?
sep. 2016
13  2
hei

når du åpner ei bok i nb.no så ligger iden til boka nederst til venstre på sida som del av "varig lenke":
f.eks. åpne boka http://www.nb.no/nbsok/nb/375b21b8b2...e2c4?index=3#0
der nederst ligger "varig lenke": http://urn.nb.no/URN:NBN:no-nb_digibok_2008022704024
bokid er siste del av den adressa (det som kommer etter digibok_), altså: 2008022704024 er bokid.

hvis du laster ned php-scripta på http://www101.zippyshare.com/v/nSnZWvTs/file.html
og legger det på en php-server så kan du søke etter bøker med search.php og legge til bokid med å trykke på en knapp, det er enklere.

hilsen jonny
The Merciful One
mr5050's Avatar
mai 2008
296  96
Da har jeg prøvd og faila hardt trenger mer hjelp as
sep. 2016
13  2
jeg foreslår du prøve Lanjelins "nb.no nedlaster", over i tråden, den funker bra og du trenger ikke mye it kjennskap for å bruke den.
▼ noen uker senere ... ▼
jan. 2017
2
Sitat av Lanjelin Vis innlegg

Har satt opp instillingene for bredden, så om du laster den ned igjen, havnet forhåpentligvis elementene noenlundes på rett plass.
Har dessuten rettet opp i en feil for lasting av sider med to bilder, samt lagt til støtte for 8.
Vis hele sitatet...
Takk for et velfungerende lite program! Det har vært flittig brukt! Virker helt perfekt på sider som består av flere bilder også - opp til 8.

Jeg har en liten bønn... Kunne du tenke deg å lage en revisjon, hvor programmet støtter sider som er delt inn i flere biter enn 8? Ganske mange bøker/publikasjoner på NB er nå lagt ut i 12 deler pr. side, om man vil ha bra kvalitet. Sikkert andre varianter også - kanskje flere enn 12 til og med. Jeg har ikke forsket på dette.

Et eksempel:

http://www.nb.no/nbsok/nb/6e0a629ed5...ital?lang=no#0

Jeg er helt blank på java, og klarer ikke gjøre dette selv. Men tipper det er nokså lett for dere som kan det!
▼ over en måned senere ... ▼
mars 2017
1
@Lanjelin

Har brukt java programmet ditt til stor fryd i flere år, men nå har det problemer med sider som består av flere bilder på x aksen. Hadde satt stor pris på om du kunne sett på det og evt oppdatert om det finnes en løsning!
Registrer deg for å skrive svar
Moderer