Du må være registrert og logget inn for å kunne legge ut innlegg på freak.no
X
LOGG INN
... eller du kan registrere deg nå
Dette nettstedet er avhengig av annonseinntekter for å holde driften og videre utvikling igang. Vi liker ikke reklame heller, men alternativene er ikke mange. Vær snill å vurder å slå av annonseblokkering, eller å abonnere på en reklamefri utgave av nettstedet.
  117 58407
Anonym bruker
"Skrikende Krabbe"
Generert avatar for denne anonyme brukeren
Har ikke satt meg inn i hvordan koden til Lanjelin fungerer, men virker ikke som om man trenger å sette sammen tiles for å få full oppløsning på avisene. Kanskje mulig å spare litt tid og regnekraft på å hente hele sider?

Eksempel
https://www.nb.no/services/image/res.../0/default.jpg
https://www.nb.no/services/image/res.../0/default.jpg
med oppløsningen fra
https://www.nb.no/services/image/res...null/info.json
Sitat av jonny2 Vis innlegg
slik scriptet er nå kan du laste ned en bedre kvalitet enkelt ved å endre linje 18 fra $level = 3 til $level = 4. hvis bøkene har vanlig format funker det uten problem.
for å gjøre scriptet mer fleksibelt, og laste ned max kvalitet ($level = 5) må scriptet endres mer.
pseudo-kode:
- gitt $level, finn ut hvor mange bilder som inngår i ei side (rekker og kolonner) slik som linje 80-90 idag sjekker om det er 2 kolonner eller ikke.
- last ned rekker og kolonner og sett sammen bildet, endre funksjonen merge linje 25.
skal prøve å endre på scriptet asap. men som sagt, bare endre til $level = 4, skal gå fint og gi høyere kvalitet.

j2
Vis hele sitatet...
Takk for eit kjempefint script!

Eg held på med å lage (eit foreløpig rimelig patetisk) front-end til scriptet, men slit med å få til opplisting av ferdige bøker. Eg ser du får same feilen i dir2pdf, kor æøå og andre spesialtegn ikkje blir rett i $bookname. Har du sysla meir med å få dette til? Det ser ut til at filnavn med spesialtegn og php er ein kjempedårleg kombo, men om nokon har løyst dette så send meg gjerne ei line...
▼ ... over en uke senere ... ▼
Tusen takk for deres arbeid. Det fungerer bra mesteparten av tiden, men det er noen problemer.

Først av alt, noen boksider kan ikke lastes ned, for eksempel fra denne boken her.

For programmet av Lanjelin får jeg denne feilen:

Laster ned bok med ID: 2008071704082
Lagret side C1.jpg
Lagret side C2.jpg
Lagret side C3.jpg
Lagret side 0001.jpg
Lagret side 0002.jpg
Lagret side 0003.jpg
Lagret side 0004.jpg
Lagret side 0005.jpg
Lagret side 0006.jpg
Lagret side 0007.jpg
Lagret side 0008.jpg
Lagret side 0009.jpg
Lagret side 0010.jpg
Lagret side 0011.jpg
Lagret side 0012.jpg
Lagret side 0013.jpg
Lagret side 0014.jpg
Traceback (most recent call last):
File "nbno.py", line 173, in <module>
downloadPage(str(pageCounter).rjust(4, '0'),x)
File "nbno.py", line 98, in downloadPage
img = Image.open(io.BytesIO(response))
File "C:\Python27\lib\site-packages\PIL\Image.py", line 2590, in open
% (filename if filename else fp))
IOError: cannot identify image file <_io.BytesIO object at 0x00000000044FB8E0>
Vis hele sitatet...
For programmet av jonny2 får jeg denne feilen:

laster ned bok 2008071704082...
sidene i boka er delt i 3 kolonne(r) og 4 rekke(r).
henter cover 1...

Warning: rename(tmpbooks/2008071704082/col0row3.jpg,tmpbooks/2008071704082/colrow3.jpg): The system cannot find the file specified. (code: 2) in C:\xampp\htdocs\nb-dl\nbno9.php on line 42

Warning: imagecreatetruecolor(): Invalid image dimensions in C:\xampp\htdocs\nb-dl\nbno9.php on line 74

Warning: imagejpeg() expects parameter 1 to be resource, boolean given in C:\xampp\htdocs\nb-dl\nbno9.php on line 82

Warning: imagecreatetruecolor(): Invalid image dimensions in C:\xampp\htdocs\nb-dl\nbno9.php on line 74

Warning: imagejpeg() expects parameter 1 to be resource, boolean given in C:\xampp\htdocs\nb-dl\nbno9.php on line 82

Warning: imagecopy() expects parameter 2 to be resource, boolean given in C:\xampp\htdocs\nb-dl\nbno9.php on line 70
henter cover 2...

Warning: rename(tmpbooks/2008071704082/col0row3.jpg,tmpbooks/2008071704082/colrow3.jpg): The system cannot find the file specified. (code: 2) in C:\xampp\htdocs\nb-dl\nbno9.php on line 42

Warning: imagecreatetruecolor(): Invalid image dimensions in C:\xampp\htdocs\nb-dl\nbno9.php on line 74

Warning: imagejpeg() expects parameter 1 to be resource, boolean given in C:\xampp\htdocs\nb-dl\nbno9.php on line 82

Warning: imagecreatetruecolor(): Invalid image dimensions in C:\xampp\htdocs\nb-dl\nbno9.php on line 74

Warning: imagejpeg() expects parameter 1 to be resource, boolean given in C:\xampp\htdocs\nb-dl\nbno9.php on line 82

Warning: imagecopy() expects parameter 2 to be resource, boolean given in C:\xampp\htdocs\nb-dl\nbno9.php on line 70
henter cover 3...

Warning: rename(tmpbooks/2008071704082/col0row3.jpg,tmpbooks/2008071704082/colrow3.jpg): The system cannot find the file specified. (code: 2) in C:\xampp\htdocs\nb-dl\nbno9.php on line 42

Warning: imagecreatetruecolor(): Invalid image dimensions in C:\xampp\htdocs\nb-dl\nbno9.php on line 74

Warning: imagejpeg() expects parameter 1 to be resource, boolean given in C:\xampp\htdocs\nb-dl\nbno9.php on line 82

Warning: imagecreatetruecolor(): Invalid image dimensions in C:\xampp\htdocs\nb-dl\nbno9.php on line 74

Warning: imagejpeg() expects parameter 1 to be resource, boolean given in C:\xampp\htdocs\nb-dl\nbno9.php on line 82

Warning: imagecopy() expects parameter 2 to be resource, boolean given in C:\xampp\htdocs\nb-dl\nbno9.php on line 70
henter side 0001...
henter side 0002...
henter side 0003...
henter side 0004...
henter side 0005...
henter side 0006...
henter side 0007...
henter side 0008...
henter side 0009...
henter side 0010...
henter side 0011...
henter side 0012...
henter side 0013...
henter side 0014...
henter side 0014...
henter side 0015...
boka hang seg opp
OK
Vis hele sitatet...
= begge kan ikke få side 15 (level 5 / høyeste kvalitet)

Dekkbladet er også (ofte) feil med program av jonny2.

dir2pdf.php fungerer ikke for store filer (~ 400 sider og større), i stedet får jeg denne feilmeldingen:

Fatal error: Out of memory (allocated 278921216) (tried to allocate 269098096 bytes) in C:\xampp\htdocs\nb-dl\fpdf.php on line 1457
Sist endret av Mogmanon; 4. mai 2018 kl. 17:08.
Sitat av Mogmanon Vis innlegg
Tusen takk for deres arbeid. Det fungerer bra mesteparten av tiden, men det er noen problemer.

Først av alt, noen boksider kan ikke lastes ned, for eksempel fra denne boken her.

For programmet av Lanjelin får jeg denne feilen:



For programmet av jonny2 får jeg denne feilen:



= begge kan ikke få side 15 (level 5 / høyeste kvalitet)

Dekkbladet er også (ofte) feil med program av jonny2.

dir2pdf.php fungerer ikke for store filer (~ 400 sider og større), i stedet får jeg denne feilmeldingen:

Fatal error: Out of memory (allocated 278921216) (tried to allocate 269098096 bytes) in Cxampp\htdocs\nb-dl\fpdf.php on line 1457
Vis hele sitatet...
Heisann, om du ser på side 15 (sideantall 17 printet på siden) på boka på nb.no, ser du at siden virker kuttet i høyre side, sammenlignet med andre sider.

Av en eller grunn er der ikke gyldige bilder for margen på høyre side for denne siden, du kan f.eks sammenlikne to marger fra to sider, som egentlig skal være like: side 15 - side 17.

Da dette til nå er et unikt problem som egentlig ikke skal oppstå, gidder jeg ikke legge tid og krefter for å finne en måte rundt, men det er alltids en kjapp løsning for at du skal kunne dra ned denne siden.

Dra ned scriptet på nytt, har just oppdatert det til å ikke laste ned cover by default, dette gjøres nå ved å slenge på --cover

Deretter åpner du filen i notepad (med mindre du har en mer fancy teksteditor), og endrer linjene 90 og 116 fra

while (c<=bok.maxcol): - til - while (c<=1):

Deretter laster du ned kun side 15 ved å kjøre python nbno.py --id 2008071704082 --start 15 --stop 15

Sidene etter 15 må da lastes ned ved å kjøre nbno.py --id 2008071704082 --start 16
-etter du har endret scriptet tilbake
Sist endret av Lanjelin; 6. mai 2018 kl. 21:07.
Takk så mye, det fungerer bra for den boken (og noen andre bøker som forårsaket problemer). Men nå får jeg denne feilen for denne boken:

Lagret side 0128.jpg
Lagret side 0129.jpg
Traceback (most recent call last):
File "nbno.py", line 175, in <module>
downloadPage(str(pageCounter).rjust(4, '0'),x)
File "nbno.py", line 117, in downloadPage
newImg.paste(imageParts[partCount], ((c*sinWidth),(r*sinHeight)))
IndexError: list index out of range
Vis hele sitatet...
Sitat av Mogmanon Vis innlegg
Takk så mye, det fungerer bra for den boken (og noen andre bøker som forårsaket problemer). Men nå får jeg denne feilen for denne boken:
Vis hele sitatet...
Oppdatert litt igjen, last ned oppdatert versjon.
Feilen på den boken skulle egentlig ha blitt fanget opp automagisk, men det har skjedd en glipp fra meg. Dette er nå på plass.

Nytt i nyeste oppdatering er dessuten

Kode

  --url                  Settes for å printe URL på hver del
  --error               Settes for å printe HTTP feilkoder
  --maxcol <int>   Sette max Col
  --maxrow <int>  Sette max Row
Om du får tilsvarende feil som på bok 2008071704082 tidligere, kan du sette til å laste den spesifikke siden, og legge til --url
Den vil da printe url til alle delene den henter, og siste før det stopper er da den med feil. Om en ser i URL er &col=2&row=0

En kan da igjen sette en lavere maksimum col vha. --maxcol 1
Det betyr istedet for å endre i koden kjører en bare

python nbno.py --id 2008071704082 --start 15 --stop 15 --maxcol 1

Har gjort noe forsøk på å fange opp denne feilen, men jeg finner ingenting som skiller feilaktige sider fra korrekte.

UPDATE
Scratch det siste der, greide å løse hele problemet ser det ut som, med litt errorhandling av bildedata den leser.

python nbno.py --id 2008071704082 greide nå å laste ned side 1 - 143 før jeg ikke gadd å teste mer.

Det eneste som nå ikke tas høye for auomagisk, er om en side plutselig er satt sammen av flere bilder, da scriptet tar utgangspunkt i første side den laster ned, og finner total antall deler på dette col&row.

Dette kan omgås ved å sette --maxcol og --maxrow til et høyt tall, men scriptet vil da bruke lengre tid, da det vil spørre etter en del sider som ikke eksisterer.
Sist endret av Lanjelin; 8. mai 2018 kl. 23:58. Grunn: Automatisk sammenslåing med etterfølgende innlegg.
Lanjelin, du er et geni! Takk så, så mye for din hjelp!
▼ ... over en måned senere ... ▼
Hei,

Jeg har prøvd begge metodene, både den til Lanjelin og jonny2, men ingen ser ut til å fungere. Jeg kommer igang med xampp og alt det der, men når jeg høgreklikker på "bildet" så kommer det ikke opp noen "åpne i ny fane" elns, slik at jeg sliter med å finne korrekt oppløsning som jeg må skrive inn i jonny2 sitt program. Når det gjelder Lanjelins program så kommer det opp feilmelding om at XXXXX.jpg er ikke funnet. Jeg har prøvd begge metodene nå nylig, kan det være at nb har endret noe på måten bøkene er vist på. Ser at siste innlegg på forumet er ca.mai.2018. Fungerer det fortsatt med dere ? Takk for svar

Forresten, hvorfor blir ikke innlegget mitt delt opp slik at de passer til PC-skjermen istedet for at jeg må skrolle 1m bort til høyre for å få med meg hele innlegget ? ))
Sist endret av bucar; 5. juli 2018 kl. 10:35. Grunn: Automatisk sammenslåing med etterfølgende innlegg.
IDen på boken du prøver å laste ned hadde hjulpet.
Gjorde noen tester, og ser ut til å fungere fint her.
Kan du prøve med denne: 2010071608024
Fritjof Irgens Dynamikk, fungerer fint den.
Hvilken program brukte du? Jeg bruker nbno2.jar som du laget for ikke så lenge siden? Java basert
Javaversjonen ble oppdatert til versjon 3, før den ble utdatert allerede halvveis ned på side 1 i denne tråden.
Har skrevet om pythonversjonen til en mye simplere og mer effektiv utgave, link med instrukser i signaturen.
tok en sjekk på jonny2 scripta som fungerer fint, så nb.no har ikke forandra noe fundamentalt.

beste,

Sitat av bucar Vis innlegg
Hei,

Jeg har prøvd begge metodene, både den til Lanjelin og jonny2, men ingen ser ut til å fungere. Jeg kommer igang med xampp og alt det der, men når jeg høgreklikker på "bildet" så kommer det ikke opp noen "åpne i ny fane" elns, slik at jeg sliter med å finne korrekt oppløsning som jeg må skrive inn i jonny2 sitt program. Når det gjelder Lanjelins program så kommer det opp feilmelding om at XXXXX.jpg er ikke funnet. Jeg har prøvd begge metodene nå nylig, kan det være at nb har endret noe på måten bøkene er vist på. Ser at siste innlegg på forumet er ca.mai.2018. Fungerer det fortsatt med dere ? Takk for svar

Forresten, hvorfor blir ikke innlegget mitt delt opp slik at de passer til PC-skjermen istedet for at jeg må skrolle 1m bort til høyre for å få med meg hele innlegget ? ))
Vis hele sitatet...
Hvor fant du informasjonen du trenger for jonny2 script. Da tenker jeg på oppløsningnen på bildene. Skal jo kunne gå an å finne den infoen i bildeadressen men den får jeg ikke opp ved å høgreklikke på et bilde
hei

har du den siste versjonen?, se post
https://freak.no/forum/showpost.php?...8&postcount=34

(jeg er jonny2, mista brukernavn/passord)

Sitat av bucar Vis innlegg
Hvor fant du informasjonen du trenger for jonny2 script. Da tenker jeg på oppløsningnen på bildene. Skal jo kunne gå an å finne den infoen i bildeadressen men den får jeg ikke opp ved å høgreklikke på et bilde
Vis hele sitatet...
hei, jeg får ikke lastet ned nbno9 versjonen. Kommer opp at "file has expired" fra zippy siden...

nå fikk jeg til å laste ned en bok med å bruke python-programmet. Men jeg tenkte å bruke jonny2 sin pdf-combiner, altså dir2pdf.php. Jeg putter den nedlasta boka i mappen tmpbooks også starter jeg opp programmet dir2pdf.php og får denne feilmeldingen.
2010080208033
Warning: getimagesize(tmpbooks/2010080208033/p0001.jpg): failed to open stream: No such file or directory in Cxampp\htdocs\nb-dl\dir2pdf.php on line 40
w 0, h 0
Warning: getimagesize(tmpbooks/2010080208033/cover1.jpg): failed to open stream: No such file or directory in Cxampp\htdocs\nb-dl\dir2pdf.php on line 52
N�ser, Harald - Dynamikk - fysikk for ingeni�rer (1998)

Warning: rename(tmpbooks/2010080208033,donebooks/2010080208033): Ingen tilgang. (code: 5) in Cxampp\htdocs\nb-dl\dir2pdf.php on line 100

Resultatet er at pdf blir laget men alle sidene blir blanke
Sist endret av bucar; 5. juli 2018 kl. 23:50. Grunn: Automatisk sammenslåing med etterfølgende innlegg.
hei, sorry fila var borte fra zippy. her er den i pastebin: https://pastebin.com/vYqYgQrv - lagre den som nb-dl/download.php (erstatter nbno9.php). med denne fila skal det gå bra - problemet var at scriptet ikke har fått tak i bildene siden nb.no har gått over til https://
Har slengt inn mulighet for å lage pdf av bildene som lastes ned, en slenger bare på --pdf ekstra i kommandolinjen. Den vil da legge til nye sider med ukomprimerte bilder fortløpende i en pdf med samme navn som folder.

Kode

python nbno.py --id 2016050348134 --cover --pdf


Det er også mulig å lage pdf av eksisterende mappe, ved å bruke --f2pdf. Om en vil ha med cover i pdf, må navn på denne endres fra C1.jpg til 0000.jpg.

Kode

python nbno.py --id mappenavn --f2pdf
Husk å laste ned oppdatert versjon av scriptet.
Sist endret av Lanjelin; 9. juli 2018 kl. 20:53.
▼ ... over en uke senere ... ▼
PDF-generingen får jeg ikke til å funke. Jeg får en en-sides PDF med noe som ser ut til å være siste side i boken. Filstørrelsen tyder også på at det kun finnes en side i pdf'en. Men alle bildene er lastet ned.
Fungerer fint her, skal appende sidene fortløpendes mens den laster ned.
Prøv å oppdatere pillow til nyeste om du ikke har (5.2.0).

pip uninstall pillow
pip install pillow

Tror det var samme feilen jeg møtte på mens jeg leste dokumentasjonen og prøvde å legge til funksjonen, til jeg innså pillow lå endel oppdateringer bak.
Sist endret av Lanjelin; 16. juli 2018 kl. 21:55.
Bingo! Hadde pillow 4.1.0 installert, og den ser ikke ut til å støtte append til pdf-filer.

Kode

pip install pillow>5.0
Ga meg 5.2.0 og alt løste seg.
Hei!

Jeg har veldig lite bakgrunnskunnskap når det kommer til scripts, så jeg håper dere kan hjelpe meg. Jeg vil laste ned bøker fra nb, men vil også få tilgang til (og kunne laste ned) bøker som kun er tilgjengelig i nasjonalbibliotekets lokaler. Hvordan kan jeg gjøre dette? Jeg har prøvd å lese litt på svarene deres, men forstår så godt som ingenting. Det som først ble skrevet av Zorro om nedlasting og hvilke programmer man trenger fungerer ikke lenger, så vidt jeg forstår. Hva må jeg gjøre, og hva gjør jeg galt?
Sitat av funlight217 Vis innlegg
Hei!

Jeg har veldig lite bakgrunnskunnskap når det kommer til scripts, så jeg håper dere kan hjelpe meg. Jeg vil laste ned bøker fra nb, men vil også få tilgang til (og kunne laste ned) bøker som kun er tilgjengelig i nasjonalbibliotekets lokaler. Hvordan kan jeg gjøre dette? Jeg har prøvd å lese litt på svarene deres, men forstår så godt som ingenting. Det som først ble skrevet av Zorro om nedlasting og hvilke programmer man trenger fungerer ikke lenger, så vidt jeg forstår. Hva må jeg gjøre, og hva gjør jeg galt?
Vis hele sitatet...
Bøker fra lokalene dems har jeg ikke funnet noen metode for å hente ennå, med unntak av bilder på 113x183px, som er totalt uleselige.

For å laste ned de andre, anbefaler jeg at du tar en kikk her.
Kommando for å installere pillow, og laste ned bøker, kjøres begge fra kommandolinjen.
<?php echo 'VIF'; ?>
datagutten's Avatar
Det er trolig filtrering på IP, så skal man ha beskyttede bøker må scriptet kjøres fra en maskin i deres nett.
Sist jeg var innom deres lokale i Oslo kunne man bare gjøre det fra dedikerte maskiner uten tilgang til Internett forøvrig. Det var alt-i-ett maskiner der en minnepenn ville vært svært synlig.
▼ ... noen uker senere ... ▼
Sitat av jonny2 Vis innlegg
jeg har endra på scriptet som laster ned bøker slik at du kan sette kvalitet/størrelse.
her er fila nbno9.php (som erstatter tidligere versjoner 1-8).
http://www49.zippyshare.com/v/UYeeDfzF/file.html
kvaliteten settes i fila på linje 25.
3: God, lesbar kvalitet (en normal bokside blir ca. 100 kb, dvs. bok på 150 sider blir ca. 15 mb).
4: Bedre kvalitet (ca. 250 kb/bokside, bok ca. 37 mb).
5: Er max størrelse/kvalitet (ca. 500 kb/bokside, bok ca. 75 mb).

resten av filene i systemet er som før, og kan lastes ned på
http://www101.zippyshare.com/v/nSnZWvTs/file.html
Vis hele sitatet...
Hei, kan du laste opp programmet igjen?
Sitat av KjellFreak Vis innlegg
Hei, kan du laste opp programmet igjen?
Vis hele sitatet...
Hei,
resten av systemet er som før her:
https://www101.zippyshare.com/v/nSnZWvTs/file.html

ny fil download.php erstatter nbno[1-9].php. det er denne fila som setter igang nedlastinga av bøker. den er endret til å håndtere https:
https://www102.zippyshare.com/v/LXqRChcv/file.html
▼ ... over en måned senere ... ▼
Hei Lanjelin,

hjertelig takk for oppdatering! Av en eller annen grunn får jeg ikke oppdateringen til å fungere. Jeg har installert Python 2.7.15 og fått oppdatert Pillow (5.2.0).

Dessverre har jeg ikke anelse om hva jeg gjør. Jeg skriver "python nbno.py --id 2011082308178" i Terminal (macOS 10.14) og får følgende resultat:

Laster ned bok med ID: 2011082308178
Traceback (most recent call last):
File "nbno.py", line 225, in <module>
x.updateMaxColRow(str(pageCounter).rjust(4, '0'))
File "nbno.py", line 80, in updateMaxColRow
response = urllib2.urlopen(req)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 154, in urlopen
return opener.open(url, data, timeout)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 435, in open
response = meth(req, response)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 548, in http_response
'http', request, response, code, msg, hdrs)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 467, in error
result = self._call_chain(*args)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 407, in _call_chain
result = func(*args)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 654, in http_error_302
return self.parent.open(new, timeout=req.timeout)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 429, in open
response = self._open(req, data)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 447, in _open
'_open', req)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 407, in _call_chain
result = func(*args)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 1241, in https_open
context=self._context)
File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 1198, in do_open
raise URLError(err)
urllib2.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:726)>

...

En mappe lages, men den er dessverre tom. Noen anelse om hva jeg gjør feil, evtl. hva som ikke fungerer?
▼ ... over en uke senere ... ▼
Hvorfor virker ikke dir2pdf i Xampp....?

2014102708173 w 0, h 0
Fatal error: Uncaught Exception: FPDF error: Missing or incorrect image file: tmpbooks/2014102708173/cover1.jpg in Cxampp\htdocs\fpdf.php:271 Stack trace: #0 Cxampp\htdocs\fpdf.php(1242): FPDF->Error('Missing or inco...') #1 Cxampp\htdocs\fpdf.php(885): FPDF->_parsejpg('tmpbooks/201410...') #2 Cxampp\htdocs\dir2pdf.php(64): FPDF->Image('tmpbooks/201410...') #3 {main} thrown in Cxampp\htdocs\fpdf.php on line 271
Sitat av anthon Vis innlegg
Hei Lanjelin,

hjertelig takk for oppdatering! Av en eller annen grunn får jeg ikke oppdateringen til å fungere. Jeg har installert Python 2.7.15 og fått oppdatert Pillow (5.2.0).

Dessverre har jeg ikke anelse om hva jeg gjør. Jeg skriver "python nbno.py --id 2011082308178" i Terminal (macOS 10.14) og får følgende resultat:

...snip...

En mappe lages, men den er dessverre tom. Noen anelse om hva jeg gjør feil, evtl. hva som ikke fungerer?
Vis hele sitatet...
Heisann, så desverre ikke denne posten før nå.
Opplever du fortsatt dette problemet?
Sitter du på norsk IP?

Prøvde selv med akuratt det du skrev, og går fint å lagre sidene her.

Prøv evt. med python nbno.py --id 2011082308178 --error for å få den til å spytte ut litt mer feilmeldinger.
Hei Lanjelin,

nå beveger jeg meg ut på dypt vann... Jeg har både Python 2.7 og 3.6 installert. Dersom jeg skriver python (eller python2) --id 2011082308178 --error, får jeg samme resultat som ovenfor.

Dersom jeg skriver python3 2011082308178 -error får jeg:

File "nbno.py", line 62
print 'Feil type!'
^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print('Feil type!')?

...

Jeg får samme melding både med min utenlandske IP og med Tunnelbear norsk IP.
▼ ... over et år senere ... ▼
I disse coronatider har nasjonalbiblioteket åpnet for at man kan lese bøkene man normalt må være på bibliotekets ip for å få tilgang til: https://www.udir.no/kvalitet-og-komp...KICZIdZe8OYnSE
Jeg har prøvd å bruke Lanjelin sitt python-script på vanlig vis (ved å henter id fra "Referere" når jeg har klikket meg inn på boka), men dette gir bare en tom fil. Jeg tolker det som at scriptet ikke klarer å omgå sperren, selv om jeg kan lese boken i nettleseren? Hadde vært kult å høre andres tanker rundt dette, gjerne med en fiks løsning
Sitat av CTRLfreak Vis innlegg
..snip..
Jeg har prøvd å bruke Lanjelin sitt python-script på vanlig vis (ved å henter id fra "Referere" når jeg har klikket meg inn på boka), men dette gir bare en tom fil. Jeg tolker det som at scriptet ikke klarer å omgå sperren, selv om jeg kan lese boken i nettleseren? Hadde vært kult å høre andres tanker rundt dette, gjerne med en fiks løsning
Vis hele sitatet...
Det er fort autentiseringen som feiler, ja.
Blir litt som om du logger inn på siden i Chrome, og forventer å være ferdig innlogget om du åpner den i Firefox.

Sitat av nb.no
Alle elever, studenter, lærere og vitenskapelig ansatte kan logge seg inn via Feide for tilgang.
Vis hele sitatet...
Her ikke testet, men ser fort ut til at jeg ikke har automatisk tilgang hvertall, kan søke (med hvilken begrunnelse? ).

Link + navn på bok som ligger bak denne innloggingen hadde fort hjulpet om jeg / noen andre får sett på det.
Sitat av Lanjelin Vis innlegg
Link + navn på bok som ligger bak denne innloggingen hadde fort hjulpet om jeg / noen andre får sett på det.
Vis hele sitatet...
Gjelder egentlig alle bøkene jeg har testet hvor det står "Kan kun åpnes i Nasjonalbibliotekets lokaler", men et eksempel er Kolbein Bell - Konstruksjonsmekanikk del II, Fasthetslære

https://www.nb.no/items/8920cb723706...bell%20kolbein

Takk for raskt svar
▼ ... over en uke senere ... ▼
<?php echo 'VIF'; ?>
datagutten's Avatar
Om noen har en fungerende innlogging kan jeg se på mulighetene for å laste ned.
Sitat av datagutten Vis innlegg
Om noen har en fungerende innlogging kan jeg se på mulighetene for å laste ned.
Vis hele sitatet...
Du kan logge inn med MinID og følg det som står på denne siden: https://www.nb.no/utvidet-tilgang/
Er det noen som vet hvordan man får full oppløsning på sidene i bøkene? Eller er alle boksidene delt opp i 6 eller 8 bilder?
▼ ... over en måned senere ... ▼
Jeg opplever det samme som andre har sagt om at scripten ikke fungerer på bøker som krever innlogginger. Ellers så fungerer scripten fortsatt for meg når det gjelder bøker som er tilgjengelige for alle.

Så hvordan kan denne autentifiseringsbiten løses? Jeg har ikke noe erfaring med scripting/python osv., dessverre. Kan det være så enkelt som å legge til en ekstra script/del som først logger deg inn og deretter går videre med resten av scripten? @Lanjelin @gawk

Jeg kan ta feil om dette, men jeg tipper nok å prøve å logge inn via MinID blir kanskje for komplisert/risky? I og med at det bruker en infrastruktur lik som BANK-ID og bruker fødselsnummer. I tillegg er det To-faktor-autentisering (2FA) ved innlogging via SMS eller PIN-kode fra brev (med mindre du fikk det til @datagutten )

Jeg tenker derfor å logge inn via FEIDE kan gjøre det enklere, men det krever at man går på universitet/høgskole (noe jeg selv gjør).
Imidlertid krever FEIDE-måten at man først logger inn med FEIDE, deretter trykker «OK» på en melding når man besøker boken man ønsker. 1) Så først krever scripten sikkert at man må logge inn. Kanskje via denne lenken?:

https://idp.feide.no/simplesaml/modu...e%3D1591555820

2) Men det må velges «tilhørighet», altså hvilke skoler man går på. 3) Deretter går man videre og skriver inn brukernavn og passord. 4) Deretter blir du «redirected»/omdirigerts til ‘nb.no/search’. 5) Etter det kan man gå til den varige lenken til boka.

F.eks. denne: https://urn.nb.no/URN:NBN:no-nb_digibok_2020012277040 (metode- og oppgaveskriving av Dalland). Men før man kan få tilgang til boka, må man trykk OK på en melding:


Etter det har man fått tilgang (beklager for wall-of-text)
Sist endret av Kyllingen; 7. juni 2020 kl. 22:34.
▼ ... noen måneder senere ... ▼
Sitat av Droodlez Vis innlegg
Er det noen som vet hvordan man får full oppløsning på sidene i bøkene? Eller er alle boksidene delt opp i 6 eller 8 bilder?
Vis hele sitatet...
Antall deler/bilder varierer avhenging av tilgjengelig/ønsket oppløsning, da systemet som spytter ut bildedeler har en begrensning på 1024x1024px.

Denne begrensningen gjelder av en eller annen grunn ikke for aviser.

Har nylig gjort en litt større oppdatering som henter all bildeinfo fra manifest (som tipset om tidligere i tråden).

Dette muliggjør for å laste ned avissider som enkle bilder, samt å alltid laste ned boksider i full oppløsning.
Forhindrer også i veldig stor grad http-errors, da det henter inn all data det trenger, istedet for å prøve seg frem.

Har testet både opp og ned, og frem og tilbake, men er plutselig bugs jeg har oversett. Setter pris på tilbakemelding om dette.

Koden er som alltid tilgjengelig her, på GitHub.



CCC
CCC
CCC
Sist endret av Lanjelin; 10. august 2020 kl. 19:43.
▼ ... noen måneder senere ... ▼
får bare "At line:1 char:3
+ --id 2017060708028
+ ~
Missing expression after unary operator '--'.
At line:1 char:3
+ --id 2017060708028
+ ~~
Unexpected token 'id' in expression or statement.
+ CategoryInfo : ParserError: ( [], ParentContainsErrorRecordException
+ FullyQualifiedErrorId : MissingExpressionAfterOperator" når jeg prøver å kjøre skriptet, noen som veit hva jeg gjør feil? (;

n fikk jeg "id : The term 'id' is not recognized as the name of a cmdlet, function, script file, or operable program. Check the spelling of the
name, or if a path was included, verify that the path is correct and try again.
At line:1 char:1
+ id 2017060708028
+ ~~
+ CategoryInfo : ObjectNotFound: (id:String) [], CommandNotFoundException
+ FullyQualifiedErrorId : CommandNotFoundException" pliiiis hjelp meg lol

tror jeg endelig fikk det til s trenger ikke hjelp (:
Sist endret av Dudleifs; 31. oktober 2020 kl. 01:09. Grunn: Automatisk sammenslåing med etterfølgende innlegg.
▼ ... mange måneder senere ... ▼
Mange takk til Lanjelin for et fantastisk script som jeg har brukt mye.

Jeg lurer på hvordan man laster ned Tidsskrift. For eksempel ønsker jeg å laste ned dette: http://urn.nb.no/URN:NBN:no-nb_digit...1030383050_001

Men det virker ikke med den vanlige metoden, ei heller ved å velge --avis. Ville satt stor pris på hjelp
Sitat av Kim007 Vis innlegg
Mange takk til Lanjelin for et fantastisk script som jeg har brukt mye.

Jeg lurer på hvordan man laster ned Tidsskrift. For eksempel ønsker jeg å laste ned dette: http://urn.nb.no/URN:NBN:no-nb_digit...1030383050_001

Men det virker ikke med den vanlige metoden, ei heller ved å velge --avis. Ville satt stor pris på hjelp
Vis hele sitatet...
Heisann.
Takk for posten. Tidsskrift var ikke støttet, men er lagt til nå.
Last ned oppdatert versjon, og bruk tidsskrift med 2021030383050_001 som id.

For eksempelet:

Kode

python3 nbno.py --id 2021030383050_001 --tidsskrift
Helt fantastisk og takk for så raskt svar. Du er en sann helt !
Sitat av Kim007 Vis innlegg
Helt fantastisk og takk for så raskt svar. Du er en sann helt !
Vis hele sitatet...
Tok like greit å la til støtte for resten av innholdet tilgjengelig i bildeformat også.

Følgende er nå støttet:
  • Bøker (digibok)
  • Aviser (digavis)
  • Bilder (digifoto)
  • Tidsskrift (digitidsskrift)
  • Kart (digikart)
  • Brev og Manuskripter (digimanus)
  • Noter (digibok)
  • Musikkmanuskripter (digimanus)
  • Plakater (digifoto)

Fjernet behov for å ha med --avis --tidsskrift ol, men en må nå ha med digibok, digikart ol. etter --id

F.eks

Kode

python3 nbno.py --id digitidsskrift_2021030383050_001
python3 nbno.py --id digikart_gaa0010000073
python3 nbno.py --id digavis_nordkap_null_null_19010712_18_28_1
python3 nbno.py --id digimanus_134257

Mulig det dukker opp en oppdatering etterhvert som navngir mapper ut fra tittel, om det er noe fornuftig info å hente (APA 7th?).

Koden er som alltid tilgjengelig på GitHub.
Setter pris på tilbakemelding om det dukker opp noe bugs.
Sist endret av Lanjelin; 31. mai 2021 kl. 00:17. Grunn: Link
▼ ... mange måneder senere ... ▼
@Lanjelin er det mulig å få støtte for programrapporter også? f.eks. digiprogramrapport_10023156?
Jeg leker med mulighetene for å gjenskape spillelistene fra radioprogrammet "Musikk under stjernene" med Harald Are Lund som gikk på mandager fra 1984 til 1993.

Random eksempel 28 Januar 1985:
www.nb.no/nbsok/nb/d940a5d82c07e5843f87d971552ea242?index=1#44

Spilleliste:
www.youtube.com/playlist?list=PLvu2xw7FDVKmLAyVUROTdZrkLGf3-_nKo
Done: https://github.com/Lanjelin/NBNO.py
Keep 'em coming

Sitat av Turbolego Vis innlegg
@Lanjelin er det mulig å få støtte for programrapporter også? f.eks. digiprogramrapport_10023156?
Jeg leker med mulighetene for å gjenskape spillelistene fra radioprogrammet "Musikk under stjernene" med Harald Are Lund som gikk på mandager fra 1984 til 1993.

Random eksempel 28 Januar 1985:
www.nb.no/nbsok/nb/d940a5d82c07e5843f87d971552ea242?index=1#44

Spilleliste:
www.youtube.com/playlist?list=PLvu2xw7FDVKmLAyVUROTdZrkLGf3-_nKo
Vis hele sitatet...
Anonym bruker
"Enig Rådyr"
Generert avatar for denne anonyme brukeren
Kan noen fortelle meg hvordan jeg går frem for å laste ned allt innhold av en spesifikk avis?
Sitat av Anonym bruker Vis innlegg
Kan noen fortelle meg hvordan jeg går frem for å laste ned allt innhold av en spesifikk avis?
Vis hele sitatet...
Er det
A. Installasjon for å bruke scriptet
B. Bruken av scriptet for å laste ned spesifikk avis (finne hva du skal putte inn i scriptet)
C. Laste ned alle aviser av gitt utgiver

du spør etter?

Har vurdert å oppdatere readme'en, kanskje med litt skjermbilder, da den kanskje ikke er så veldig god å forklare prosesssen.
Jeg har vært i kontakt med Nasjonalbiblioteket fordi jeg ønsket å få alle programrapportene til NRK P1 fra 1984 til 1993.
Som svar på et par spørsmål fikk jeg også en link til en beta-side for søk.
Denne beta-versjonen har en knapp for å laste ned en hel programrapport eller bare noen sider (tipper dette funker også for aviser @Anonym bruker )
Kan hende dette kan forenkle python koden?

Eksempel:

Programrapport: https://beta.nb.no/items/7947f335fc9...re%20Lund%22~5

Nedlastning-knapp hvor jeg velger høy oppløsning og alle sidene gir denne lenken som laster ned hele programrapporten som PDF:

https://www.nb.no/services/downloade...olutionlevel=6

Nå lurer jeg bare på om det er en enkel måte å få tak i alle nedlastningslenkene for alle 370 programrapportene som dukker opp i dette søket?

https://beta.nb.no/search?q=%22Musik...oDate=20211231

Har du noen forslag @Lanjelin ?
Sitat av Turbolego Vis innlegg
Jeg har vært i kontakt med Nasjonalbiblioteket fordi jeg ønsket å få alle programrapportene til NRK P1 fra 1984 til 1993.
Som svar på et par spørsmål fikk jeg også en link til en beta-side for søk.
Denne beta-versjonen har en knapp for å laste ned en hel programrapport eller bare noen sider (tipper dette funker også for aviser @Anonym bruker )
Kan hende dette kan forenkle python koden?

Eksempel:

Programrapport: https://beta.nb.no/items/7947f335fc9...re%20Lund%22~5

Nedlastning-knapp hvor jeg velger høy oppløsning og alle sidene gir denne lenken som laster ned hele programrapporten som PDF:

https://www.nb.no/services/downloade...olutionlevel=6

Nå lurer jeg bare på om det er en enkel måte å få tak i alle nedlastningslenkene for alle 370 programrapportene som dukker opp i dette søket?

https://beta.nb.no/search?q=%22Musik...oDate=20211231

Har du noen forslag @Lanjelin ?
Vis hele sitatet...
Last ned knappen ligger tilgjengelig på medier de har gjort tilgjengelig for nedlasting, eks Avis/Dagbladet Bok/Felix Orsinis Memoirer

Programrapportene er nok ikke fullt oppdaterte til den nye leseren enda, antar det er derfor de sendte deg en link til beta-siden hvor de tydeligvis jobber med å få det på plass. Ny vs gammel

For å få fatt på alle nedlastingslenkene er den kjappeste måten å hente de rett fra utviklerkonsollen i nettleseren.
Følgende genererer linker for alle sider og full oppløsning, sleng evt på -> +'&resolutionlevel=4' <- etter +url for å få lavere oppløsning.

HTML-kode

let urls = $('.item-card-container a').map( function() {
    return $(this).attr('href');
}).get();
urls.forEach(function(url){
	url = url.split('?')[0].split('/')[2];
	url = 'https://www.nb.no/services/downloader?urn='+url;
	console.log(url);
});
Etter den har spyttet ut alt, kan du høyreklikke i konsollen, og trykke Save as.. for å lagre alt som en .log

Etter å rydde litt i loggen, kan du eks. mekke til et lite bash-script som laster ned med wget.
Sist endret av Lanjelin; 29. desember 2021 kl. 18:12.