Du må være registrert og logget inn for å kunne legge ut innlegg på freak.no
X
LOGG INN
... eller du kan registrere deg nå
Dette nettstedet er avhengig av annonseinntekter for å holde driften og videre utvikling igang. Vi liker ikke reklame heller, men alternativene er ikke mange. Vær snill å vurder å slå av annonseblokkering, eller å abonnere på en reklamefri utgave av nettstedet.
  7 924
Noen her som har testet PrivateGPT? Hvilke grafikkkort benytter dere? De fleste GPUene har ikke nok vRAM. Må man over på noe slik? https://www.proshop.no/Grafikkort/PN...ikkort/3210094

Har RX580 8GB fra før.
PrivateGPT har jeg ikke prøvd, men kjører både Alpaca ( https://crfm.stanford.edu/2023/03/13/alpaca.html ) og Stable Diffusion XL fint på mitt RTX 4060 Ti 16 GB kort.

Mange som ikke liker det kortet dog, da det ikke har så mye ytelse i spill i forhold til prisen. Jeg kjøpte det kun for maskinlæring, og da er 16 GB minne kjekt.
Det ser ut til at det er Nvidia A100 som gjelder: https://www.nvidia.com/en-us/data-center/a100/ kommer i 40 og 80 GB
Sist endret av ketoDaddy; 1. desember 2023 kl. 11:03.
Hvor mye varm trenger man?


Jeg tror du kan få kjøpt noen drylergrafikkkort med 24+ gb ram, hvis du er villig til å betale noen tusenlapper og søker litt rundt om på finn.no . Bedrifter som kjøper slik type hardware pleier å selle det til en brøkdel av hva det originalt kostet, når deres gamle systemer erstattes.
Jeg har 3 TB med PDFer.

Sitat av TAketbrett Vis innlegg
Vis hele sitatet...
Har finni et til NOK 115'
Sist endret av ketoDaddy; 1. desember 2023 kl. 12:46. Grunn: Automatisk sammenslåing med etterfølgende innlegg.
Sitat av ketoDaddy Vis innlegg
Jeg har 3 TB mer PDFer.
Vis hele sitatet...
Du trenger vel ikke alt det der i vram?



Ville trodd at den dataen der ble lagra i vanlig RAM?

Isåfall kan du jo muligens prøve å sette inn en større SSD og sette på en monster pagingfile? Mulig jeg misforstår hvorfor du skriver 3 TB her, men du får ikke tak i skjermkort med så mye minne, hehe.

Om du trenger et billig skjermkort med mye RAM er kanskje et brunt RTX 3090 det du trenger. Ikke "billig" sånn sett, men det har 24 gb vram.


Mulig multigpu setup er verdt å vurdere her også? Eller bare leie fra serverfarm
Sist endret av KrølleBølleBrur; 1. desember 2023 kl. 12:51.
▼ ... noen uker senere ... ▼
Sitat av KrølleBølleBrur Vis innlegg
Mulig multigpu setup er verdt å vurdere her også? Eller bare leie fra serverfarm
Vis hele sitatet...
Det kan være en god start, bare for å sjekke hvordan det kjører.