Lagringsstrategi for store mengder data?

Sponsorer:
Takk Takk:  0
Like Like:  0
Side 1 av 3 1 2 3 SisteSiste
Viser resultater 1 til 20 av 48
  1. #1
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)

    Lagringsstrategi for store mengder data?

    Da er det på tide å gruble litt over fremtidens lagringsstrategi her.
    I dag står RAID-kontrolleren og kverner gjennom en OCE-prosess (Online Capacity Expansion) fra 6x1.5TB til 8x1.5TB i RAID5. Denne prosessen har holdt på i over 3 døgn, og kommer vel til å ta ca 10 dager. Dette er helt normalt.

    Dette har imidlertid fått meg til å begynne å tenke. Hva med den dagen jeg ønsker å bytte ut mine 1.5TB med f.eks 3TB disker. Da må jeg ta én og én disk til jeg har tatt alle 8, pluss at jeg må ta den siste prosessen som utvider RAIDet fra 8x1.5TB til 8x3TB. Det vil da si 9 laaaaaaaaange prosesser, som nok kommer til å ta flere måneder å fullføre totalt. Alternativet, som er mye kjappere, er å ha nok mellomlagringsplass et annet sted, men dette koster jo svinmye.
    Dette er med andre ord ikke en akseptabel løsning i lengden og jeg må begynne å tenke på en annen løsning.
    Kort sagt dreier det seg om å minimere sjansen for en "katastrofal" feil som tar med seg alle data, samtidig som det må være raskt og praktisk å utvide kapasiteten i alle retninger. Dvs flere disker og bytte ut disker med større disker når den tid kommer.

    Det optimale til mitt bruk er følgende:

    1. Alle disker kan være av ulik størrelse
    2. Alle diskene fremstår som en enkelt lagringspool
    3. Ingen avhengighetsforhold mellom diskene. Feiler én disk skal tjenesten fortsette helt upåvirket, selv om dataene på den disken som feiler må ansees som tapt. Jeg har backup av alt unntatt blu-ray, og det går kun omlag 50 blu-ray på 2TB, så dette er et overkommelig tap siden rippejobben ikke blir uendelig stor.


    Per i dag har jeg kun funnet en eneste løsning som nærmer seg en løsning på dette problemet, og det er WHS sin disk extender (redundans-biten er ikke interessant i denne problemstillingen). Denne er heller ikke perfekt, men valget som er tatt er forståelig. Kort sagt sprer WHS filer utover diskene i mer eller mindre tilfeldig rekkefølge. Det vil si at dersom du mister en disk, så kan du miste f.eks 2 av 20 filer i en mappe, og dette kan gjelde alle mapper. Med andre ord ser jeg for meg at systemet kommer i en relativt grisete posisjon om man skulle miste en disk uten redunans (WHS-brukere må gjerne korrigere meg om jeg tar feil)

    Ideelt sett hadde jeg foretrukket et system hvor dataene som går tapt er klart avgrenset i forhold til folderstrukturen, slik at de dataene man sitter igjen med kan anses som komplette.

    Linux har flere løsninger på dette problemet. LVM kan brukes til å danne et stort volum med mange disker. Problemet er at filsystemet går ad dundas om en disk i volumet feiler. Med andre ord ingen god løsning.
    Det samme gjelder span i kontrollere. Går en disk tapt ryker hele volumet, selv om dataene på de andre diskene egentlig ligger der.

    Med andre ord må nok dette skje i selve filsystemet dersom man skal tåle at et disk i volumet blir borte. To slike multidiskklare filsystemer er det nye BTRFS (Linux) og ZFS. Problemet her så vidt min begrensede kunnskap kan se, er at BTRFS alltid striper dataene over alle volum i poolen, selv om volumene kan være av ulik størrelse og man kan utvide som man vil. Striping er sterkt i strid med punkt 3 på listen min, selv om det gir meget mening fra et ytelsesmessig standpunkt.
    ZFS er jeg mer usikker på, men jeg har ikke sett at den støtter pooling/span i den form jeg ønsker. ZFS har også problemer med å utvide antallet disker så vidt jeg har sett (RAID-Z).

    Slik det ser ut nå, virker det faktisk som om den eneste løsningen er å ha kun enkeltdisker, uten å samle dem i en pool, samle dem rent SAMBA-delingsmessig ved hjelp av symbolske linker, slik at de fremstår som samme lagringsområdet, og deretter håndtere det at disker blir fulle på egenhånd (grøss), med manuell indeling av data per disk (dobbeltgrøss).

    Nå er ikke dette et voldsomt problem, siden det som faktisk genererer majoriteten av dataene er blu-ray ripper og der kan man jo ta en form for alfabetisk inndeling. Dette er likevel ikke så smooth jeg ønsker, men det er den eneste løsningen jeg kan se som gir meg den fleksibiliteten jeg trenger for fremtidig kapasitetsutvidelse uten å måtte mellomlagre enorme mengder data for hver gang, og uten å risikere å miste et helt RAID med ALLE diskers data dersom noe feiler i uke på uke med rebuilding og dertil reduksjon av redundans.

    Hva mener dere? Har dere tips til noen gode løsninger?

  2. #2
    Moderator striky sin avatar
    Medlem siden
    Apr 2003
    Sted
    Vestfold
    Poster
    3,296
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av marsboer
    Slik det ser ut nå, virker det faktisk som om den eneste løsningen er å ha kun enkeltdisker, uten å samle dem i en pool, samle dem rent SAMBA-delingsmessig ved hjelp av symbolske linker, slik at de fremstår som samme lagringsområdet, og deretter håndtere det at disker blir fulle på egenhånd (grøss), med manuell indeling av data per disk (dobbeltgrøss).
    Det er denne veien jeg har valgt å gå, ihvertfall. Samler alt av film under en felles mappe med symbolske lenker, mulig jeg deler dette opp i to (f.eks. A-M og N-Å) hvis det viser seg at navigering i en så stor enkeltliste blir for ressurskrevende. Lenkene genereres automatisk med et lite script som kjøres ved behov for oppdatering.

  3. #3
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av striky
    Det er denne veien jeg har valgt å gå, ihvertfall. Samler alt av film under en felles mappe med symbolske lenker, mulig jeg deler dette opp i to (f.eks. A-M og N-Å) hvis det viser seg at navigering i en så stor enkeltliste blir for ressurskrevende. Lenkene genereres automatisk med et lite script som kjøres ved behov for oppdatering.
    Hadde faktisk ikke tenkt på dette med å scripte linke-prosessen. Tenkte jeg skulle lage en symbolsk link til hele disken, men det var jo faktisk smart å genererere linker til hver film automatisk, slik at alt ligger i samme mappe tilsynelatende på samme nivå, i stedet for i alfabetiske undermapper (som da er en enkelt disk). Dette gjør jo også det at disker blir fulle blir en transparent sak for brukeren rent mappestrukturmessig. Jeg må bare sørge for å lagre dataene på en disk med mer plass.

    Takk for tips!

  4. #4
    Guru RuneW sin avatar
    Medlem siden
    Jan 2005
    Sted
    Sarpsborg
    Poster
    11,035
    Takk & like
    Nevnt
    2 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av marsboer
    Hva med den dagen jeg ønsker å bytte ut mine 1.5TB med f.eks 3TB disker. Da må jeg ta én og én disk til jeg har tatt alle 8, pluss at jeg må ta den siste prosessen som utvider RAIDet fra 8x1.5TB til 8x3TB.
    Hvis du har nok porter/RAID-kort og cash til å kjøpe alle 3TB-diskene på en gang, er det mulig å bygge opp et nytt RAID5 med alle 3TB-diskene (gjerne liggende på utsiden av serveren), kopiere over all data og så ta ut 1.5TB'ene og sette inn 3TB'ene i serveren?

  5. #5
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av RuneW
    Hvis du har nok porter/RAID-kort og cash til å kjøpe alle 3TB-diskene på en gang, er det mulig å bygge opp et nytt RAID5 med alle 3TB-diskene (gjerne liggende på utsiden av serveren), kopiere over all data og så ta ut 1.5TB'ene og sette inn 3TB'ene i serveren?
    Jeg har ikke nok porter, derav problemstillingen. Skal man utvide RAIDet med større disker må man ta alle disker i en smell uansett.

    Det jeg kunne gjort er å investere i en 8-porters RAID-kontroller av tilsvarende type som den jeg har, som jeg setter inn i backupserveren, og hvis eneste funksjon er å være "ledig" til bruk når jeg må oppgradere. Men dette svir hardt i sjela av en eller annen grunn?

    Dessverre gir ikke en slik løsning mye fleksibilitet. Det blir mye styr å gjøre endringer, samt at løsningen ikke gir rom for enkel og rask utvidelse (ikke med så mye data). Man må hver gang kopiere hele RAIDets innhold, noe som tar svært lang tid. Da er det greiere å kunne avgrense til enkeltdisker rent tidsmessig.

  6. #6
    Intermediate
    Medlem siden
    Mar 2007
    Poster
    3,119
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Et alternativ kan jo være å lage sitt eget FUSE filsystem, som bare distribuerer filene mellom de tilgjengelige diskene, og holder rede på plasseringene i en database. Om du vil være litt avansert kan du jo legge til par2-generering også, slik at du kan gjenopprette filene dersom en eller flere disker ryker.

  7. #7
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av trondmm
    Et alternativ kan jo være å lage sitt eget FUSE filsystem, som bare distribuerer filene mellom de tilgjengelige diskene, og holder rede på plasseringene i en database. Om du vil være litt avansert kan du jo legge til par2-generering også, slik at du kan gjenopprette filene dersom en eller flere disker ryker.
    Det er jo akkurat noe slikt jeg, og mange andre i følge google, leter etter.

    Det å lage et filsystem er nok litt over mitt kompetansenivå gitt..

  8. #8
    Guru RuneW sin avatar
    Medlem siden
    Jan 2005
    Sted
    Sarpsborg
    Poster
    11,035
    Takk & like
    Nevnt
    2 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av marsboer
    Det jeg kunne gjort er å investere i en 8-porters RAID-kontroller av tilsvarende type som den jeg har, som jeg setter inn i backupserveren, og hvis eneste funksjon er å være "ledig" til bruk når jeg må oppgradere. Men dette svir hardt i sjela av en eller annen grunn?
    Hehe - jeg tar den ;-)

  9. #9
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Vi har jo også den siste løsningen. Og det er å sørge for å alltid ha dobbelt så mange tilkoblingspunkter som antallet disker i bruk i RAIDet. Løsningen på dette er da et Supermicro chassis med "uendelig" antall porter via expander. Eller dvs 36 porter. Dette gir rom for mellomlagring, forutsatt at intet RAID er større enn det ledige antall porter på chassiset. 8 disker er uansett det meste jeg er komfortabel med i RAID5, så det er nå egentlig greit. Med andre ord kunne jeg med et slikt Supermicro chassis brukt 28-disker og hatt 8 til oppretting av nye RAID når gamle skal erstattes.

    Det er fremdeles slik at jeg kan miste alt i en smell, samtidig som jeg heller ikke kan benytte disker av ulike størrelser uten å matche dem i ulike RAID. Men det er en fullt akseptabel og forholdsvis fleksibel løsning med redundans.

  10. #10
    Guru RuneW sin avatar
    Medlem siden
    Jan 2005
    Sted
    Sarpsborg
    Poster
    11,035
    Takk & like
    Nevnt
    2 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av marsboer
    Vi har jo også den siste løsningen. Og det er å sørge for å alltid ha dobbelt så mange tilkoblingspunkter som antallet disker i bruk i RAIDet.
    Ja, det er jo en avart av et ekstra RAID-kort, men mye billigere. Strengt tatt trenger du vel heller ikke riktig dobbelt så mange, siden de nye diskene er av større kapasitet.

    Sitat Opprinnelig postet av marsboer
    Det er fremdeles slik at jeg kan miste alt i en smell, samtidig som jeg heller ikke kan benytte disker av ulike størrelser uten å matche dem i ulike RAID.
    Med mindre du lagrer alle dataene dine på et annet sted, kan du alltid miste alt i en smell (f.eks. i en brann). Ett sted må man nesten sette grensen for hvor sikre dataene skal være.

  11. #11
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Problemet er at Supermicro chassiset koster omlag 17k så vidt jeg kan se.
    Det gir meg imidlertid enorm fleksibilitet på alle måter.

    Singeldisk løsningen er gratis for meg, og gir meg faktisk nok kapasitet både nå og fremover (forutsatt at 3TB disker kommer innen 2010 er over i hvertfall) men overhodet ingen redundans eller pooling av data på en smertefri måte.

    Tenke, tenke.. Gå for en proff og smooth løsning med redundans og høy ytelse, men med noe større potensiale for skikkelig katastrofe, eller en hjemmemekka men gratis løsning??

    Valgets kvaler, som vanlig...

  12. #12
    Intermediate
    Medlem siden
    Mar 2007
    Poster
    3,119
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Prise på SuperMicro-kabinettet er egentlig ikke så fryktelig ille, når du tar i betraktning antallet disker du får inn, og at du klarer deg med én kontroller. Skal du ha tilsvarende disker i et annet kabinett, må du vel kjøpe Lian Li Cube Case til 2k og 6 5-i-3 diskskuffer, som koster 1200,- pr. stk. Da har du plass til 30 disker, og prisen er i overkant av 9000,-. I tillegg kommer altså kontrollere med tilsammen 30 porter og PSUer.

  13. #13
    Intermediate
    Medlem siden
    Mar 2007
    Poster
    3,119
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av marsboer
    Det er jo akkurat noe slikt jeg, og mange andre i følge google, leter etter.

    Det å lage et filsystem er nok litt over mitt kompetansenivå gitt..
    Det behøver ikke være så fryktelig vanskelig, egentlig. Spesielt ikke hvis man avstår fra avansert funksjonalitet som redundans og sånn. Men kan til og med lage det i perl

  14. #14
    Guru RuneW sin avatar
    Medlem siden
    Jan 2005
    Sted
    Sarpsborg
    Poster
    11,035
    Takk & like
    Nevnt
    2 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Husker vi hadde i oppgave å lage et filsystem da jeg gikk på NTH (NTNU). Det gikk i og for seg fint det - men jeg hadde ikke basert bildesamlingen min på det, for å si det sånn...

  15. #15
    Newcomer
    Medlem siden
    May 2005
    Poster
    3
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    aufs

    Den lar deg mounte flere filesystem av forskjellige størrelse til et mount point..
    Det er ikke noe redundans i løsningen, men hvis en disk skulle ryke så mister du ikke alt, bare data'n fra den ene disken.

  16. #16
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Det blir i praksis det samme som løsningen me symbolske linker rent brukeropplevelsesmessig.

  17. #17
    Newcomer
    Medlem siden
    May 2005
    Poster
    3
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    nja.. med symlinks kan du ikke liste innholdet i en mappe og få innholdet fra flere disker..

  18. #18
    Newcomer
    Medlem siden
    Oct 2008
    Poster
    93
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Noen ganger er jeg glad jeg ikke har så vanvittig mye at det trengs slike løsninger. Gleder meg alikevel til å se hva du får til.

  19. #19
    Newcomer
    Medlem siden
    Oct 2008
    Poster
    224
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)

    Raid5

    Først av alt - ligg unna RAID 5 type løsninger hvis du vil ha fleksibilitet. Det jeg ville gjøre er å speile 2 og 2 disker (diskene må være like og kontrolleren må støtte speiling) Hva du bygger på toppen av disse er opp til hvordan du vil organisere filene dine. Hvis du bruker windows kan du montere diskene via disk manager til hver sin folder slik at det ser ut som at det er en disk. Er det linux er det kanskje mer natrulig med symlinker.
    ...
    Parasound A21 / Dali Helikon 400mk1 / Bluesound Node2 / Samsung UE65HU7505

  20. #20
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Speiling er utelukket. Jeg har en dedikert backupserver til dette ormålet og speiling krever alt for mye diskplass. Husk at jeg sliter med at jeg har kun 13 S-ATA tilkoblinger tilgjengelig, og hver eneste en er brukt bare for å lagre dataene uten noe mer redundans enn RAID5.

    Den billigste og sannsynligvis beste løsningen er å kjøpe en 5-6 2TB disker og stappe dem i backupserveren uten RAID. Da har jeg nok diskplass til å ta fullstendig uavhengig 1:1 backup av alle data, og da er alle problemer løst. Dette blir da bare en 6000,- i stedet for 17k i Supermicrochassiset, samt at jeg får ekte backup av alt, inklusive blu-ray filmer. Da kan jeg duplisere data på den gode måten uten å tenke på så mye mer. Da kan jeg trygt beholde RAID5 også, eller f.eks splitte opp i mindre 2 diskers RAID0 (bare for å få litt større diskvolum) og kjøre symbolske linker. Man får straks flere muligheter når man har en fullstendig offsite oppdatert backup av alt.

    Sannsynligvis blir dette løsningen. En salig blanding av RAID avhengig av hva som er praktisk og en fullstendig backup.

    F.eks så er det naturlig å kjøre de 8 1.5TB diskene mine i RAID5, mens 2-3 2TB disker kanskje kjøres i RAID0 bare for å øke volumet.

Side 1 av 3 1 2 3 SisteSiste

Stikkord for denne tråden

Regler for innlegg

  • Du kan ikke starte nye tråder
  • Du kan ikke svare på innlegg / tråder
  • Du kan ikke laste opp vedlegg
  • Du kan ikke redigere meldingene dine
  •