Lagringsstrategi for store mengder data? - Side 2

Sponsorer:
Takk Takk:  0
Like Like:  0
Side 2 av 3 FørsteFørste 1 2 3 SisteSiste
Viser resultater 21 til 40 av 48
  1. #21
    Newcomer Justin Case sin avatar
    Medlem siden
    Aug 2003
    Poster
    214
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)

  2. #22
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    X-RAID er mer eller mindre samme sak som RAID5. Man må rebuilde for hver disk, så det tar lang tid for å si det slik.

  3. #23
    Newcomer
    Medlem siden
    Oct 2009
    Poster
    4
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Jeg har en stund kjørt SwitchFS på mine løse disker (sfs - Project Hosting on Google Code)

    Det fungerer slik at du spesifiserer hvilke mount-points den skal bruke, så lager den et balansert filsystem av dette, og sørger for å spre filene jevnt mellom alle diskene dine. Mister du en disk, så mister du såklart det som lå på den disken. Fordelen er jo at resten av filene dine er intakte, så er en del bedre enn striping og andre lvm-løsninger.

    Skulle du finne på å trenger mer diskspace, så er det bare å hive inn en ny disk til configen og remounte, så har du den diskspacen tilgjengelig.

    Har fungert i et års tid uten noen problemer for meg iallefall. Kan være verdt å prøve om du ikke har bruk for noe redundans.

  4. #24
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Det er akkurat noe slikt jeg er ute etter, men jeg er litt skeptisk til mindre brukte løsninger. Dette skal sjekkes ut!

  5. #25
    Newcomer
    Medlem siden
    Oct 2009
    Poster
    4
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Enig, men hver og en disk kan i ettertid bare mountes hver for seg, så er det jo fortsatt vanlig ext3 fs osv på disken. Man gjør egentlig ikke så mye med diskene som sådan, det blir bare et litt ordnet virtuelt filsystem av det.

    Selv har jeg heller bestemt meg for å fylle en 16-diskers hylle med store disker, kjøre raid6 og håpe på at det holder lenge nok

  6. #26
    Intermediate uGn sin avatar
    Medlem siden
    Sep 2003
    Sted
    Halden
    Poster
    1,257
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Marsboer: Regner med at du vil ha full kontroll over backupen selv, men hvis ikke så kan kanskje disse gutta være en mulig backup-løsning: Online Backup from Backblaze

    Skulle gjerne hatt en slik tilgjengelig ;D
    Petabytes on a budget: How to build cheap cloud storage | Backblaze Blog

  7. #27
    Intermediate Baldrick sin avatar
    Medlem siden
    Nov 2003
    Poster
    1,950
    Takk & like
    Nevnt
    1 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av marsboer
    1. Alle disker kan være av ulik størrelse
    2. Alle diskene fremstår som en enkelt lagringspool
    3. Ideelt sett hadde jeg foretrukket et system hvor dataene som går tapt er klart avgrenset i forhold til folderstrukturen, slik at de dataene man sitter igjen med kan anses som komplette.
    Vil ikke dette i praksis være umulig å kombinere? Dersom du skal ha full dynamikk på lagrinspool kan du ikke samtidig definere begrensninger på at en mappe kun skal bruke en gitt disk. Hva skjer da f.eks. når den disken er full??

    Men jeg seg poenget/problemet ditt, for ryker en disk hos meg når jeg bruker WHS sin lagrinspool er det ekstremt vanskelig å vite hva jeg faktisk har mistet

    Kunne en løsning vært to WHS installasjoner, en hoved og en backup? Bruker en ordentlig backupsoftware er problemet jeg nevnte overfor ikke lenger noen utfordring for da finner backupsoftware ut hva filer som mangler.

  8. #28
    Intermediate
    Medlem siden
    Feb 2004
    Poster
    694
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Man mister jo ingenting i WHS hvis man slår på duplisering

    Allikevel er mitt forslag å kjøre WHS uten duplisering med disse RAID boksene via sSATA,
    man trenger da en eller flere eSATA porter, for å få bra hastighet.
    Ellers vil vel USB tilkoblingen være tilstrekkelig for filmvisning.
    Onnto DataTale 4-Bay RAID System / MULTICOM



    1400 for boksen, 4 x 2TB disker til 4000,- = 5400,-for 5.45TB sikker lagring.
    Boksen er automatisk, er satt om med dipswitch for RAID5, trenger bare
    putte i diskene.
    Så kan man kjøpe en boks til med 4 disker til når den første er full og legge til
    Storage Pool i WHS.

    Har WHS selv, uten RAID bokser, men bruker de på jobb, veldig kjekke!


    Forslag nr 2 er UnRAID:
    Home
    Man mister ikke noe om en disk ryker, mister man to disker mister man fremdeles ikke alt.
    Og man kan ha forskjellig størrelse på diskene
    Er vel det beste alternativet, så det burde vært forslag1.
    Technology

  9. #29
    Intermediate
    Medlem siden
    Mar 2007
    Poster
    3,119
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av uGn
    Marsboer: Regner med at du vil ha full kontroll over backupen selv, men hvis ikke så kan kanskje disse gutta være en mulig backup-løsning: Online Backup from Backblaze

    Skulle gjerne hatt en slik tilgjengelig ;D
    Petabytes on a budget: How to build cheap cloud storage | Backblaze Blog
    Den løsningen der ser morsom ut til å begynne med, men når man ser litt nærmere på den, så har den så mange svakheter at det er ganske skremmende. Spesielt det at det to strømforsyningene gir strøm til ca. halvparten av diskene hver, er helt sinnsykt.

    Så vidt jeg har skjønt, så bruker backblaze ett litt spesielt system for lagringen sin, der lesing og skriving skjer via HTTP, og det gjør ikke så mye om deler av dataene er utilgjengelige nå og da. Men, hvis man vil bruke et vanlig OS, og sette opp diskene fra disse boksene i et RAID, så tror jeg de er nesten fullstendig ubrukelige.

  10. #30
    Intermediate Diablito sin avatar
    Medlem siden
    Jan 2004
    Poster
    785
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av marsboer
    I dag står RAID-kontrolleren og kverner gjennom en OCE-prosess (Online Capacity Expansion) fra 6x1.5TB til 8x1.5TB i RAID5. Denne prosessen har holdt på i over 3 døgn, og kommer vel til å ta ca 10 dager. Dette er helt normalt.
    Hvilken raid-kontroller bruker du? Og hvilken prioritet har du gitt expansion?

  11. #31
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Adaptec RAID 5805 med maks prioritet.
    Dette er som sagt helt normalt på Adaptec-kortene så det er ikke noe å gjøre med det. Det står til og med på adaptecs sider.

  12. #32
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av HT
    Man mister jo ingenting i WHS hvis man slår på duplisering

    Allikevel er mitt forslag å kjøre WHS uten duplisering med disse RAID boksene via sSATA,
    man trenger da en eller flere eSATA porter, for å få bra hastighet.
    Ellers vil vel USB tilkoblingen være tilstrekkelig for filmvisning.
    Onnto DataTale 4-Bay RAID System / MULTICOM



    1400 for boksen, 4 x 2TB disker til 4000,- = 5400,-for 5.45TB sikker lagring.
    Boksen er automatisk, er satt om med dipswitch for RAID5, trenger bare
    putte i diskene.
    Så kan man kjøpe en boks til med 4 disker til når den første er full og legge til
    Storage Pool i WHS.

    Har WHS selv, uten RAID bokser, men bruker de på jobb, veldig kjekke!


    Forslag nr 2 er UnRAID:
    Home
    Man mister ikke noe om en disk ryker, mister man to disker mister man fremdeles ikke alt.
    Og man kan ha forskjellig størrelse på diskene
    Er vel det beste alternativet, så det burde vært forslag1.
    Technology

    Tilgi meg om jeg misforstår, men det ser ut for meg som om du forveksler RAID med noe som ligner på en slags sikker lagringsløsning. RAID har jeg allerede og det blir nok også løsningen videre fremover slik det står i dag. Dette kombinert med en dedikert offsite backupserver som har gjort en svært velfungerende jobb i lang tid allerede.

  13. #33
    Intermediate
    Medlem siden
    Feb 2004
    Poster
    694
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av marsboer
    Tilgi meg om jeg misforstår, men det ser ut for meg som om du forveksler RAID med noe som ligner på en slags sikker lagringsløsning. RAID har jeg allerede og det blir nok også løsningen videre fremover slik det står i dag. Dette kombinert med en dedikert offsite backupserver som har gjort en svært velfungerende jobb i lang tid allerede.
    Ut i fra hva du skriver i åpningsinnlegget så er vel UnRAID det som kommer nærmest kravene dine.
    Mulig jeg misforstår, men jeg regner jo med du ønsker sikker lagring? Er vel derfor du kjører RAID pr idag,
    ellers kunne du vel kjørt JBOD Mulig du er villig til å ta støyten når en disk ryker, ved å legge inn det som
    gikk tapt om igjen, så fram du har oversikt på det, men for meg virker det som vel mye stress. Slik sett
    vil jeg tro UnRAID er det beste alternativet.

  14. #34
    Intermediate Baldrick sin avatar
    Medlem siden
    Nov 2003
    Poster
    1,950
    Takk & like
    Nevnt
    1 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Jeg kommer til å gå for løsning alla det HT skisserer. Jeg har bestilt eSata kabinett fra Lian Li med plass til 5 disker, diskene er 2tb og jeg har dermed 8tb tilgjengelig satt opp i raid5. Store fordelen slik jeg ser det er at dette kombinert med WHS gir OK pris og mye fleksibilitet. Når jeg har brukt opp de 8tb kan jeg bare kjøpe ett til kabinett og fylle det opp med 3tb disker og dermed få 12tb ekstra.

    For meg er raid5 god nok sikkerhet for det aller meste jeg har lagret, men viktige data som bilder tar jeg også backup av til annen lokasjon.

    Hadde ikke kun raid5 vært godt nok ville jeg kombinert dette med full offsite backup som du allerede har.

  15. #35
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Jeg for min del skjønner ikke at dere tør å basere dere utelukkende på RAID på eksterne løsninger og langt mindre tror at dette gir noen form for lagringssikkerhet. Det eneste man unngår er datatap ved diskfeil. Man ØKER imidlertid faren drastisk for å miste vanvittig mye MER data om noe skulle skje hardware-messig, f.eks en defekt strømforsyning. Slik sett er det bedre å ikke danne et avhengighetsforhold mellom diskene i form av RAID. Da unngår man å miste alt når det først skjer noe. Man splitter riktignok risikoen når man har flere eksterne løsninger, men jeg tenker med gru på at noen baserer seg på dette uten en backupløsning.

    Erfaringsmessig er en intern løsning mindre utsatt for problemer enn eksterne løsninger, det er derfor jeg er så skeptisk.

  16. #36
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Jeg har til nå funnet bare en god løsning på min utfordring, og det innebærer dagens løsning, men med en tilsvarende Adaptec 5805 kontroller i min backupserver også. Da vil all oppgradering senere bli en lek og løsningen blir særdeles robust med RAID5 begge plasser hvor backupserveren inneholder backup bakover i tid av hovedserveren.

    Siden diskene er så knøttsmå om dagen kommer jeg nok til å vente til 3TB blir tilgjengelig før jeg gjør noen investeringer på backupserveren.

  17. #37
    Intermediate Baldrick sin avatar
    Medlem siden
    Nov 2003
    Poster
    1,950
    Takk & like
    Nevnt
    1 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av marsboer
    Erfaringsmessig er en intern løsning mindre utsatt for problemer enn eksterne løsninger, det er derfor jeg er så skeptisk.
    Dette må isåfall kun være bassert på hjemmebruk? For som du sikkert vet så er omtrent alt av lagring i bedriftsammenheng bassert på eksterne løsninger i form av SAN, iSCSI o.l. Så personlig er jeg ikke bekymret for eksterne løsninger så lenge de er av kjente fabrikat.

    Men du har absolutt ett poeng vedr annen hardware feil enn diskfeil når en bruker raid, ryker kontroller, psu e.l. kan det få virkelig kjipe konsekvenser... mulig jeg må tenke meg om igjen om jeg bare skal kjøre diskene seperat og ikke i raid5 når jeg får nytt kabinett imorgen.

  18. #38
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av Baldrick
    Dette må isåfall kun være bassert på hjemmebruk? For som du sikkert vet så er omtrent alt av lagring i bedriftsammenheng bassert på eksterne løsninger i form av SAN, iSCSI o.l. Så personlig er jeg ikke bekymret for eksterne løsninger så lenge de er av kjente fabrikat.

    Men du har absolutt ett poeng vedr annen hardware feil enn diskfeil når en bruker raid, ryker kontroller, psu e.l. kan det få virkelig kjipe konsekvenser... mulig jeg må tenke meg om igjen om jeg bare skal kjøre diskene seperat og ikke i raid5 når jeg får nytt kabinett imorgen.
    Ehhh, du kan ikke mene seriøst at en superredundant SAN/NAS-løsning i enterprisesammenheng er en "ekstern" løsning på samme måte som vi snakker om her. Det er ikke en sak hvor man lefser en S-ATA/USB-kabel i PCen og et pinglete strømadapter i veggen og så kjører på via et webgrensesnitt.

    Lagringsløsninger i bedrifter er kun eksterne sett fra en klient, men i høyeste grad basert på servere og chassis basert på de samme prinsippene som ordinære servere/PCer.

    Med denne logikken vil jo filserveren hjemme være "ekstern", siden diskene ikke sitter inni klienten jeg benytter meg av.

  19. #39
    Intermediate marsboer sin avatar
    Medlem siden
    Dec 2005
    Poster
    3,764
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av Baldrick
    Dette må isåfall kun være bassert på hjemmebruk? For som du sikkert vet så er omtrent alt av lagring i bedriftsammenheng bassert på eksterne løsninger i form av SAN, iSCSI o.l. Så personlig er jeg ikke bekymret for eksterne løsninger så lenge de er av kjente fabrikat.

    Men du har absolutt ett poeng vedr annen hardware feil enn diskfeil når en bruker raid, ryker kontroller, psu e.l. kan det få virkelig kjipe konsekvenser... mulig jeg må tenke meg om igjen om jeg bare skal kjøre diskene seperat og ikke i raid5 når jeg får nytt kabinett imorgen.
    Eller gjøre som jeg har gjort, dvs kjøre RAID med de fordelene det gir rent volum-og diskredundansmessig, og heller ta backup av de viktige dataene til en ekstern disk eller aller helst en annen maskin et annet sted.
    De viktige dataene utgjør sjelden mer enn en enkelt disk med dagens størrelser uansett.

    Backup bør du ha uansett, spesielt om du kjører uten noen form for redundans for diskfeil i tillegg. Eventuelt lage f.eks et RAID1 for de viktige dataene og kjøre JBOD på resten (helst i tillegg til backup selvfølgelig)

  20. #40
    Intermediate Baldrick sin avatar
    Medlem siden
    Nov 2003
    Poster
    1,950
    Takk & like
    Nevnt
    1 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av marsboer
    Ehhh, du kan ikke mene seriøst at en superredundant SAN/NAS-løsning i enterprisesammenheng er en "ekstern" løsning på samme måte som vi snakker om her. Det er ikke en sak hvor man lefser en S-ATA/USB-kabel i PCen og et pinglete strømadapter i veggen og så kjører på via et webgrensesnitt.
    Jo jeg mener det seriøst, ett san er ikke så mye mer spesielt enn f.eks. sata kabinetta som er nevnt her. Det er mye bedre spesifisert ja, men teorien er den samme. I stedet for sata kabel bruker en fiber, istedet for billige 7k sata disker bruker en 15k sas, scsi eller fiberchannel, istedet for vanlig psu bruker en dobbel/redundant psu, istedet for webgui bruker en ett vanlig windows/linux program. Bedre spesifisert ja, men like ekstern løsning som ett e-sata kabinett!

    Ett SAN satt opp i Raid5 har samme feiltolleranse som ett e-sata kabinett, så ryker 2 disker er en virkelig ute å kjøre! For å bedre på sikkerheten bruker en ofte sparedisker slik at 2 disker kan ryke (bare det skjer med litt mellomrom), men dette kan en også sette opp på e-sata kabinett!

    Sitat Opprinnelig postet av marsboer
    Lagringsløsninger i bedrifter er kun eksterne sett fra en klient, men i høyeste grad basert på servere og chassis basert på de samme prinsippene som ordinære servere/PCer.
    Ett san uten server er i seg selv akkurat likt og ubrukelig som ett esata kabinett som ikke er tilbkoelet en pc/server, begge er eksterne fra server og krever diskkontrollere som står i en server.

    Sitat Opprinnelig postet av marsboer
    Med denne logikken vil jo filserveren hjemme være "ekstern", siden diskene ikke sitter inni klienten jeg benytter meg av.
    Den forsto jeg ikke helt desverre ops:

Side 2 av 3 FørsteFørste 1 2 3 SisteSiste

Stikkord for denne tråden

Regler for innlegg

  • Du kan ikke starte nye tråder
  • Du kan ikke svare på innlegg / tråder
  • Du kan ikke laste opp vedlegg
  • Du kan ikke redigere meldingene dine
  •