dobbel blind abx test via foobar 2000

Sponsorer:
Takk Takk:  0
Like Like:  0
Viser resultater 1 til 19 av 19
  1. #1
    Newcomer Arkan sin avatar
    Medlem siden
    May 2007
    Poster
    105
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)

    Lightbulb dobbel blind abx test via foobar 2000

    Hei,

    Denne testen burde kanskje ligget under generell hifi diskusjon eller software, men jeg tenkte at det også kunne passe inn her, siden det er snakk om ørene som hører og at dette med subjektivisme har blitt diskutert nylig (igjen) i forhold til kabler.

    Problemstillingen min er følgende: Kan man da ha noe nytte av ens egne subjektive ører, og kan dette påvises statistisk gjennom gjentatt dobbel blindet abx testing som man selv kan utføre. Ergo bestemte jeg meg for å kjøre en flac vs wav abx test, da jeg lenge har opplevd at jeg klarer å skille mellom formatene.

    Så til selve testen, med metode, resultater og konklusjoner.

    METODOLOGI
    -------------------------------------------------------------------------
    Testmetodikk var (kronologisk) som følger:
    - jeg valgte meg ut to album av god kvalitet: Først Zero 7 med Simple Things og deretter Bare Bones med Madeline Peyroux.

    - begge albumene er kopiert fra kjøpte orginaler vha. EAC, hvor jeg har kjørt (som for resten av cd samlingen) funksjonen "Test & Copy Image & Create Cue Sheet". Dette gir meg en fullstendig tapsfri og orginal kopi i imageformat, kontrollert mot Accuraterip databasen.

    - .cue filen til dette imaget gjør at det kan leses i dbpoweramp cd ripper, samtidig som dette programmet verifiserer imaget mot accuraterip databasen. Etter å ha kontrollert at de to imagene ble jenfunnet i accuraterip databasen, kjørte jeg så en enkel rip med flac standard innstillinger.

    - dette ga meg to accuraterip verifiserte kopier, en i .wav format og en i .flac format. Disse to kopiene la jeg så inn i en folder jeg benevnte "testfolder".

    - på forhånd hadde jeg bestemt meg for å bruke foobar 2000 v.1, siden dette er stabilt på min pc og også konfigurert med Asio4all v. 2 + tilhørende komponent til foobar: foo_out_asio.dll. I tillegg er andre komponenter, som abx testing, lett tilgjengelig og enkelt å installere i programmet.

    - derfor ble neste skritt å laste ned ABX Comparator 1.3.4, og legge denne inn under foobar 2000 component folder.

    - så startet jeg foobar 2000, la inn folderen "testfolder" under media library, og vips fikk jeg oversikten over både flac filene og wav filene til de to albumene i foobar 2000.

    - da gjenstod det bare å markere to filer, en i flac og en i wav format, og så høyreklikke musen på markeringen, velge utilities, "ABX Two Tracks" og ok på neste bilde. Så er testen i gang!

    RESULTATER/FUNN
    ------------------------------------------------------------------------
    (TEST 1)
    foo_abx 1.3.4 report
    foobar2000 v1.0
    2010/01/12 16:49:24

    File A: H:\testfolder\Simple Things\Henry Binns - 08 - In the Waiting Line.flac
    File B: H:\testfolder\Zero 7 - Simple Things.cue

    16:49:24 : Test started.
    16:57:42 : 01/01 50.0%
    17:06:16 : 02/02 25.0%
    17:11:43 : 03/03 12.5%
    17:18:32 : 04/04 6.3%
    17:22:57 : 05/05 3.1%
    17:33:07 : 06/06 1.6%
    17:41:48 : 06/07 6.3%
    17:59:24 : 07/08 3.5%
    18:04:46 : 08/09 2.0%
    18:11:03 : 08/10 5.5%
    18:11:22 : Test finished.

    ----------
    Total: 8/10 (5.5%)

    (TEST 2)
    foo_abx 1.3.4 report
    foobar2000 v1.0
    2010/01/12 19:50:31

    File A: H:\testfolder\Bare Bones\Madeleine Peyroux - 03 - Damn the Circumstances.flac
    File B: H:\testfolder\Madeleine Peyroux - Bare Bones.cue

    19:50:31 : Test started.
    19:52:20 : 01/01 50.0%
    19:53:50 : 01/02 75.0%
    19:55:48 : 02/03 50.0%
    19:58:30 : 03/04 31.3%
    19:59:09 : 04/05 18.8%
    20:00:20 : 05/06 10.9%
    20:02:03 : 06/07 6.3%
    20:03:56 : 07/08 3.5%
    20:05:01 : 08/09 2.0%
    20:06:26 : 09/10 1.1%
    20:06:30 : Test finished.

    ----------
    Total: 9/10 (1.1%)


    TOLKNING AV RESULTATER/FUNN
    -------------------------------------------------------------------------
    Generelt utfall av testen: Det tok litt konsentrasjon og øvelse, spesielt mtp å kunne fange inn hvilke elementer ved musikken som skiller formatene. Men etter hvert kom jeg frem til at de to beste kjennetegnene (i mine ører) var en noe bedre definert romfølelse og en noe mer naturlig lyd i wav formatet.

    Spesifikt utfall av testen:
    a) Av de to albumene opplevde jeg Madeline Peyroux som hardest å plassere, til å begynne med, men her var det til slutt subtile/små forhold ved romfølelsen og en tanke mer tørt preg i stemmen til Madeline som gjorde denne identifiserbar i 9/10 tilfeller på mitt oppsett i favør .wav formatet (jf. logutdrag over).

    b) Simple Things, som jeg testet først, opplevde jeg som lettere å plassere. Her opplevde jeg en større fylde/naturlig varme i lydbildet, og bedre definerte stemmer i 8/10 tilfeller i favør .wav formatet (jf. logutdrag over).

    Det må bemerkes at jeg kjørte flere pilottester før jeg endelig følte at evnen til å skille elementer kom på plass (jeg er da veldig uerfaren i slik testing må vite). Testene var imidlertid langt kortere for Simple Things albumet.

    KONKLUSJON
    ------------------------------------------------------------------------
    Jeg er egentlig ikke overrasket over utfallet, mtp min forutinntatthet om at det er forskjeller.

    Håper uansett at resultatene kan ha noe verdi i relaterte videre debatter 8-)

    Sindre

  2. #2
    Intermediate
    Medlem siden
    Oct 2005
    Poster
    3,431
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Veldig rart, i og med at FLAC skal være bit-perfect til Wav. Hva om du tar FLAC filen og konverterer til WAV, for så å sammenlikne de to WAV-filene?

    For meg høres det ut som forskjeller i behandlingen av de to formatene, eventuelt en resampling av FLAC?

    Men stilig at du tar deg tid til å teste og få 'bekreftet' det du tror du hører.

  3. #3
    Newcomer Arkan sin avatar
    Medlem siden
    May 2007
    Poster
    105
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av atledreier
    Veldig rart, i og med at FLAC skal være bit-perfect til Wav. Hva om du tar FLAC filen og konverterer til WAV, for så å sammenlikne de to WAV-filene?

    For meg høres det ut som forskjeller i behandlingen av de to formatene, eventuelt en resampling av FLAC?

    Men stilig at du tar deg tid til å teste og få 'bekreftet' det du tror du hører.
    Jeg har lagt til og kursivert ordet noe (under tolkning av resultater over), mtp at forskjellene ikke er store men tross alt (tilsynelatende) identifiserbare under blindtesting. Jeg tar ellers rådet ditt og kjører flac filen tilbake til wave og tester for å eventuelt bekrefte/avkrefte om det er selve formatene som trøbler det til i foobar 2000 spesifikt. Satser på at dette skjer i morgen

    PS: får også håpe at konsentrasjonen holder seg ved neste test (jeg ble regelrett sulten av all fokuseringen, det sier noe om energiforbruket)!

  4. #4
    Intermediate Hybris sin avatar
    Medlem siden
    Oct 2003
    Poster
    3,772
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Eneste fornuftige forklaringen på dette er vel at det er nivåforskjeller på filene av en eller annen grunn. Jeg oppfordrer deg til å poste dette på Hydrogenaudio Forums - Portal - der er det mange dyktige folk som kan bidra til å avsløre eventuelle problemer med / feil i fremgangsmåten din. Link gjerne til den nye tråden på hydrogenaudio her når du har gjort det, eller send meg en PM med link til tråden, da jeg er interessert i å høre hva som er årsaken
    --
    Thorbjørn

  5. #5
    Newcomer Arkan sin avatar
    Medlem siden
    May 2007
    Poster
    105
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av Hybris
    Eneste fornuftige forklaringen på dette er vel at det er nivåforskjeller på filene av en eller annen grunn. Jeg oppfordrer deg til å poste dette på Hydrogenaudio Forums - Portal - der er det mange dyktige folk som kan bidra til å avsløre eventuelle problemer med / feil i fremgangsmåten din. Link gjerne til den nye tråden på hydrogenaudio her når du har gjort det, eller send meg en PM med link til tråden, da jeg er interessert i å høre hva som er årsaken
    Jeg kan se om jeg gjør dette, men først er konvertering tilbake fra flac til wav på agendaen ;-)
    ps: jeg kan ikke si at jeg opplevde noen nivåforskjeller (om du tenker volum) i løpet av testen.

  6. #6
    Intermediate Hybris sin avatar
    Medlem siden
    Oct 2003
    Poster
    3,772
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av Arkan
    Jeg kan se om jeg gjør dette, men først er konvertering tilbake fra flac til wav på agendaen ;-)
    ps: jeg kan ikke si at jeg opplevde noen nivåforskjeller (om du tenker volum) i løpet av testen.
    Behøver ikke være så store forskjeller for at detaljer skal komme bedre frem. Men dette vil vel tilbakekonverteringen til wav teoretisk kunne gi deg svar på hvis du sjekker i et program som viser waveformen på både originalwaven og den nye.
    --
    Thorbjørn

  7. #7
    Newcomer Arkan sin avatar
    Medlem siden
    May 2007
    Poster
    105
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av Hybris
    Behøver ikke være så store forskjeller for at detaljer skal komme bedre frem. Men dette vil vel tilbakekonverteringen til wav teoretisk kunne gi deg svar på hvis du sjekker i et program som viser waveformen på både originalwaven og den nye.
    Meget gode poeng på begge punkter! Jeg lover å komme med mer feedback og oppfølging, som seg hør og bør.

  8. #8
    Intermediate
    Medlem siden
    Jan 2006
    Poster
    1,668
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av Arkan
    Generelt utfall av testen: Det tok litt konsentrasjon og øvelse, spesielt mtp å kunne fange inn hvilke elementer ved musikken som skiller formatene. Men etter hvert kom jeg frem til at de to beste kjennetegnene (i mine ører) var en noe bedre definert romfølelse og en noe mer naturlig lyd i wav formatet.
    Sindre, meget intressant.... spennt på å høre forsettelsen!

    Nå har jeg ikke tenkt å dra dette over i kabel-debatten, men det du antyder over her beskrivers også av en del kabel-entusiaster. Altså når man skal prøve å høre så små forskjeller i et "testmaterialle" som vanligvis innholder mye informasjon så er det fort gjort å fokusere på feil punkter, hvor hjernen rett og slett overser det som er viktig (detaljene?). Så fort man vet hva man skal fokusere på og konsentrere seg om så blir det straks mye lettere, derfor er øvelser i forkant og hvilket testmaterialle du bruker viktig.

    Edit: Dette med lytteøvelser vet jeg at også Kringlyd bruker når dem tester.

  9. #9
    Intermediate Wibla sin avatar
    Medlem siden
    Sep 2005
    Poster
    1,110
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    konverter tilbake til wav og kjør md5sum av begge wav-filene...

  10. #10
    Expert Niels Nielsen sin avatar
    Medlem siden
    Jun 2003
    Poster
    8,360
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Her har jeg testet Apple Lossless kontra wav og at wav tilsynelatende har bedre lyd tillegger jeg mer gain i wav filen.
    Der har vært en del prat omkring dette på Squeeze Forum. Konverterte netopp en fil på Mac`en til wav, og volum siger +0,8db for begge, (jeg har huket av for samme volum i iTunes) så jeg vet ikke helt.
    Teoretisk skulle der være nul forskjell på de to jo.

  11. #11
    Newcomer Arkan sin avatar
    Medlem siden
    May 2007
    Poster
    105
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av Niels Nielsen
    Her har jeg testet Apple Lossless kontra wav og at wav tilsynelatende har bedre lyd tillegger jeg mer gain i wav filen.
    Der har vært en del prat omkring dette på Squeeze Forum. Konverterte netopp en fil på Mac`en til wav, og volum siger +0,8db for begge, (jeg har huket av for samme volum i iTunes) så jeg vet ikke helt.
    Teoretisk skulle der være nul forskjell på de to jo.
    Godt poeng, som også Hybris bemerket! Jeg må sjekke dette litt, og da først gjennom å konvertere flac filen tilbake til wav (det skal jo la seg gjøre siden det er snakk om lossless til lossless ene eller andre veien). Jeg kjører tester og logfører sannsynligvis i morgen

    ps: siden jeg er forsker skulle jeg jo ideelt sett hatt med en 2. tester og medobservatør, for å påse at jeg ikke sitter her og finner på muffens saker selv bla. gjennom manipulasjon av materialet/data (men dette gir ikke noen garanti da begge kan være "korrupte"). To personer styrker også hensynet til triangulering av data, gjennom at resultater kan "kontrolleres" av begge. Representativitet (ift populasjon o.l.) i materialet er jeg ikke fullt så opptatt av, siden jeg er kvalitativ forsker og mer opptatt av det unike ved fenomenet

  12. #12
    Newcomer Arkan sin avatar
    Medlem siden
    May 2007
    Poster
    105
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)

    Sitat Opprinnelig postet av zatz
    Sindre, meget intressant.... spennt på å høre forsettelsen!

    Nå har jeg ikke tenkt å dra dette over i kabel-debatten, men det du antyder over her beskrivers også av en del kabel-entusiaster. Altså når man skal prøve å høre så små forskjeller i et "testmaterialle" som vanligvis innholder mye informasjon så er det fort gjort å fokusere på feil punkter, hvor hjernen rett og slett overser det som er viktig (detaljene?). Så fort man vet hva man skal fokusere på og konsentrere seg om så blir det straks mye lettere, derfor er øvelser i forkant og hvilket testmaterialle du bruker viktig.

    Edit: Dette med lytteøvelser vet jeg at også Kringlyd bruker når dem tester.
    Takk for tillitserklæringen zatz! Lover som sagt å følge opp

  13. #13
    Newcomer Nordenstam sin avatar
    Medlem siden
    Apr 2008
    Poster
    215
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Interessante funn i denne tråden!

    Noe bør være feil underveis i konverteringen. Bruker FLAC til å levere større filer til folk (24/96 på 1 time er 2 gig i wav og normal ca 1 gig i FLAC). Har gjort nulltester på original vs kodet->dekodet og det finnes ingen forskjell i dataen. Slik man skal forvente av lossless! Siden du nå opplever forskjeller er det sannsynligvis noe feil et annet sted enn i FLAC rutinen.

    En nulltest gjøres med hvilket som helst lydprogram, som f.eks. gratis audicity. Last inn originalfilen og kopier dataen inn i minnet. Last så inn filen som skal testes mot dataen, velg "polarity invert" (eller "flip" eller hva det nå heter i programmet). Da vil dataen stå på hodet i forhold til originalen. Merk av all dataen og bruk en miks-funksjon for å legge sammen oriignal og test-data. Summen skal, om filene er identisk, bli absolutt stillhet.

    Metoden er også svært velegnet for å høre hva som egentlig skjer med andre prosesser, som mp3 koding.

  14. #14
    Newcomer Arkan sin avatar
    Medlem siden
    May 2007
    Poster
    105
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av Nordenstam
    Interessante funn i denne tråden!

    Noe bør være feil underveis i konverteringen. Bruker FLAC til å levere større filer til folk (24/96 på 1 time er 2 gig i wav og normal ca 1 gig i FLAC). Har gjort nulltester på original vs kodet->dekodet og det finnes ingen forskjell i dataen. Slik man skal forvente av lossless! Siden du nå opplever forskjeller er det sannsynligvis noe feil et annet sted enn i FLAC rutinen.

    En nulltest gjøres med hvilket som helst lydprogram, som f.eks. gratis audicity. Last inn originalfilen og kopier dataen inn i minnet. Last så inn filen som skal testes mot dataen, velg "polarity invert" (eller "flip" eller hva det nå heter i programmet). Da vil dataen stå på hodet i forhold til originalen. Merk av all dataen og bruk en miks-funksjon for å legge sammen oriignal og test-data. Summen skal, om filene er identisk, bli absolutt stillhet.

    Metoden er også svært velegnet for å høre hva som egentlig skjer med andre prosesser, som mp3 koding.
    Takk for tipset! Jeg skal kjøre sammenligningstesten, for det virker jo teoretisk urimelig at en forskjell skulle eksistere (annet enn konverterings- eller codec-relatert). I tillegg har jeg rigget opp et annet oppsett på windows 7 (fra Vista), kuttet ut forsterker-leddet på usb kabelen til dac'en, og skiftet til en annen pc (dekstop --> laptop), bare for å være på den helt sikre siden mtp om noe ved hardwaren skulle "skurre". Ny abx test kommer om ikke så altfor lenge (har litt pes på jobb for tiden...).

    Tenkte også jeg kunne legge ut en serie av bilder av oppsettet mitt, dersom det skulle være av interesse?

  15. #15
    Newcomer Nordenstam sin avatar
    Medlem siden
    Apr 2008
    Poster
    215
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av Arkan
    Ny abx test kommer om ikke så altfor lenge (har litt pes på jobb for tiden...).
    Fint om du kan dra den lenger enn 8-9 forsøk neste gang. Er ganske lett å få 5% riktig med litt tålmodighet og rent sjansespill. 1% tar litt lenger tid men er fortsatt fint mulig ut fra tilfeldigheter. 10/10 eller tilsvarende resultat over flere målinger, som gir mindre enn 0.1% sjanse for gjetting, er et normalt minstekrav. Du må gjerne ta det over et lengre tidsrom med pauser mellom om det passer bedre. F.eks. er 42 av 60 riktige også 0.1% sannsynlig.

  16. #16
    Intermediate Hybris sin avatar
    Medlem siden
    Oct 2003
    Poster
    3,772
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Skeptikergjengen på hydrogenaudio ønsker seg vel 0.05% i ABX-test.. 19/20 rett eller noe.
    --
    Thorbjørn

  17. #17
    Newcomer Arkan sin avatar
    Medlem siden
    May 2007
    Poster
    105
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av Nordenstam
    Fint om du kan dra den lenger enn 8-9 forsøk neste gang. Er ganske lett å få 5% riktig med litt tålmodighet og rent sjansespill. 1% tar litt lenger tid men er fortsatt fint mulig ut fra tilfeldigheter. 10/10 eller tilsvarende resultat over flere målinger, som gir mindre enn 0.1% sjanse for gjetting, er et normalt minstekrav. Du må gjerne ta det over et lengre tidsrom med pauser mellom om det passer bedre. F.eks. er 42 av 60 riktige også 0.1% sannsynlig.
    Skallen min er trolig graut lenge før 60 tester er gjennomført, dersom det skal kjøres i et strekk ja Bekymringen min, om jeg stykker opp dette "løpet", er at ørene kan være annerledes fra dag til dag utfra belastning/stress...

    Men kanskje din henvisning Hybris til hydrogenaudio, og kravet her, er et fornuftig mål. Satser på det.

  18. #18
    Intermediate Hybris sin avatar
    Medlem siden
    Oct 2003
    Poster
    3,772
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Personlig ser jeg ikke det helt store poenget med å ABXe dette, fordi vi VET allerede at det ikke er forskjell på FLAC og WAV. Det eneste du påviser ved å klare å ABXe FLAC vs WAV er at det er gjort noe feil i oppsettet av testen.
    --
    Thorbjørn

  19. #19
    Newcomer Arkan sin avatar
    Medlem siden
    May 2007
    Poster
    105
    Takk & like
    Nevnt
    0 post(er)
    AVtorget feedback
    0
    (0% positive tilbakemeldinger)
    Sitat Opprinnelig postet av Hybris
    Personlig ser jeg ikke det helt store poenget med å ABXe dette, fordi vi VET allerede at det ikke er forskjell på FLAC og WAV. Det eneste du påviser ved å klare å ABXe FLAC vs WAV er at det er gjort noe feil i oppsettet av testen.
    Du har trolig helt rett. Men morsomt å prøve igjen da, med et litt annet oppsett

Stikkord for denne tråden

Regler for innlegg

  • Du kan ikke starte nye tråder
  • Du kan ikke svare på innlegg / tråder
  • Du kan ikke laste opp vedlegg
  • Du kan ikke redigere meldingene dine
  •