SaveTV vs YouTV vs ARD-Mediathek Qualitätsmetriken

Das TV Forum zum online Cloud TV Recorder Save.TV.
Antworten
Benutzeravatar
Fox   
Administrator
Beiträge: 768
Registriert: Do 3. Mär 2016, 13:29
bevorzugter Onlinevideorecorder: (ohne)
Kontaktdaten:

SaveTV vs YouTV vs ARD-Mediathek Qualitätsmetriken

Beitrag von Fox    » So 18. Nov 2018, 22:49

Hallo miteinander,

ich habe - nachdem ich neue Tools kennengelernt habe - diese sogleich auch ausprobiert um die Qualität der TV-Aufzeichnungen von SaveTV, YouTV und der ARD-Mediathek zu vergleichen. Die Ergebnisse möchte ich euch in diesem Beitrag offenlegen. Zum Einsatz kamen dabei einige No-Reference Videoqualitätsmetriken.

Zunächst zum Videomaterial: Ich habe aus den Aufnahmen der gestrigen Samstag Abend Show auf der ARD jeweils Framegenau einen ~ 7 Minütigen Ausschnitt einer Showeinlage zusammengeschnitten. Als Ausgangsmaterial dienten dabei die auf den jeweiligen Portalen verfügbare höchste Qualitätsstufe. Das Ergebnis dessen ist, das ARD > YouTV > SaveTv die Reihenfolge der Dateigröße angeben. Gleiches bei der Audiobitrate 192 Kbit/s (ARD) > 160 Kbit/s > 128 Kbit/s (SaveTV).

Doch das sagt nur wenig über die tatsächlich Videoqualität aus, denn SaveTV setzt zum Beispiel auf ein höheres Komplexitätsprofil bei der Kodierung. Anzumerken ist noch, dass die ARD-Aufnahme 25 FPS (anstatt von 50 FPS) und damit eine halb so große Bildwiederholrate hat. Genau aufgrund von solchen Differenzen heraus, erscheint es für lohnenswert deswegen Qualitätsmetriken einzusetzen, für eine bessere Vergleichbarkeit.

Code: Alles auswählen

Allgemein
Vollständiger Name                       : C:\Users\Sonic\Downloads\ARD-01.25.51.453-01.32.44.474.mp4
Format                                   : MPEG-4
Format-Profil                            : QuickTime
Codec-ID                                 : qt   0000.02 (qt  )
Dateigröße                               : 187 MiB
Dauer                                    : 6 min 53s
Modus der Gesamtbitrate                  : konstant
Gesamte Bitrate                          : 3 798 kb/s
Kodierungs-Datum                         : UTC 2018-11-16 14:57:20
Tagging-Datum                            : UTC 2018-11-16 14:57:20
Kodierendes Programm                     : Lavf58.12.100

Video
ID                                       : 1
Format                                   : AVC
Format/Info                              : Advanced Video Codec
Format-Profil                            : High@L3.2
Format-Einstellungen                     : CABAC / 4 Ref Frames
Format-Einstellungen für CABAC           : Ja
Format-Einstellungen für RefFrames       : 4 frames
Format_Settings_GOP                      : M=1, N=25
Codec-ID                                 : avc1
Codec-ID/Info                            : Advanced Video Coding
Dauer                                    : 6 min 52s
Bitraten-Modus                           : konstant
Bitrate                                  : 3 584 kb/s
Breite                                   : 1 280 Pixel
Höhe                                     : 720 Pixel
Bildseitenverhältnis                     : 16:9
Modus der Bildwiederholungsrate          : konstant
Bildwiederholungsrate                    : 25,000 FPS
Standard                                 : PAL
ColorSpace                               : YUV
ChromaSubsampling/String                 : 4:2:0
BitDepth/String                          : 8 bits
Scantyp                                  : progressiv
Bits/(Pixel*Frame)                       : 0.156
Stream-Größe                             : 177 MiB (95%)
Sprache                                  : Englisch
Kodierungs-Datum                         : UTC 2018-11-16 14:57:20
Tagging-Datum                            : UTC 2018-11-16 14:57:20
colour_range                             : Limited
colour_primaries                         : BT.709
transfer_characteristics                 : BT.709
matrix_coefficients                      : BT.709

Audio
ID                                       : 2
Format                                   : AAC
Format/Info                              : Advanced Audio Codec
Format-Profil                            : LC
Codec-ID                                 : mp4a-40-2
Dauer                                    : 6 min 53s
Bitraten-Modus                           : konstant
Bitrate                                  : 192 kb/s
Kanäle                                   : 2 Kanäle
Kanal-Positionen                         : Front: L R
Samplingrate                             : 48,0 kHz
Bildwiederholungsrate                    : 46,875 FPS (1024 SPF)
Stream-Größe                             : 9,33 MiB (5%)
Sprache                                  : Englisch
Default                                  : Ja
AlternateGroup/String                    : 1
Kodierungs-Datum                         : UTC 2018-11-16 14:57:20
Tagging-Datum                            : UTC 2018-11-16 14:57:20

=======================================================

Allgemein
Vollständiger Name                       : C:\Users\Sonic\Downloads\YouTV-01.29.07.452-01.36.00.475.mp4
Format                                   : MPEG-4
Format-Profil                            : Base Media
Codec-ID                                 : isom (isom/iso2/avc1/mp41)
Dateigröße                               : 163 MiB
Dauer                                    : 6 min 53s
Modus der Gesamtbitrate                  : variabel
Gesamte Bitrate                          : 3 312 kb/s
Staffel                                  : 0
Filmname                                 : Frag doch mal die Maus
Genre                                    : Spielshow
Beschreibung                             : Sechs prominente Spürnasen versuchen, die richtigen Antworten auf witzige und ernsthafte Fragen von Kindern zu finden. Mit dabei sind: die Sport-Legenden Henry Maske, Franziska van Almsick und Christian Neureuther sowie Comedystar Lisa Feller, Moderatorin Sonya Kraus und Musiker Max Giesinger.\nW...
Kodierungs-Datum                         : UTC 2018-11-17 22:29:10
Tagging-Datum                            : UTC 2018-11-17 22:29:10
Kodierendes Programm                     : Lavf58.12.100
Part_ID                                  : 0
TVNetworkName                            : ARD
HDVideo                                  : Yes

Video
ID                                       : 1
Format                                   : AVC
Format/Info                              : Advanced Video Codec
Format-Profil                            : High@L3.2
Format-Einstellungen                     : CABAC / 3 Ref Frames
Format-Einstellungen für CABAC           : Ja
Format-Einstellungen für RefFrames       : 3 frames
Codec-ID                                 : avc1
Codec-ID/Info                            : Advanced Video Coding
Dauer                                    : 6 min 50s
Bitraten-Modus                           : variabel
Bitrate                                  : 3 165 kb/s
maximale Bitrate                         : 7 800 kb/s
Breite                                   : 1 280 Pixel
Höhe                                     : 720 Pixel
Bildseitenverhältnis                     : 16:9
Modus der Bildwiederholungsrate          : konstant
Bildwiederholungsrate                    : 50,000 FPS
ColorSpace                               : YUV
ChromaSubsampling/String                 : 4:2:0
BitDepth/String                          : 8 bits
Scantyp                                  : progressiv
Bits/(Pixel*Frame)                       : 0.069
Stream-Größe                             : 155 MiB (95%)
Kodierungs-Datum                         : UTC 2018-11-17 22:29:10
Tagging-Datum                            : UTC 2018-11-17 22:29:10

Audio
ID                                       : 2
Format                                   : AAC
Format/Info                              : Advanced Audio Codec
Format-Profil                            : LC
Codec-ID                                 : mp4a-40-2
Dauer                                    : 6 min 53s
Bitraten-Modus                           : konstant
Bitrate                                  : 160 kb/s
Kanäle                                   : 2 Kanäle
Kanal-Positionen                         : Front: L R
Samplingrate                             : 48,0 kHz
Bildwiederholungsrate                    : 46,875 FPS (1024 SPF)
Stream-Größe                             : 7,88 MiB (5%)
Default                                  : Ja
AlternateGroup/String                    : 1
Kodierungs-Datum                         : UTC 2018-11-17 22:29:10
Tagging-Datum                            : UTC 2018-11-17 22:29:10

=======================================================

Allgemein
Vollständiger Name                       : C:\Users\Sonic\Downloads\SaveTV-02.26.08.015-02.33.01.049.mp4
Format                                   : MPEG-4
Format-Profil                            : QuickTime
Codec-ID                                 : qt   0000.02 (qt  )
Dateigröße                               : 154 MiB
Dauer                                    : 6 min 53s
Modus der Gesamtbitrate                  : variabel
Gesamte Bitrate                          : 3 130 kb/s
Filmname                                 : Frag doch mal die Maus
Künstler                                 : 458615_15428189
Kodierungs-Datum                         : UTC 2018-11-17 18:22:17
Tagging-Datum                            : UTC 2018-11-17 18:22:17
Kodierendes Programm                     : Lavf58.12.100

Video
ID                                       : 1
Format                                   : AVC
Format/Info                              : Advanced Video Codec
Format-Profil                            : High@L4.1
Format-Einstellungen                     : CABAC / 2 Ref Frames
Format-Einstellungen für CABAC           : Ja
Format-Einstellungen für RefFrames       : 2 frames
Format_Settings_GOP                      : M=3, N=50
Codec-ID                                 : avc1
Codec-ID/Info                            : Advanced Video Coding
Dauer                                    : 6 min 52s
Bitraten-Modus                           : variabel
Bitrate                                  : 3 003 kb/s
maximale Bitrate                         : 4 500 kb/s
Breite                                   : 1 280 Pixel
Höhe                                     : 720 Pixel
Bildseitenverhältnis                     : 16:9
Modus der Bildwiederholungsrate          : konstant
Bildwiederholungsrate                    : 50,000 FPS
ColorSpace                               : YUV
ChromaSubsampling/String                 : 4:2:0
BitDepth/String                          : 8 bits
Scantyp                                  : progressiv
Bits/(Pixel*Frame)                       : 0.065
Stream-Größe                             : 147 MiB (96%)
Sprache                                  : Englisch
Kodierungs-Datum                         : UTC 2018-11-17 18:22:17
Tagging-Datum                            : UTC 2018-11-17 18:22:17

Audio
ID                                       : 2
Format                                   : AAC
Format/Info                              : Advanced Audio Codec
Format-Profil                            : LC
Codec-ID                                 : mp4a-40-2
Dauer                                    : 6 min 53s
Bitraten-Modus                           : konstant
Bitrate                                  : 125 kb/s
Kanäle                                   : 2 Kanäle
Kanal-Positionen                         : Front: L R
Samplingrate                             : 48,0 kHz
Bildwiederholungsrate                    : 46,875 FPS (1024 SPF)
Stream-Größe                             : 6,17 MiB (4%)
Sprache                                  : Englisch
Default                                  : Ja
AlternateGroup/String                    : 1
Kodierungs-Datum                         : UTC 2018-11-17 18:22:17
Tagging-Datum                            : UTC 2018-11-17 18:22:17


Entsprechend habe ich die Demo des msu video quality measurement tool ausprobiert und einige No-Reference Qualitätsmetriken berechnen lassen. No-Reference heißt, dass die Ausgangsquelle der Kodierten Videodaten nicht bekannt sein müssen, um die Qualität zu bemessen. Es gibt noch andere Werkzeuge (http://vq.kt.agh.edu.pl/metrics.html oder https://github.com/Netflix/vmaf), die allerdings nicht ohne Anpassung direkt mit dem h.264-Videomaterial umgehen können, wenn ich es korrekt überfolgen habe.

Zunächst die nakten Zahlen (niedrigere Durschnittswerte sind besser)
  • ARD Mediathek
    • Blocking: 24.08399963
    • Bluring: 2.261199951
    • Noise Estimation: 35.44790649
    • Bightness Flicking: 2.584187031
  • YouTV
    • Blocking: 28.55040359
    • Bluring: 2.891502857
    • Noise Estimation: 42.56925583
    • Bightness Flicking: 2.637050867
  • SaveTV
    • Blocking: 28.45625687
    • Bluring: 2.921662569
    • Noise Estimation: 42.53161621
    • Bightness Flicking: 2.636055231
Ich wollte eigentlich noch hübsche Diagramme erstellen. Doch leider friert Excel immer wieder ein schmierte letzten Endes ab, weswegen daraus leider nichts wurde. Aus den Metriken (und auch den Boxplots) ließ sich herauslesen, dass SaveTV sich durch ein wenizig mehr Unschärfe (Bluring = Verschwommen) geringüfig bessere Block-Bildungswerte erkauft. YouTV hat in der Spitze zwar minimal schlechtere Werte, dafür im Durschschnitt geringfügig bessere Werte. SaveTV kann nur durch geringeres Rauschen (Noise) Punkten. Durchweg die beste Aufzeichnungsqualität gab es allerdings direkt aus der Mediathek der ARD. Dies dürfte allerdings nicht weiter verwundern, schließlich sitzt die ARD direkt an der Signalquelle. Jedoch bieten die öffentlich Rechtlichen nicht für jede Sendung eine Aufnahme an - und auch nicht jede Aufnahme in HD, wie sie YouTV und SaveTV anbieten. ;)

Zumindest eines der zahllosen Diagramme konnte ich (bevor Excel abschmierte) retten. Leider war dies ausgerechnet eines derjenigen, die keine Aussagekraft besitzen. (blau = ARD; rot = SaveTV; grün = YouTV) ;)
Dateianhänge
Blocking.png
Blocking.png (323.26 KiB) 179 mal betrachtet


Erkennen - Verstehen - Nutzen
Es gibt immer schlechte Beispiele - aber sollte man nicht versuchen, besser zu sein?

Link:
BBcode:
HTML:
Hide post links
Show post links

Benutzeravatar
Fox   
Administrator
Beiträge: 768
Registriert: Do 3. Mär 2016, 13:29
bevorzugter Onlinevideorecorder: (ohne)
Kontaktdaten:

SaveTV vs YouTV vs ARD-Mediathek Qualitätsmetriken

Beitrag von Fox    » Di 20. Nov 2018, 04:16

Während die Daten von eben von einer Live-Show stammen, habe ich noch einmal eine 10 Minüte Aufnahme einer Zeichentrickerie durchlaufen lassen.

Diesmal habe ich die Diagramme!
  • YouTV
    • Blocking: 30.00197411
    • Bluring: 1.459535837
    • Noise Estimation: 29.53758621
    • Bightness Flicking: 2.381001472
    SaveTV
    • Blocking: 31.35614586
    • Bluring: 1.479418159
    • Noise Estimation: 29.57273483
    • Bightness Flicking: 2.390555859
Es zeigt sich, das bei SaveTV Blockingbildungsartefakte stärker ausgeprägt sind (die Spitzen im ersten Diagramm), während YouTV zu Rauschen neigt. ;)

2018-11-20_04h14_49.png
2018-11-20_04h14_49.png (62.95 KiB) 155 mal betrachtet

2018-11-20_04h14_39.png
2018-11-20_04h14_39.png (121.13 KiB) 155 mal betrachtet

2018-11-20_04h14_28.png
2018-11-20_04h14_28.png (133.05 KiB) 155 mal betrachtet

2018-11-20_04h14_16.png
2018-11-20_04h14_16.png (157.75 KiB) 155 mal betrachtet
Erkennen - Verstehen - Nutzen
Es gibt immer schlechte Beispiele - aber sollte man nicht versuchen, besser zu sein?

Link:
BBcode:
HTML:
Hide post links
Show post links

Benutzeravatar
sv00010
Beiträge: 395
Registriert: Sa 20. Feb 2016, 16:41
bevorzugter Onlinevideorecorder: onlinetvrecorder.com
Kontaktdaten:

SaveTV vs YouTV vs ARD-Mediathek Qualitätsmetriken

Beitrag von sv00010 » Mi 21. Nov 2018, 17:30

Schade. Keine Auswertung von onlinetvrecorder.com

Link:
BBcode:
HTML:
Hide post links
Show post links

Benutzeravatar
Fox   
Administrator
Beiträge: 768
Registriert: Do 3. Mär 2016, 13:29
bevorzugter Onlinevideorecorder: (ohne)
Kontaktdaten:

SaveTV vs YouTV vs ARD-Mediathek Qualitätsmetriken

Beitrag von Fox    » Mi 21. Nov 2018, 17:52

Ich habe leider kein Videomaterial von onlinetvrecorder, dass ich gleichzeitig bei YouTV und SaveTV aufgezeichnet hätte.Ich brauche schließlich von allen Anbietern exakt die gleiche Videosequenz in der jeweils auch der gleichen Auflösung.
Erkennen - Verstehen - Nutzen
Es gibt immer schlechte Beispiele - aber sollte man nicht versuchen, besser zu sein?

Link:
BBcode:
HTML:
Hide post links
Show post links

Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 0 Gäste