Zeitaufwand vs. Usability. Wie bekommt Ihr die Downloadmenge in den Griff?

Das TV Forum zum online Cloud TV Recorder Save.TV.
Antworten
vivadante
Beiträge: 23
Registriert: Mi 23. Mär 2016, 23:46

Zeitaufwand vs. Usability. Wie bekommt Ihr die Downloadmenge in den Griff?

Beitrag von vivadante » Mo 13. Jul 2020, 13:15

Hallo!

Seitdem mir 200 private Kanäle zur Programmierung zur Verfügung stehen, von denen ich z.Z. 40 nutze, hat sich die Menge der für diese Kanäle angelegten Download Dateien circa verdreifacht. Hatte ich vormals um die 6500 Dateien pro Monat für mich zum Download bereitstehen, sind es nun Dank der größeren Kanalanzahl um die 17.000 bis 19.000 pro Monat.

Zustande kommt diese übergroße Menge an Dateien aufgrund meine Auswahl an Kanaleigenschaften: für fast alle Hauptsender habe ich nämlich jeweils den ganzen Morgen, Tag bis Abend, und das Nachtprogramm belegt, wodurch diese Sender praktisch 24 Stunden am Tag Aufnahmen generieren. Das geht zwangsläufig in die hohen Zahlen.

Der Aufwand am Ende des Monats, die jeweils für mich interessanten Sendungen herauszupicken, ist deswegen ebenfalls entsprechend gewachsen. Um das herauszufischen, was ich vormals in einem Monat an Aufnahmen behalten wollte, waren ca. 1 bis 1 1/2 Tag(e) nötig (inkl. Downloadzeit, Sichtung auf evtl. Pixelfehler und anschl. Katalogisierung), und der Speicherplatz wurde dementsprechend klein gehalten. Von 6500 Dateien blieben ca. 200 bis 350 übrig was i.d.R. ca. 200 GB an HD Platz belegte.

Die Ausbeute ist jetzt, nach der Aufstockung der programmierten Kanäle, nur unwesentlich angestiegen, jedoch ist der Aufwand für das Spektrum von der Auswahl vor dem Download, dem Downloadprozess an sich und den Sichtungen und Katalogisierungen nach erfolgreichem Download wesentlich zeitaufwendiger geworden, was natürlich der schieren Menge an Dateien zu verdanken ist.

Da dagegen z.Z. anscheinend nur das fortwährende Anlegen und Ändern spezieller Kanäle anstelle tagesabschnittsweiser Programmierung eine Verringerung der Dateimenge zum Ergebnis hätte, wobei der Zeitaufwand der vorzunehmenden Programmierungen vermutlich dem jetzigem Gesamtaufwand gleichkäme, bräuchte es für mich eine clevere Lösung, um eben diesen zu reduzieren und die Menge bis zum Ergebnis besser bearbeiten und verwalten zu können.

Mich interessiert daher, ob und wie Ihr Eure Prozesse von Programmierung bis Download managed, vorausgesetzt Eure Ausgangslage ist meiner von der Menge her ähnlich. Habt Ihr Euren "Workflow" (habe leider im Moment keinen passenderen Begriff parat) optimiert oder gibt es beim STV "Handling" und der "Usability" (umpff!.. schon wieder diese engl. Fachtermini) vielleicht die mir bisher unbekannte Möglichkeit, all das eleganter zu lösen.

Würde mich freuen, wenn sich jemand die Mühe macht, mir (und vielleicht interessierten Mitlesern) ihren oder seinen Praxisvorschlag niederzuschreiben.



Link:
BBcode:
HTML:
Hide post links
Show post links

Fredel
Beiträge: 890
Registriert: So 21. Feb 2016, 20:45
bevorzugter Onlinevideorecorder: Save.TV

Zeitaufwand vs. Usability. Wie bekommt Ihr die Downloadmenge in den Griff?

Beitrag von Fredel » Mo 13. Jul 2020, 15:15

Die Channels sind bei mir nur für den Notfall. Die gewünschten Serien programmiere ich per STVM, die Filme ggf. per Website und lade mit dem JDL dann alles "manuell" programmierte zusammen. Folgende Bausteine optimieren bei mir den Zeitaufwand:
  • Channels
    Diese sorgen bei mir "nur" dafür, dass alles geladen werden "könnte", werden erstmal nicht geladen. Sie benötige ich z.B. bei Programmverschiebungen. Einem Film oder Serie, die mir erst "nach" der Ausstrahlung auffällt.
  • STV Manager - Programmierung (Serien)
    In diesem werden alle Serien gelistet, die mich interessieren. Egal ob Sie laufen oder nicht. Einmal alle 1-3 Wochen lasse ich die Programmierung durchlaufen. Diese Aufnahmen gelten dann - unabhängig von den Channels als "manuell" programmiert.
  • MacroX
    Mit Hilfe dieses Programms arbeitet der STVM die Liste ohne User ab. An dem PC kann man in der Zeit aber nichts machen. Es dauert ein wenig.
  • STV Website - Filme
    Trotz der Channels programmiere ich ausdrücklich gewünschte Filme noch mal händisch. Diese gelten dann als "manuell programmiert". Dank Channels wären jedoch alle verfügbar. Wenn mal was übersehen wurde.
  • JDL
    Der JDL fügt das gesamte STV Archiv per "Crawler" vollautomatisch hinzu. In den (Save.TV) Plug-In Einstellungen "Crawler: Eigene API Parameter" verwende ich folgende Filter (betreffen nur Archiv Crawl, einzeln hinzugefügte Links blockiert dieser Filter nicht):
    tags=record:manual
    Hierdurch erhalte ich nur vorher ausdrücklich programmierte Serien und Filme per Archiv Crawl. Da ich nur Filme manuell programmiere, jedoch alles auf einmal automatisch lade ist der Aufwand überschaubar.
    tvcategories=1
    Wenn man den Filter tauscht. Führt man den Crawl einfach noch mal aus. Ist auch schon vorgekommen, dass ich Filme mal länger nicht programmiert hab. Dieser Filter lädt alle Filme in den JDL. Eingränzungen als Filter oder einfacher mit der Funktion "nur Aufnahmen der letzten X Tage laden" verfeinern dies. Natürlich ist die Anzahl der Downloads so wieder höher.
  • STV Manager - Archiv (Serien & Filme)
    Per Telecast Link übergebe ich ggf. an den JDL, was ich nach Ausstrahlung will, nicht "manuell" programmiert wurde. Bei Serien lassen sich "manuelle" bzw. "Channel" Programmierung ein oder ausblenden. Ab und an brauche ich den Filter "nur Channel Aufnahmen" anzeigen. So checke ich auf / lade gezielt Episoden die beim "Archivieren" (nach dem Download) fehlen.
  • Total Commander
    Vor der Archivierung, wenns nicht eh gleich angesehen wird, checke ich natürlich auch auf Qualität. Anders als mit dem Windows Explorer bietet der TC eine Arbeitsfläche um "neue" Dateien und "alte" in einer "stabilen" Liste so anzuzeigen, dass Dubletten / neue Dateien / bessere Qualität auf 1 Blick erkannt werden. Behalte ich ein File, genügt z.B. Strg-5 (ein MacroX nur für diese Arbeit) und die Datei wird vollautomatisch umbenannt, mit Tele5 markiert und ins Transfair Verzeichnis verschoben (für gesammelte gespiegelte Kopie auf externe HDD, daher immer Orginal & Backup).

    Suchfilter wie Größe > 680 MB usw. lassen leicht Filme von Serien unterscheiden. Die Liste bearbeite ich nach Dateinamen sortiert. Die länge des Pfads zeigt auffällig neue Dateien, sie stehen dann direkt unter oder über den alten.
  • Rename Expert
    Bei Serien ist o.a. Bsp. Strg-5 nicht praktikabel. Nach löschen Müll, Beifang und Dubletten füge ich Serie für Serie per Drag-Drop dort ein, Sie werden dann einfach gesammelt in ein bestimmtes Format umbenannt. Das Format findet der TC dann später und kann über mehrere Quell / Temporäre Platten hinweg kopieren anschließend löschen.
  • SSD´s / Cache HDD / Archiv HDD
    Downloads auf 2 SSD´s. < 680 MB von dort auf Cache HDD: x-tausend Episoden temporär bis zur Aussortierung / Begutachtung. Dann gesammelt alle "umbenannten" (von SSD & Cache HDD) auf die Archivplatten. Dort einfache Spiegelung. Zum aussortieren / bearbeiten oder zum TV Programm zusammenstellen laufen alle Platten, ohne die 2. Spiegelplatten. Vor dem Archivieren ist die 2. Platte mit der 1. zu synchronisieren. Für zwischenzeitlich umbenannte macht das eine simple DOS-Batch -> MS Access -> DOS-Batch Lösung auf Knopfdruck. Für inzw. gelöschte gibts im TC eine Verzeichnis vergleichs Funktion. User Arbeitsschritte wenige Sekunden.

    Filme bearbeite ich öfter. Diese auszusortieren / archivieren gibt schnell viel Platz. Serien dagegen sollen erstmal in Ruhe vollständig werden.
Die geannten Details sollen eine Anregung sein. Die genaue Arbeitsweise würde den Rahmen an der Stelle sprengen. Sie ist jedenfalls so angelegt, dass dies alles mit den geringst möglichen Aufwand abläuft. Die Strategie basiert einfach darauf, dass meine Zeit ebenso einen Preis hat wie eine HDD & vorab investierte Zeit in automatisierte / optimierte Arbeit, sich später auszahlt.
jDownloader & Save.TV: 1. Schritte - automatischer Download <--> Save.TV Manager Version 3 Update: Favoriten retten

Link:
BBcode:
HTML:
Hide post links
Show post links

vivadante
Beiträge: 23
Registriert: Mi 23. Mär 2016, 23:46

Zeitaufwand vs. Usability. Wie bekommt Ihr die Downloadmenge in den Griff?

Beitrag von vivadante » Di 14. Jul 2020, 14:50

Vielen Dank für Deine Anregungen Fredel.

Bis hierhin ausführlich genug für mich, um einen Eindruck zu bekommen, daß Du mindestens so komplexe Arbeitsschritte vollziehst, wie ich sie mir auch angeeignet habe.

Du hast natürlich recht, eine Aufzählung einiger meiner Arbeitsschritte wäre ebenfalls angebracht, um besser nachvollziehbar zu machen, welcher Aufwand von mir betrieben wird und ob dieser zeitlich angemessen ist. Ich will versuchen, dies hier nachzuholen.

Da sich mein Archiv ständig wandelt, gegeben durch den Umstand, daß alte Versionen von Filmen und Serien durch neue und meist qualitativ bessere oder geschnittene (Werbefreie) Versionen ersetzt werden, hat sich bei mir eine ähnliche "Timeline" an aufeinander abgestimmten Arbeitsabläufen ergeben, die sich mit der Zeit jeweils neuen Gegebenheiten wie neu hinzugewonnener Software oder veränderten Budgetanforderungen angepasst hat.

Hätte ich jedoch den STVManager meine Archivierung gleich mit dessen ersten Release Versionen vornehmen lassen, würde mir dies heute vielleicht etwas Zeit beim Vergleich neuerer Download Versionen mit bereits fast vergessenen älteren Dateiversionen ersparen. Da ich damals jedoch auf proprietäre Archivierungssoftware setzte und dies immer noch tue (wie unter "5. Katalogisierung" zu lesen), und zugleich fast alle gängigen Free- und Kaufprodukte am Markt ausprobiert habe, die meinen damaligen Voraussetzungen entsprachen, habe ich viel Zeit und Energie (und z.T. Geld) darauf verwendet, Vor- und Nachteile all dieser teilweise sehr ausgefeilten Softwares auszuloten. Die wirklich passende eierlegende Wollmilchsau habe ich bis heute dabei allerdings nicht gefunden.

Um zu verdeutlichen, welchen Anspruch ich an meine Videos und an das Archiv bisher gestellt habe und weiterhin stelle:


1. Programmierung: Geringer Zeitaufwand für viel Unterschiedliches:

Eigentlich ist die Programmierung zeitlich irrelevant, da sie als Aufwand nicht in's Gewicht fällt. Einziger erkennbarer Nachteil: Sollten die Channels aus irgendeinem Grund mal ausfallen und STV keine vorzeitige Warnung absetzen, die ich dann auch rechtzeitig zu Gesicht bekäme, wäre ich angeschmiert, denn alle Aufnahmen werden momentan über diese Funktion generiert.

2. Download:

Software meiner Wahl ist der JDL:

Über die Jahre hat sich Dankenswerter Weise herausgestellt, daß einerseits das JDL Forum für den Downloader und speziell im Bereich STV Plugin Support super schnelle und super gute Arbeit leistet, und andererseits auch hier im Forum helle Köpfe unterwegs sind die wiederum mit dem dortigen Support bestens Kollaborieren. Das hat mich bisher positiv überzeugt, wenn auch vieles von den Zusatzfunktionen des STV Manager ein wahres Plus an Usability und Komfort bieten würde, die Umstellung auf diesen alleine aber auch ein herber Verlust wäre. Eine Wechsel wäre auch mit einem Wechsel meines bisherigen Arbeitsablaufes verbunden, der ohne klar erkennbaren zusätzlichen Zeitgewinn nicht vertretbar wäre. Deshalb bleibt's erst mal dabei!

Der praktische Teil des Download Verfahrens läuft bei mir deshalb bisher jeweils folgendermaßen ab:

Dem STV Plugin des JDL habe ich ein paar Tweaks verpasst, so daß ich in Übereinstimmung mit den Einstellungen auf der STV Seite eigentlich soweit alle von mir gewünschten und möglichen Dateien bereits voraus benannt und gelabelt in den JDownloader einlesen kann.

2A. Erste Sichtung und Vorauswahl:

Soweit sich in den letzen zwei Monaten gezeigt hat, ergibt sich eine Lawine von ca. 17- oder 18.000 Dateien, die alle vorausgesichtet und gelichtet werden müssen bevor ein Download der verbliebenen Dateien beginnen kann.

Am Ende dieses ersten Auswahlprozesses bleiben ca. 2.000 Dateien übrig, was in etwa 800 bis 900GB Datei Volumen bedeuten kann. Ist dieser Platz vorhanden, wird sodann in einem Rutsch geladen. Ist der Platz nicht komplett vorhanden, wird diese Auswahl thematisch und nach Datum gesplittet und in mehreren Chargen (beim JDL Packs genannt) geladen. Dauer der ertsen Vorauswahl: Ca. zwei Stunden. Dauer der Downloads von ca. 900 GB in einem Rutsch. ca. 36 Stunden.

2B. Das Herunterladen...:

Ich habe ständig mindest. zwei externe HDs am Start, die speziell für diese Aufgaben vorgesehen sind und i.d.R. den entsprechenden Platz frei halten.

Da bisher ca. zwei Tage anzusetzen waren, in denen ich die Aufnahmen von ca. 28 Tagen herunterladen, bearbeiten und archivieren würde, habe ich das Datum des Downloadbeginns immer in meinem Kalender eingetragen. So war ich meist auf der sicheren Seite, habe keine Aufnahmen durch STV seitige Löschung vor dem Ende meines Gesamtdownloads verloren und konnte dabei relativ zügig meine anstehenden Aufgaben erledigen. Nun hat STV die Vorhaltezeit der Aufnahmen auf ihren Servern auf zwei Monate bzw. 60 Tage verlängert, was ich sehr begrüße. Es bleibt aber bei meiner 30 Tage Frist, was die Angelegenheit innerhalb meiner Routine und überschaubarer hält.

Der verblieben Bulk von ca. 2000 Dateien (von denen am Ende der unten beschriebenen Prozesskette vielleicht 300 bis 400 übrig bleiben) zu bearbeiten kann nun aber auch schon mal bis zu sieben Tage dauern (pro Tag ca. 4 Stunden), was entweder an zuviel Aufwand, zuwenig Automatisierung, zu schlechter oder wenig koordinierter Organisation meinerseits oder für ihren Zweck nicht genügend ausgereifter Software liegen könnte. In jedem Fall mein Fehler und wünschenswerterweise zu beheben.

2B1. ... in einem Rutsch und Kontrolle mittels "Free Video Editor":

Habe ich alles in einem Rutsch geladen, werden danach fast alle Dateien kontrolliert. Dies ist ein langwieriger und aufwendiger Prozess. Ich benutze dazu das Programm "Free Video Editor". In der Free Version bietet es zumindest schon mal den Vorteil sehr schnell durch die MP4 Videos scrollen zu können, was ich bei sehr vielen anderen Editoren oder Videobetrachtern vermisse. Diesen Vorteil mache ich mir zunutze. In der Kaufversion (Ja!, TROTZ dem Zusatz FREE in dessen Programmnamen!) verspricht der Hersteller dieser Software ebenfalls einen "Lossless Cut" ohne Zwangsrecodierung nach dem Editiervorgang. Da ich keine Kaufversion habe, kann ich hier nichts weiter hinzufügen.

2B2. ... in mehreren Chargen und Kontrollgängen:

Bin ich gezwungen, in mehreren Chargen zu Packs zusammengefasst zu laden, trenne ich den großen Bulk der nach der ersten Auswahl verbliebener Dateien nach Faktoren als da sind:

2B2a. Zuerst zu kontrollieren (Check First!):

Nach deren Kontrolle bleibt meist nur noch ein Bruchteil der Dateien übrig, der Rest wurde gelöscht, was wieder Platz für die nächste Charge im nächsten Pack schafft usw. Die gelöschten Dateien werden vor dem Löschvorgang noch schnell durch die "MediaInfo" Software gebatcht, damit ich auch in einem Jahr noch die Info bereit habe, daß ich betreffende Dateien erst gar nicht mehr zu laden brauche (unter 4F. wird das "Wie" genauer beschrieben...)

C2B2b. Spielfilme:

Gut 90 Prozent der Spielfilme landen später im Müll. (Hat viele Gründe - Hauptgrund: Platz schaffen da meistens ziemlich große Dateien bei 720p).

2B2c. Spezielle Serien:

solche, die ich bereits auf die zweite externe HD herunterladen werde, weil sie A) bereits eine komplette Staffel ergeben B) eine bereits dort lagernde begonnene Staffel komplettieren oder C) eine beginnende Staffel von speziellem Interesse dort gelagert wird.

2B2d. Die letzen drei Tage:

aller ausgewählten Datei Links werden in einer Charge bzw. in einem Pack nach ihrem Erstellungsdatum separiert und als letzes heruntergeladen. Alle anderen Links werden nach erfolgtem Laden aus dem JDL gelöscht. Die Links der letzten drei Tage, die auf meinen HDs gelandet sind, egal ob ich deren geladene Dateien letztendlich behalte oder lösche, verbleiben im deaktivierten Status im JDL und werden bei dessen erneuter Link Erfassung nach ca. 28 Tagen als vorhandene Downloads erkannt (bei der voreingestellten Tages Befristung für Downloads von 30 Tagen). Es kommt somit zwar zu doppelten Links für die letzen verbliebenen bzw. ersten neuen zwei sich überschneidenden Tage, diese werden aber vom JDL von Haus aus rot gekennzeichnet und können bei der ersten Vorauswahl leicht erkennbar eliminiert werden. Es kommt somit so gut wie zu keinen doppelt geladenen Dateien.

Diese zweite HD ist eine Interims Platte. Auf ihr wird temporär geladen, aus- oder eingelagert oder von dort auf andere externe HDs transferiert.


3. Die Dateien: Die beste Qualität bei niedrigst möglicher Dateigröße!:

Was früher 576p (HQ) und AC3 in annehmbarer Qualität aber uneditiert inkl. Werbeblöcken auf die von STV auf die Platte kam, ist heute durch 720p AAC 2.0, editiert ohne Werbung zu ersetzen. Die höhere Qualität und Auflösung der Videospur ist in diesem Falle der schlechteren Qualität der Audiospur vorzuziehen, auch wenn dies bei Konzertaufnahmen schmerzt, und deshalb in solchen Einzelfällen fast schon keinen Sinn mehr macht.


4. Archivierung & Editierung: Alles Extern mit möglicht vielen Infos / "Lossless Cut"!:

Um herauszufinden, welche Qualität auf welcher externen HD schlummert, habe ich auf jeder Festplatte eine genormte Kopie der Verzeichnisstruktur liegen. Zur Zeit sind dies etwa 40 x 2TB HDs.

4A. Im Spielfilm Verzeichnis:

Jede Spielfilm Datei liegt in einem eigenen Unterverzeichnis, bekommt eine TXT Datei mit Angaben zum Film, dessen Synapsis und den meisten Informationen, die dazu auf IMDb, OFDB und ähnlichen Online Archiven zu beziehen sind. Hinzu kommen Poster Dateien im JPG Format (+ Alternativ Poster sofern vorhanden), Backdrop Bilddateien (ein Bild sagt mehr als 1000 Worte...) und ein Übersichtsbild, das aus dem Video generiert wird, das neben einer Bild Compilage mit 12 Abschnittsbildern der Film Timeline auch Angaben zu de A u. V Codecs, Auflösung und Dauer etc. als Text in die Compilage übernimmt.

Für das Erstellen der Bild Compilage nutze ich die die Software "Thumbnail me 3.0", die für Einsteiger auch als Freeware zur Verfügung steht und anstehende Jobs im Batch Verfahren erledigen kann, was Zeit sparen hilft.

Das Unterverzeichnis (dessen Verzeichnisname bestehend aus Filmname, Release-Jahr, Landessprache, Video Codec, Audio Codec etc.) muss ich z.Z. für jeden einzelnen Spielfilm per Hand erstellen. Eine Software, die diesen Arbeitsschritt im Batch Modus erledigen kann, würde hier schon einige Zeit ersparen, ist mir aber leider nicht bekannt. Vielleicht kennt hier ja jemand eine solche und kann sein Wissen mitteilen?!

4B. Umbenennung der Spielfilme:

Sobald jede Spielfilm Datei in ihrem eigenen Verzeichnis liegt, muß sie umbenannt werden. Ich nutze dazu "Advanced Renamer". Diese Software liest alle Codec Angaben aus der Datei aus und nutzt diese als Vorlage in einer selbst anzulegenden und änderbaren Liste von erwünschten, nacheinander vorzunehmenden Umbenennungsschritten, die dann auf alle ausgesuchten Dateien im Batch Modus angewendet werden können.

Das kann in etwa so aussehen:

Vorhandene Datei vor der Umbenennung so wie von JDL auf die Platte geladen

2 Sturköpfe im Dreivierteltakt_Deutschland_2017_HD_true_06.07.2020_Denim_17482427

Umbenannte Datei nach dem Batch Durchlauf

2.Sturkoepfe.im.Dreivierteltakt.2017.720p.GERMAN.HDTV.AAC.2.0.H246-DENiM

4C. Datei Editing:

Muss Die Datei zuvor geschnitten werden (in diesem Fall wäre sie HD_false): gibt es zwei sehr leicht zu handhabende Softwares, die es auch als FREE Versionen gibt:

Applikation A: Der "Moo0 Videoschneider"

Applikation A ist für solche Fälle gedacht, bei denen eine unedidierte Datei vorliegt und bei der innerhalb des Film- oder Serien Handlungsverlauf keine Werbeblöcke eingestreut sind. Also muss hier jeweils nur vor- und nach der eigentlich aufzuhebenden Video Timeline gekappt werden. Damit dieser Prozess so flott wie möglich geschieht, sollte das zu verbleibende Video nicht recodiert werden, also als MP4 Format editiert und "Lossless" gespeichert werden.

Der "Moo0 Videoschneider" ist dazu bestens geeignet. Eine Datei in Spielfilmlänge mit zusätzlichen 15 Minuten Vorlauf- und 15 Minuten Nachlaufzeit ist ca. 1,5 bis 2GB groß. Das Kappen der Vor- und Endzeiten mit anschließenden Abspeichern ohne Neucodierung dauert ca. 2 Minuten (Bei einiger Übung).


Zum Beispiel "AVCutty" Szenenerkennung

Schwieriger wird es bei Dateien von Privaten Sendern, da diese z.T recht viele Werbeblöcke in ihre Filme und Serien verwursten. Es ist mir keine leicht zu handhabende und vor allem schnelle Software bekannt, die das Cutten diese Werbeblöcke automatisiert vornehmen und immensen Zeitaufwand sparen helfen könnte.

Getestet habe ich Editier Software, die mit Sequenzerkennungsalgorithmen arbeiten, wie etwa die FREEWare/Kaufsoftware "AVCutty" mit seiner Szenenerkennung. Leider recodieren alle mir bekannten Softwares das Videomaterial, was seeehr laaangsaaam ist und daher für eine größere Anzahl zu bearbeitender Dateien nicht in Frage kommt. So auch "AVCutty". Es wäre so schön, Werbeblöcke in einer schnell erstellten Übersicht zur Auswahl fertig geschnitten und zur Entsorgung bereit in einer eigens dazu geschriebenen Software präsentiert zu bekommen, die nach der Löschung der Werbesequenzen das verbliebene Video einfach nur im schon bekannten Format Framegenau und Lippensynchron "Lossless" abspeichert. Kennt jemand zufällig eine solche Software?

Applikation B: "LosslessCut"

Mir ist nach einigen Tests im FREEware Bereich die Software "LosslessCut" als einigermaßen gelungen aufgefallen, die ebenfalls als eine der wenigen zu diesem Zweck geeigneten Softwares "Lossless Cuts" ohne Recodierung anbietet, und deshalb wesentlich schneller zum geschnittenen Ergebnis verhilft, als Software, die nach dem Editieren nurmehr recodierte Videos speichern kann. Auch mit dieser Software lassen sich zeitlich brauchbare Ergebnisse erzielen, diese sind allerdings meilenweit von guter "Lossless" Kaufsoftware, wie etwa "TMPGEnc" entfernt, die allerdings ihren Preis hat.

4D. Die Serien:

Das Verfahren für Serien ist praktisch fast identisch wie das für Spielfilme. Einziger Unterschied. Hier teilen sich die Episoden Dateien einer Staffel jeweils ein Unterverzeichnis. Ob jede einzelne Episode Bildmaterial zugewiesen bekommt, ist eigentlich Nebensache. Die Staffel bekommt Ihr jeweiliges Bild Material auf jeden Fall.

4E. Info- und Bildquellen für Serien:

Eine gute Info Quelle für Serien und übrigens auch Filme, die im deutschen TV laufen ist selbstverständlich www.fernsehserien.de. Früher war der Laden noch ein wenig auskunftsfreudiger, heute hält er aber zumindest den verbliebenen Standard. In deutsche Sprache!

Noch 'ne Gute Quelle insbesondere für ausländische Filme und Serien, hin und wieder sogar mit hinreichendem Bildmaterial und Trailern ist (na Klar!) IMDb.com. Muß ich nix mehr zu sagen, ne? Außer vielleicht: Englische Sprache für Serien- und Filmbeschreibungen!

Beste Quelle für Serien Bildmaterial: www.thetvdb.com
Ist auch international und mehrsprachig, jedoch nicht so stark bei Spielfilm Einträgen.

ssl.ofdb.de hat sich zwar etabliert, kann aber meiner Meinung nach weder mit guter Info oder gutem bzw. aktuellem Bildmaterial punkten. Sorry!

Leider gibt es für den JDL diesbezüglich nur das Plugin für IMDb. Ich weis nicht mal wie das funktionieren soll. Eine Seite mit Kombi Einstellung für Film oder Serienmaterial ist nicht gegeben, so wie das etwa im STVManager möglich ist. Sehr schade!

4F. Die NFO Datei per "MediaInfo":

Ferner bekommt jedes Video eine NFO Datei verpasst. Diese erstelle ich im vorletzen Arbeitsschritt, bevor die externe HD in's Regal wandert, von allen Video Dateien in allen Unterverzeichnissen mittels der Freeware/Kaufsoftware "MediaInfo" ebenfalls im Batch Verfahren.

Tipp!: Damit man nur die Videodateien, und nicht etwa auch alle anderen Dateien in das Batch aufnimmt, öffnet man den HD Inhalt in einem Windows Fenster, dessen Layout in der oberen Linken Ecke ein Suchfenster vorweist, und läßt sich sodann nur noch alle mp4 Dateien aller Unterverzeichnisse in einer Detailliste anzeigen. Von dort zieht man alle Dateien auf das geöffnete "MediaInfo" Interface. Bei ca. 1600 Videodateien, die auf eine 2GB Platte passen, dauert das Generieren der einzelnen NFO Dateien insgesamt ca. 10 Minuten. Hierzu lasse ich Sidecar Files im JSON Format erstellen, mit denen ich später jeweils weitere Arbeitsschritte verrichten kann. Andere NFO Formate werden angeboten. Solche ohne Sidecar Funktion kommen für einen vergleichbaren Arbeitsschritt allerdings nicht in Frage.

Der letzte Verfahrensschritt besteht darin, ebendiese JSON Dateien in eine exakte Kopie der Verzeichnisstruktur auf einer internen HD zu kopieren. Hier dient die Strukturkopie als Auskunftsverzeichnis, da ich leider nicht alle 40 externen Platten im RAID Verbund in einen Server spiegeln lassen kann (ist eine Frage des Budgets).

Suche ich nach einem bestimmten Film oder einer Serie oder Episode, läßt sich in den Kopieverzeichnissen mittels Windows Suchfunktion die dazugehörige JSON Datei schnell aufspüren (sofern schon mal geladen oder gelöscht) und deren eingebettete Angaben in einem einfachen Texteditor ansehen.

Bild- und Text Dateien kommen nicht in die Kopierverzeichnisse.


5. Katalogisieren mit "tinyMediaManager":

Das Katalogisieren nebst gleichzeitigem Herunterladen von Bild- und Info Material zu Filmen und Serien wird indes ungemein durch die FREEware/Donationware "tinyMediaManager" erleichtert, die ich hiermit empfehlen möchte. Sie ist darauf spezialisiert Online Info Quellen wie IMDb und OFDb anzuzapfen und kann, wenn erwünscht, alles Gefundene als Text- und Bilddateien in das Unterverzeichnis der Wahl laden. Im Batch Modus. Das Programm ist in deutscher Sprache erhältlich und für Spender mit einer Online Datenbank kombinierbar. Gut für Backups in's Netz für den Fall einer Platten Havarie!

Auch das Erstellen eines Kataloges der eigenen Filme mittels einer solchen Software kann ein langwieriger Prozess werden, wenn man viele Videodateien sein Eigen nennt. "tinyMediaManager" zählt hier zu den schnellen Softwares, kommt aber auch ohne viel Schnick Schnack daher. Ein Support Forum in deutscher Sprache ist zwar vorhanden, aber nicht immer aktuell. Regelmäßige Updates des Programms finden jedoch statt und können dort besprochen werden.


6. Fazit:

Alles in allem ist der hier beschriebene Weg ein langsamer und arbeitsintensiver, da keine wirkliche Automatisierung möglich scheint. Am aufwendigsten sind die Bereiche, in denen Kontrolle und Videoschnitt stattfinden, wobei das Cutten auch zu einem echten Problem werden kann, wenn's denn schnell gehen soll. Gute Software ist hier ein Muß! Das Kontrollieren der Dateien geht selbst bei einer Software mit guter Scroll-Funktion noch recht langsam, insb. dann, wenn auf dem Computer noch andere rechenintensive Prozesse laufen. Allein das Framegenaue Schneiden einer Serienstaffel mit 13 Episoden und einer Unmenge an Werbeblöcken kann schon mal einen ganzen Vormittag in Anspruch nehmen. Von dieser Art Serien Dateien schlummern noch einige auf meinen HDs.

Etwas schneller aber immer noch recht zeitaufwendig ist das Umbenennen der Dateien und die Anfertigung von Unterverzeichnissen für Spielfilme. Pro Film kann das schon mal mehrere Minuten dauern.

Übrigens ist OTR ein Fall für sich. In fast allen hier beschriebenen Bereichen müssen sich die hier vorgestellten Arbeitschritte dem Umstand anpassen, daß OTR anders codierte Videos anbietet. Das bedeutet zusätzliche Software und andere Handhabung. Eigentlich immer zeitaufwendiger, da von Privaten Sendern alles ungeschnitten und mit Werbeblöcken bespickt ist, hin und wieder aber lohnenswert (z.B. bei Konzerten und auch sonst immer da, wo besserer Sound eine Rolle spielt). Eine Zeitaufrechnung ziehe ich hier erst gar nicht in Betracht.

Wer es geschafft hat, diese Beschreibung meiner Aktivitäten rund um meine STV Downloads bis hier und vollständig zu lesen verdient schon mal meine Hochachtung. Das war dann doch ziemlich viel Stoff. Es dürfte hiermit aber klar geworden sein, daß ich Mühen nicht scheue, ausführliche Anstrengung sich aber am Ende lohnt und der Spaß daran und am Ergebnis deshalb von längerer Dauer ist. Was nicht heißen soll, daß ich weniger Anstrengung bei gleichem Ergebnis geringer schätze.

In diesem Sinne!

Link:
BBcode:
HTML:
Hide post links
Show post links

Fredel
Beiträge: 890
Registriert: So 21. Feb 2016, 20:45
bevorzugter Onlinevideorecorder: Save.TV

Zeitaufwand vs. Usability. Wie bekommt Ihr die Downloadmenge in den Griff?

Beitrag von Fredel » Do 16. Jul 2020, 21:31

Etwas schneller aber immer noch recht zeitaufwendig ist das Umbenennen der Dateien und die Anfertigung von Unterverzeichnissen für Spielfilme. Pro Film kann das schon mal mehrere Minuten dauern
Minuten !? Mit Rename Expert kann man automatisiert Dateinamen bearbeiten und Unterverzeichnisse erstellen. Auch mit Tag´s als Quelle.

Fazit: Vor so einem hochwertig gepflegten Video Archiv muss ich den Hut ziehen.

Mein ganzes Handling ist im Vergleich dazu geradezu radikal auf Zeitersparnis ausgelegt. Das will ich nicht als besser, sondern als billiger bezeichnen. Soweit ich demnächst auf eine Anregung zur Optimierung beim Arbeitsablauf, oder Aufwand & Ertrag stoße, fertige ich dazu einen Screen an.

Der Download erfolgt bei mir auf 2 SSD. Die verschleißen langfristig zwar dadurch. Jedoch: entsteht hier (wie beim DL auf HDD üblich) keine Fragmentierung & die Dateien sind daher & dank SSD sehr reaktionsfreudig. Archivierung und ev. Schnitt haben extrem hohen Datendurchsatz. Alle Archivplatten sind inzw. USB3 mit Anfangs 4TB, dann 6, Neue inzw. 8TB. Am nächsten Black Friday kommen 1-2 Satz 10 oder 12TB dazu.

Alle USB2 & die ersten USB3 - 4TB, habe ich zum Cache- Backupmedium degradiert oder verscherbelt. Letzteres im Vergleich 4x2TB Erlös € vs. 2x8TB Black Friday Preis € tatsächlich sogar ohne Verlust :shock: ... ähm :oops: mit Gewinn. Die Käufer brauchten nix größeres und das Budged hatte dann 2 gebrauchte, somit gespiegelte, anstelle 1 neue Archivplatte gebracht. Eine Win-Win Situation.

Wenn ich schneide, erfolgt das mit Avidemux (iFrame nicht Frame genau, im Copy Mode) und zwar: öffnen SSD > speichern RAM-Disk (! Avidemux indexierte 1000MB speichern ... = 2-3 Sekunden) > USB3 Cache HDD. In der Zeit öffnet parallel die nächste MP4. Dank SSD, Ramdisk und USB3 können problemlos 2-3 Schnitte parallel laufen. Es wird ein Arbeitsstil möglich, bei dem es nicht mal nötig ist auf die Sekunden speichern / öffnen zu warten.

Das (sehr reaktionsfreudige) Prüfen mit VLC in 5 Minuten Sprüngen per Mausrad von hinten nach vorne, bei wichtigem 2,5 Minuten versetzt in die Gegenrichtung, prüft Anfang, Ende, Ton und Bildqualität. Ich prüfe auch nur ob ein "natürlicher" Ton vorhanden ist. Da genügt dann ein Sekundenbruchteil.

Eventuelle kleinere Defekte, wie auch Schnittfehler durch Save.TV nehme ich absichtlich in Kauf und kaufe / leihe mir zur Not einfach den Film oder die Episode. Das ist zwar ärgerlich. Aber effektiv nicht teuer. Und lieber mache ich eine Überstunde oder hab mehr Freizeit. Hab mich auch schon öfter über einen Film oder eine Serie gefreut, die ich nicht hätte, wenn Platz oder Zeit ein Kritärium wären.
jDownloader & Save.TV: 1. Schritte - automatischer Download <--> Save.TV Manager Version 3 Update: Favoriten retten

Link:
BBcode:
HTML:
Hide post links
Show post links

Benutzeravatar
sv00010
Beiträge: 630
Registriert: Sa 20. Feb 2016, 16:41
bevorzugter Onlinevideorecorder: onlinetvrecorder.com

Zeitaufwand vs. Usability. Wie bekommt Ihr die Downloadmenge in den Griff?

Beitrag von sv00010 » Do 16. Jul 2020, 21:41

Fredel hat geschrieben:
Do 16. Jul 2020, 21:31
speichern RAM-Disk
Erzähle bitte mehr über die RAM-Disk und wieviel echten RAM benutzt du?

Link:
BBcode:
HTML:
Hide post links
Show post links

Fredel
Beiträge: 890
Registriert: So 21. Feb 2016, 20:45
bevorzugter Onlinevideorecorder: Save.TV

Zeitaufwand vs. Usability. Wie bekommt Ihr die Downloadmenge in den Griff?

Beitrag von Fredel » Mo 20. Jul 2020, 00:33

sv00010 hat geschrieben:
Do 16. Jul 2020, 21:41
Erzähle bitte mehr über die RAM-Disk und wieviel echten RAM benutzt du?
Eine Ram-Disk wird z.B. per "ImDisk Virtual Disk Driver" ins System eingebunden und verhält sich wie eine HDD. Inhalte können aus einem Image geladen und ggf. auch dort gespeichert werden.

Ihr Datendurchsatz ist unvorstellbar hoch. Außerdem verschleißen Sie nicht wie SSD. Bei einem Stromausfall sind die Daten natürlich weg. Was bei temporären Dateien, als Cache oder bei einigen Arbeiten mit großen (Zip) Archiven nicht stört.

Mein Mini PC hat eine mit 2GB. 1,5 sind für den Proxy. Der Rest für den DNS Server. Letzterer ist 24h am Tag sehr aktiv da alle Namensräume inkl. NS die wir so ansprechen im Minuten Takt aufgelöst, erneuert werden und damit eine DNS Anfrage 3ms anstelle von 3-6 Sekunden braucht (wg. Ablauf TTL). Ein Neustart ist dann auch gleichzeitig Log-File & Cache bei Null.

Mein Arbeits PC hat 10GB RAM-Disk. Da er dynamisch belegt wird, kollidieren RAM & RAM-Disk intensive Arbeiten eher nicht. Mit i5-9600KF, DDR4-3000, 2x Samsung 970 EVO Plus eine unschlagbare Kombi.

Im extrem Fall fordern 4 Prozesse die maximal Leistung:
  • lesen SSD, schreiben RAM
  • lesen RAM, schreiben USB3 HDD
  • lesen 2. SSD, schreiben RAM
  • lesen/schreiben weitere USB3, lesen SSD oder lesen/schreiben RAM

Wer das Ganze geistig mal durchspielt und die jeweiligen Nadelöhre dabei kennt, z.B. den langsamen & verschleißenden Schreibvorgang bei der SSD, oder die Fragmentierung beim Blockweise Schreiben auf eine HDD (DL / schneiden), erkennt, dass hier eine Arbeitsweise möglich wird, bei der man praktisch gar nicht mehr auf die Datenübertragung warten muss, insb. auch ohne dass das System hängt.
jDownloader & Save.TV: 1. Schritte - automatischer Download <--> Save.TV Manager Version 3 Update: Favoriten retten

Link:
BBcode:
HTML:
Hide post links
Show post links

Antworten

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast