Vielen Dank für Deine Anregungen Fredel.
Bis hierhin ausführlich genug für mich, um einen Eindruck zu bekommen, daß Du mindestens so komplexe Arbeitsschritte vollziehst, wie ich sie mir auch angeeignet habe.
Du hast natürlich recht, eine Aufzählung einiger meiner Arbeitsschritte wäre ebenfalls angebracht, um besser nachvollziehbar zu machen, welcher Aufwand von mir betrieben wird und ob dieser zeitlich angemessen ist. Ich will versuchen, dies hier nachzuholen.
Da sich mein Archiv ständig wandelt, gegeben durch den Umstand, daß alte Versionen von Filmen und Serien durch neue und meist qualitativ bessere oder geschnittene (Werbefreie) Versionen ersetzt werden, hat sich bei mir eine ähnliche "Timeline" an aufeinander abgestimmten Arbeitsabläufen ergeben, die sich mit der Zeit jeweils neuen Gegebenheiten wie neu hinzugewonnener Software oder veränderten Budgetanforderungen angepasst hat.
Hätte ich jedoch den STVManager meine Archivierung gleich mit dessen ersten Release Versionen vornehmen lassen, würde mir dies heute vielleicht etwas Zeit beim Vergleich neuerer Download Versionen mit bereits fast vergessenen älteren Dateiversionen ersparen. Da ich damals jedoch auf proprietäre Archivierungssoftware setzte und dies immer noch tue (wie unter "5. Katalogisierung" zu lesen), und zugleich fast alle gängigen Free- und Kaufprodukte am Markt ausprobiert habe, die meinen damaligen Voraussetzungen entsprachen, habe ich viel Zeit und Energie (und z.T. Geld) darauf verwendet, Vor- und Nachteile all dieser teilweise sehr ausgefeilten Softwares auszuloten. Die wirklich passende eierlegende Wollmilchsau habe ich bis heute dabei allerdings nicht gefunden.
Um zu verdeutlichen, welchen Anspruch ich an meine Videos und an das Archiv bisher gestellt habe und weiterhin stelle:
1. Programmierung: Geringer Zeitaufwand für viel Unterschiedliches:
Eigentlich ist die Programmierung zeitlich irrelevant, da sie als Aufwand nicht in's Gewicht fällt. Einziger erkennbarer Nachteil: Sollten die Channels aus irgendeinem Grund mal ausfallen und STV keine vorzeitige Warnung absetzen, die ich dann auch rechtzeitig zu Gesicht bekäme, wäre ich angeschmiert, denn alle Aufnahmen werden momentan über diese Funktion generiert.
2. Download:
Software meiner Wahl ist der
JDL:
Über die Jahre hat sich Dankenswerter Weise herausgestellt, daß einerseits das JDL Forum für den Downloader und speziell im Bereich STV Plugin Support super schnelle und super gute Arbeit leistet, und andererseits auch hier im Forum helle Köpfe unterwegs sind die wiederum mit dem dortigen Support bestens Kollaborieren. Das hat mich bisher positiv überzeugt, wenn auch vieles von den Zusatzfunktionen des STV Manager ein wahres Plus an Usability und Komfort bieten würde, die Umstellung auf diesen alleine aber auch ein herber Verlust wäre. Eine Wechsel wäre auch mit einem Wechsel meines bisherigen Arbeitsablaufes verbunden, der ohne klar erkennbaren zusätzlichen Zeitgewinn nicht vertretbar wäre. Deshalb bleibt's erst mal dabei!
Der praktische Teil des Download Verfahrens läuft bei mir deshalb bisher jeweils folgendermaßen ab:
Dem STV Plugin des JDL habe ich ein paar Tweaks verpasst, so daß ich in Übereinstimmung mit den Einstellungen auf der STV Seite eigentlich soweit alle von mir gewünschten und möglichen Dateien bereits voraus benannt und gelabelt in den JDownloader einlesen kann.
2A. Erste Sichtung und Vorauswahl:
Soweit sich in den letzen zwei Monaten gezeigt hat, ergibt sich eine Lawine von ca. 17- oder 18.000 Dateien, die alle vorausgesichtet und gelichtet werden müssen bevor ein Download der verbliebenen Dateien beginnen kann.
Am Ende dieses ersten Auswahlprozesses bleiben ca. 2.000 Dateien übrig, was in etwa 800 bis 900GB Datei Volumen bedeuten kann. Ist dieser Platz vorhanden, wird sodann in einem Rutsch geladen. Ist der Platz nicht komplett vorhanden, wird diese Auswahl thematisch und nach Datum gesplittet und in mehreren Chargen (beim JDL Packs genannt) geladen. Dauer der ertsen Vorauswahl: Ca. zwei Stunden. Dauer der Downloads von ca. 900 GB in einem Rutsch. ca. 36 Stunden.
2B. Das Herunterladen...:
Ich habe ständig mindest. zwei externe HDs am Start, die speziell für diese Aufgaben vorgesehen sind und i.d.R. den entsprechenden Platz frei halten.
Da bisher ca. zwei Tage anzusetzen waren, in denen ich die Aufnahmen von ca. 28 Tagen herunterladen, bearbeiten und archivieren würde, habe ich das Datum des Downloadbeginns immer in meinem Kalender eingetragen. So war ich meist auf der sicheren Seite, habe keine Aufnahmen durch STV seitige Löschung vor dem Ende meines Gesamtdownloads verloren und konnte dabei relativ zügig meine anstehenden Aufgaben erledigen. Nun hat STV die Vorhaltezeit der Aufnahmen auf ihren Servern auf zwei Monate bzw. 60 Tage verlängert, was ich sehr begrüße. Es bleibt aber bei meiner 30 Tage Frist, was die Angelegenheit innerhalb meiner Routine und überschaubarer hält.
Der verblieben Bulk von ca. 2000 Dateien (von denen am Ende der unten beschriebenen Prozesskette vielleicht 300 bis 400 übrig bleiben) zu bearbeiten kann nun aber auch schon mal bis zu sieben Tage dauern (pro Tag ca. 4 Stunden), was entweder an zuviel Aufwand, zuwenig Automatisierung, zu schlechter oder wenig koordinierter Organisation meinerseits oder für ihren Zweck nicht genügend ausgereifter Software liegen könnte. In jedem Fall mein Fehler und wünschenswerterweise zu beheben.
2B1. ... in einem Rutsch und Kontrolle mittels "Free Video Editor":
Habe ich alles in einem Rutsch geladen, werden danach fast alle Dateien kontrolliert. Dies ist ein langwieriger und aufwendiger Prozess. Ich benutze dazu das Programm "Free Video Editor". In der Free Version bietet es zumindest schon mal den Vorteil sehr schnell durch die MP4 Videos scrollen zu können, was ich bei sehr vielen anderen Editoren oder Videobetrachtern vermisse. Diesen Vorteil mache ich mir zunutze. In der Kaufversion (Ja!, TROTZ dem Zusatz FREE in dessen Programmnamen!) verspricht der Hersteller dieser Software ebenfalls einen "Lossless Cut" ohne Zwangsrecodierung nach dem Editiervorgang. Da ich keine Kaufversion habe, kann ich hier nichts weiter hinzufügen.
2B2. ... in mehreren Chargen und Kontrollgängen:
Bin ich gezwungen, in mehreren Chargen zu Packs zusammengefasst zu laden, trenne ich den großen Bulk der nach der ersten Auswahl verbliebener Dateien nach Faktoren als da sind:
2B2a. Zuerst zu kontrollieren (Check First!):
Nach deren Kontrolle bleibt meist nur noch ein Bruchteil der Dateien übrig, der Rest wurde gelöscht, was wieder Platz für die nächste Charge im nächsten Pack schafft usw. Die gelöschten Dateien werden vor dem Löschvorgang noch schnell durch die "MediaInfo" Software gebatcht, damit ich auch in einem Jahr noch die Info bereit habe, daß ich betreffende Dateien erst gar nicht mehr zu laden brauche (unter 4F. wird das "Wie" genauer beschrieben...)
C2B2b. Spielfilme:
Gut 90 Prozent der Spielfilme landen später im Müll. (Hat viele Gründe - Hauptgrund: Platz schaffen da meistens ziemlich große Dateien bei 720p).
2B2c. Spezielle Serien:
solche, die ich bereits auf die zweite externe HD herunterladen werde, weil sie A) bereits eine komplette Staffel ergeben B) eine bereits dort lagernde begonnene Staffel komplettieren oder C) eine beginnende Staffel von speziellem Interesse dort gelagert wird.
2B2d. Die letzen drei Tage:
aller ausgewählten Datei Links werden in einer Charge bzw. in einem Pack nach ihrem Erstellungsdatum separiert und als letzes heruntergeladen. Alle anderen Links werden nach erfolgtem Laden aus dem JDL gelöscht. Die Links der letzten drei Tage, die auf meinen HDs gelandet sind, egal ob ich deren geladene Dateien letztendlich behalte oder lösche, verbleiben im deaktivierten Status im JDL und werden bei dessen erneuter Link Erfassung nach ca. 28 Tagen als vorhandene Downloads erkannt (bei der voreingestellten Tages Befristung für Downloads von 30 Tagen). Es kommt somit zwar zu doppelten Links für die letzen verbliebenen bzw. ersten neuen zwei sich überschneidenden Tage, diese werden aber vom JDL von Haus aus rot gekennzeichnet und können bei der ersten Vorauswahl leicht erkennbar eliminiert werden. Es kommt somit so gut wie zu keinen doppelt geladenen Dateien.
Diese zweite HD ist eine Interims Platte. Auf ihr wird temporär geladen, aus- oder eingelagert oder von dort auf andere externe HDs transferiert.
3. Die Dateien: Die beste Qualität bei niedrigst möglicher Dateigröße!:
Was früher 576p (HQ) und AC3 in annehmbarer Qualität aber uneditiert inkl. Werbeblöcken auf die von STV auf die Platte kam, ist heute durch 720p AAC 2.0, editiert ohne Werbung zu ersetzen. Die höhere Qualität und Auflösung der Videospur ist in diesem Falle der schlechteren Qualität der Audiospur vorzuziehen, auch wenn dies bei Konzertaufnahmen schmerzt, und deshalb in solchen Einzelfällen fast schon keinen Sinn mehr macht.
4. Archivierung & Editierung: Alles Extern mit möglicht vielen Infos / "Lossless Cut"!:
Um herauszufinden, welche Qualität auf welcher externen HD schlummert, habe ich auf jeder Festplatte eine genormte Kopie der Verzeichnisstruktur liegen. Zur Zeit sind dies etwa 40 x 2TB HDs.
4A. Im Spielfilm Verzeichnis:
Jede Spielfilm Datei liegt in einem eigenen Unterverzeichnis, bekommt eine TXT Datei mit Angaben zum Film, dessen Synapsis und den meisten Informationen, die dazu auf IMDb, OFDB und ähnlichen Online Archiven zu beziehen sind. Hinzu kommen Poster Dateien im JPG Format (+ Alternativ Poster sofern vorhanden), Backdrop Bilddateien (ein Bild sagt mehr als 1000 Worte...) und ein Übersichtsbild, das aus dem Video generiert wird, das neben einer Bild Compilage mit 12 Abschnittsbildern der Film Timeline auch Angaben zu de A u. V Codecs, Auflösung und Dauer etc. als Text in die Compilage übernimmt.
Für das Erstellen der Bild Compilage nutze ich die die Software
"Thumbnail me 3.0", die für Einsteiger auch als Freeware zur Verfügung steht und anstehende Jobs im Batch Verfahren erledigen kann, was Zeit sparen hilft.
Das Unterverzeichnis (dessen Verzeichnisname bestehend aus Filmname, Release-Jahr, Landessprache, Video Codec, Audio Codec etc.) muss ich z.Z. für jeden einzelnen Spielfilm per Hand erstellen. Eine Software, die diesen Arbeitsschritt im Batch Modus erledigen kann, würde hier schon einige Zeit ersparen, ist mir aber leider nicht bekannt. Vielleicht kennt hier ja jemand eine solche und kann sein Wissen mitteilen?!
4B. Umbenennung der Spielfilme:
Sobald jede Spielfilm Datei in ihrem eigenen Verzeichnis liegt, muß sie umbenannt werden. Ich nutze dazu
"Advanced Renamer". Diese Software liest alle Codec Angaben aus der Datei aus und nutzt diese als Vorlage in einer selbst anzulegenden und änderbaren Liste von erwünschten, nacheinander vorzunehmenden Umbenennungsschritten, die dann auf alle ausgesuchten Dateien im Batch Modus angewendet werden können.
Das kann in etwa so aussehen:
Vorhandene Datei vor der Umbenennung so wie von JDL auf die Platte geladen
2 Sturköpfe im Dreivierteltakt_Deutschland_2017_HD_true_06.07.2020_Denim_17482427
Umbenannte Datei nach dem Batch Durchlauf
2.Sturkoepfe.im.Dreivierteltakt.2017.720p.GERMAN.HDTV.AAC.2.0.H246-DENiM
4C. Datei Editing:
Muss Die Datei zuvor geschnitten werden (in diesem Fall wäre sie HD_false): gibt es zwei sehr leicht zu handhabende Softwares, die es auch als FREE Versionen gibt:
Applikation A: Der "Moo0 Videoschneider"
Applikation A ist für solche Fälle gedacht, bei denen eine unedidierte Datei vorliegt und bei der innerhalb des Film- oder Serien Handlungsverlauf keine Werbeblöcke eingestreut sind. Also muss hier jeweils nur vor- und nach der eigentlich aufzuhebenden Video Timeline gekappt werden. Damit dieser Prozess so flott wie möglich geschieht, sollte das zu verbleibende Video nicht recodiert werden, also als MP4 Format editiert und "Lossless" gespeichert werden.
Der "Moo0 Videoschneider" ist dazu bestens geeignet. Eine Datei in Spielfilmlänge mit zusätzlichen 15 Minuten Vorlauf- und 15 Minuten Nachlaufzeit ist ca. 1,5 bis 2GB groß. Das Kappen der Vor- und Endzeiten mit anschließenden Abspeichern ohne Neucodierung dauert ca. 2 Minuten (Bei einiger Übung).
Zum Beispiel
"AVCutty" Szenenerkennung
Schwieriger wird es bei Dateien von Privaten Sendern, da diese z.T recht viele Werbeblöcke in ihre Filme und Serien verwursten. Es ist mir keine leicht zu handhabende und vor allem schnelle Software bekannt, die das Cutten diese Werbeblöcke automatisiert vornehmen und immensen Zeitaufwand sparen helfen könnte.
Getestet habe ich Editier Software, die mit Sequenzerkennungsalgorithmen arbeiten, wie etwa die FREEWare/Kaufsoftware "AVCutty" mit seiner Szenenerkennung. Leider recodieren alle mir bekannten Softwares das Videomaterial, was
seeehr laaangsaaam ist und daher für eine größere Anzahl zu bearbeitender Dateien nicht in Frage kommt. So auch "AVCutty". Es wäre so schön, Werbeblöcke in einer schnell erstellten Übersicht zur Auswahl fertig geschnitten und zur Entsorgung bereit in einer eigens dazu geschriebenen Software präsentiert zu bekommen, die nach der Löschung der Werbesequenzen das verbliebene Video einfach nur im schon bekannten Format Framegenau und Lippensynchron "Lossless" abspeichert. Kennt jemand zufällig eine solche Software?
Applikation B: "LosslessCut"
Mir ist nach einigen Tests im FREEware Bereich die Software "LosslessCut" als einigermaßen gelungen aufgefallen, die ebenfalls als eine der wenigen zu diesem Zweck geeigneten Softwares "Lossless Cuts" ohne Recodierung anbietet, und deshalb wesentlich schneller zum geschnittenen Ergebnis verhilft, als Software, die nach dem Editieren nurmehr recodierte Videos speichern kann. Auch mit dieser Software lassen sich zeitlich brauchbare Ergebnisse erzielen, diese sind allerdings meilenweit von guter "Lossless" Kaufsoftware, wie etwa "TMPGEnc" entfernt, die allerdings ihren Preis hat.
4D. Die Serien:
Das Verfahren für Serien ist praktisch fast identisch wie das für Spielfilme. Einziger Unterschied. Hier teilen sich die Episoden Dateien einer Staffel jeweils ein Unterverzeichnis. Ob jede einzelne Episode Bildmaterial zugewiesen bekommt, ist eigentlich Nebensache. Die Staffel bekommt Ihr jeweiliges Bild Material auf jeden Fall.
4E. Info- und Bildquellen für Serien:
Eine gute Info Quelle für Serien und übrigens auch Filme, die im deutschen TV laufen ist selbstverständlich
www.fernsehserien.de. Früher war der Laden noch ein wenig auskunftsfreudiger, heute hält er aber zumindest den verbliebenen Standard. In deutsche Sprache!
Noch 'ne Gute Quelle insbesondere für ausländische Filme und Serien, hin und wieder sogar mit hinreichendem Bildmaterial und Trailern ist (na Klar!) IMDb.com. Muß ich nix mehr zu sagen, ne? Außer vielleicht: Englische Sprache für Serien- und Filmbeschreibungen!
Beste Quelle für Serien Bildmaterial:
www.thetvdb.com
Ist auch international und mehrsprachig, jedoch nicht so stark bei Spielfilm Einträgen.
ssl.ofdb.de hat sich zwar etabliert, kann aber meiner Meinung nach weder mit guter Info oder gutem bzw. aktuellem Bildmaterial punkten. Sorry!
Leider gibt es für den JDL diesbezüglich nur das Plugin für IMDb. Ich weis nicht mal wie das funktionieren soll. Eine Seite mit Kombi Einstellung für Film oder Serienmaterial ist nicht gegeben, so wie das etwa im STVManager möglich ist. Sehr schade!
4F. Die NFO Datei per "MediaInfo":
Ferner bekommt jedes Video eine NFO Datei verpasst. Diese erstelle ich im vorletzen Arbeitsschritt, bevor die externe HD in's Regal wandert, von allen Video Dateien in allen Unterverzeichnissen mittels der Freeware/Kaufsoftware "MediaInfo" ebenfalls im Batch Verfahren.
Tipp!: Damit man nur die Videodateien, und nicht etwa auch alle anderen Dateien in das Batch aufnimmt, öffnet man den HD Inhalt in einem Windows Fenster, dessen Layout in der oberen Linken Ecke ein Suchfenster vorweist, und läßt sich sodann nur noch alle mp4 Dateien aller Unterverzeichnisse in einer Detailliste anzeigen. Von dort zieht man alle Dateien auf das geöffnete "MediaInfo" Interface. Bei ca. 1600 Videodateien, die auf eine 2GB Platte passen, dauert das Generieren der einzelnen NFO Dateien insgesamt ca. 10 Minuten. Hierzu lasse ich Sidecar Files im JSON Format erstellen, mit denen ich später jeweils weitere Arbeitsschritte verrichten kann. Andere NFO Formate werden angeboten. Solche ohne Sidecar Funktion kommen für einen vergleichbaren Arbeitsschritt allerdings nicht in Frage.
Der letzte Verfahrensschritt besteht darin, ebendiese JSON Dateien in eine exakte Kopie der Verzeichnisstruktur auf einer internen HD zu kopieren. Hier dient die Strukturkopie als Auskunftsverzeichnis, da ich leider nicht alle 40 externen Platten im RAID Verbund in einen Server spiegeln lassen kann (ist eine Frage des Budgets).
Suche ich nach einem bestimmten Film oder einer Serie oder Episode, läßt sich in den Kopieverzeichnissen mittels Windows Suchfunktion die dazugehörige JSON Datei schnell aufspüren (sofern schon mal geladen oder gelöscht) und deren eingebettete Angaben in einem einfachen Texteditor ansehen.
Bild- und Text Dateien kommen nicht in die Kopierverzeichnisse.
5. Katalogisieren mit "tinyMediaManager":
Das Katalogisieren nebst gleichzeitigem Herunterladen von Bild- und Info Material zu Filmen und Serien wird indes ungemein durch die FREEware/Donationware "tinyMediaManager" erleichtert, die ich hiermit empfehlen möchte. Sie ist darauf spezialisiert Online Info Quellen wie IMDb und OFDb anzuzapfen und kann, wenn erwünscht, alles Gefundene als Text- und Bilddateien in das Unterverzeichnis der Wahl laden. Im Batch Modus. Das Programm ist in deutscher Sprache erhältlich und für Spender mit einer Online Datenbank kombinierbar. Gut für Backups in's Netz für den Fall einer Platten Havarie!
Auch das Erstellen eines Kataloges der eigenen Filme mittels einer solchen Software kann ein langwieriger Prozess werden, wenn man viele Videodateien sein Eigen nennt. "tinyMediaManager" zählt hier zu den schnellen Softwares, kommt aber auch ohne viel Schnick Schnack daher. Ein Support Forum in deutscher Sprache ist zwar vorhanden, aber nicht immer aktuell. Regelmäßige Updates des Programms finden jedoch statt und können dort besprochen werden.
6. Fazit:
Alles in allem ist der hier beschriebene Weg ein langsamer und arbeitsintensiver, da keine wirkliche Automatisierung möglich scheint. Am aufwendigsten sind die Bereiche, in denen Kontrolle und Videoschnitt stattfinden, wobei das Cutten auch zu einem echten Problem werden kann, wenn's denn schnell gehen soll. Gute Software ist hier ein Muß! Das Kontrollieren der Dateien geht selbst bei einer Software mit guter Scroll-Funktion noch recht langsam, insb. dann, wenn auf dem Computer noch andere rechenintensive Prozesse laufen. Allein das Framegenaue Schneiden einer Serienstaffel mit 13 Episoden und einer Unmenge an Werbeblöcken kann schon mal einen ganzen Vormittag in Anspruch nehmen. Von dieser Art Serien Dateien schlummern noch einige auf meinen HDs.
Etwas schneller aber immer noch recht zeitaufwendig ist das Umbenennen der Dateien und die Anfertigung von Unterverzeichnissen für Spielfilme. Pro Film kann das schon mal mehrere Minuten dauern.
Übrigens ist OTR ein Fall für sich. In fast allen hier beschriebenen Bereichen müssen sich die hier vorgestellten Arbeitschritte dem Umstand anpassen, daß OTR anders codierte Videos anbietet. Das bedeutet zusätzliche Software und andere Handhabung. Eigentlich immer zeitaufwendiger, da von Privaten Sendern alles ungeschnitten und mit Werbeblöcken bespickt ist, hin und wieder aber lohnenswert (z.B. bei Konzerten und auch sonst immer da, wo besserer Sound eine Rolle spielt). Eine Zeitaufrechnung ziehe ich hier erst gar nicht in Betracht.
Wer es geschafft hat, diese Beschreibung meiner Aktivitäten rund um meine STV Downloads bis hier und vollständig zu lesen verdient schon mal meine Hochachtung. Das war dann doch ziemlich viel Stoff. Es dürfte hiermit aber klar geworden sein, daß ich Mühen nicht scheue, ausführliche Anstrengung sich aber am Ende lohnt und der Spaß daran und am Ergebnis deshalb von längerer Dauer ist. Was nicht heißen soll, daß ich weniger Anstrengung bei gleichem Ergebnis geringer schätze.
In diesem Sinne!