FTP/FTPS/SFTP (Eingangsagent Cron)

Lobster Integration kontaktiert einen FTP-Server und durchsucht ein Verzeichnis nach Dateien, die dem Dateimuster entsprechen. Das Profil durchsucht nur das angegebene Verzeichnis, keine Unterverzeichnisse. Es arbeitet die Dateien in der Reihenfolge ab, in der der FTP-Server sie liefert.

Einstellungen

① Kommunikationsprotokoll: Wählen Sie zwischen den Protokollen FTP, SFTP und FTPS. Siehe auch ③.

② Via DMZ: Ist diese Checkbox gesetzt, empfängt das System die Daten über den DMZ-Server. Dabei kontaktiert es den DMZ-Rechner. Dieser führt die FTP-Kommandos aus, empfängt die Dateien und speichert sie lokal ab. Anschließend holt das System diese Dateien über einen internen Systemkommunikationspartner per FTP ab und verarbeitet sie. Diese Option steht nur zur Verfügung, wenn in ③ ein Kanal konfiguriert ist. Ist kein DMZ-Server konfiguriert, zeigt das System diese Checkbox nicht an.  ACHTUNG: Den internen Kommunikationspartner DMZ Internal legt das System automatisch an. Ändern Sie ihn nicht.

③ Kanal-Auswahl: Wählen Sie einen Kanal des Typs FTP (für die Protokolle FTP und FTPS) oder SSH (für das Protokoll SFTP) aus. Verwenden Sie möglichst Kanäle, um die Verbindungsparameter zentral zu verwalten. Das macht die Konfiguration übersichtlicher und wartungsfreundlicher. Ändern sich die Verbindungsparameter, dann passen Sie die Daten nur an einer Stelle an und übersehen kein Profil.

④ FTP Server, Port: DNS-Name oder IP-Adresse und Port des FTP-Servers. Beispiel: ftp.example.com. Geben Sie für den Port den Wert 0 an, dann gilt der Port aus dem Kanal. Ist kein Kanal ausgewählt, gilt der Standardport aus ./etc/ftp.xml. Bei einem Port größer 0 gilt dieser Wert.

⑤ GXS Konto: Benutzer und Kennwort für das Zielsystem. Achten Sie darauf, dass der eingetragene Benutzer Zugriffsrechte für das angegebene Verzeichnis ⑦ besitzt. Bei einer Verbindung zu einem Value Added Network (VAN) benötigen Sie zusätzlich zum Benutzer eventuell die Angabe des GXS-Kontos.

⑥ Übertragungsart: Im passiven Modus baut der Client die Kontroll- und die Datenverbindung auf. Im aktiven Modus baut der Server die Datenverbindung auf. Dabei kann die dortige Firewall den nötigen Port blockieren. Im ASCII-Transfer-Modus wandelt das System plattformabhängige Textformate und Sonderzeichen um.

⑦ Verzeichnis: Das Verzeichnis, in dem das Profil die Dateien sucht. Erlaubt sind MSG_CALL_-Variablen und Platzhalter für Zeitangaben. Andere Variablen initialisiert das System erst in Phase 3. Beispiel: ./ftp/@MSG_CALL_VAR_DATA@.

⑧ Schnellen Listenmodus verwenden: Das System verwendet für die Dateiliste das FTP-Kommando NLST statt LIST. Damit erstellt es die Dateiliste schneller. Es erhält dann aber nur die Dateinamen und keine weiteren Informationen, zum Beispiel ob es sich um ein Verzeichnis handelt. Die Antwort des Kommandos LIST ist nicht genormt. Deshalb kann es beim Einlesen der empfangenen Daten zu Problemen kommen. Der schnelle Listenmodus schafft bei Fehlern dieser Art Abhilfe.

⑨ Dateimuster: Muster für den Dateinamen. Beispiel: *.txt|*.asc. Zusätzlich sortieren Sie die Dateien für die Verarbeitung nach Dateiname, aufsteigend oder absteigend. Alternativ übernimmt das System die Reihenfolge des FTP-Servers.

⑩ Dateibehandlung: Das System behandelt die gelesene Datei auf eine der folgenden Arten.

• nicht löschen: Das System löscht die gelesene Datei nicht. Eine vorhandene Kontrolldatei löscht es ebenfalls nicht.

• löschen: Das System löscht die gelesene Datei und eine vorhandene Kontrolldatei.

• umbenennen: Das System benennt die gelesene Datei um. Den neuen Dateinamen geben Sie im zugehörigen Eingabefeld an. Eine vorhandene Kontrolldatei löscht oder benennt es nicht um. Mit den folgenden Platzhaltern nehmen Sie Bezug auf den Namen der verarbeiteten Datei:

  • <file> ist der vollständige Name der verarbeiteten Datei.

  • <file-prefix> ist der Name der verarbeiteten Datei ohne Dateierweiterung.

⑪ Kontrolldatei verwenden: Ist diese Checkbox gesetzt, liest das System eine Datei erst, wenn die zugehörige Kontrolldatei vorhanden ist. Beim Wert nicht löschen in ⑩ bleiben auch die Kontrolldateien erhalten. Siehe das Beispiel in ⑫ und die System-Variable VAR_SYS_CTRL_FILE.

⑫ Master Kontrolldatei: Dateiendung oder Dateibeginn der Kontrolldatei. Den Punkt im Suffix müssen Sie explizit angeben. Beispiel: Tragen Sie den Suffix .ctrl in das Feld ein, dann sucht das System zur Datei name1.txt die Kontrolldatei name1.txt.ctrl.

⑬ Master Kontrolldatei verarbeiten: Ist diese Checkbox gesetzt, erwartet das System keine Kontrolldatei pro Datei, sondern eine Kontrolldatei für das gesamte Verzeichnis. Der Job startet, sobald diese Datei im Verzeichnis ⑦ existiert.

⑭ Parallelverarbeitung aktivieren: Ist diese Checkbox gesetzt, können mehrere Instanzen dieses Profils parallel arbeiten. Die Checkbox Profil darf nur in einer Instanz laufen darf für dieses Profil nicht gesetzt werden.

⑮ Leere Dateien löschen: Ist diese Checkbox gesetzt, löscht das System leere Dateien auf dem entfernten System. Das gilt unabhängig von der Einstellung in ⑩.

⑯ Leere Dateien nicht überspringen: Ist diese Checkbox gesetzt, entstehen auch für leere Dateien Jobs. In einer DMZ-Umgebung steuern Sie das Verhalten über eine Startoption in der Konfigurationsdatei ./etc/startup.xml des DMZ-Rechners.

<!-- Defines how to handle empty FTP, SSH and OFTP files (0=skip, 1=delete, 2=transfer) -->
<Set name="handleEmptyFiles">0</Set>

• 0 (skip, Default): Die leere Datei bleibt auf dem DMZ-Server liegen. Das System schreibt einen Logeintrag in DmzEvents.

• 1 (delete): Das System löscht die leere Datei auf dem DMZ-Server.

• 2 (transfer): Das System überträgt die leere Datei an das Profil. Dann greift die Einstellung in ⑯.

⑰ AS400 Hauptdatei löschen oder umbenennen: Gibt an, ob das System die Hauptdatei nach dem Abholen der Dateien löscht oder umbenennt.  ACHTUNG: Das System löscht die Hauptdatei auch dann, wenn sie Dateien enthält, die nicht dem Dateimuster ⑨ entsprechen.

⑱ Zusätzliche FTP-Befehle: Hier geben Sie zusätzliche FTP-SITE-Befehle und Standard-FTP-Befehle nach RFC 959 an. Welche SITE-Befehle möglich sind, hängt vom jeweiligen FTP-Server ab. Mit SITE HELP liefert der FTP-Server manchmal eine Liste seiner spezifischen SITE-Befehle.  WICHTIG:  Mit dem Protokoll SFTP ① können Sie keine zusätzlichen FTP-Befehle nutzen.

• Geben Sie den Befehl somecommand an, dann versendet das System intern SITE somecommand.

• Für Standard-FTP-Befehle verwenden Sie das Präfix rfc:. Geben Sie also rfc:CDUP an, dann versendet das System intern CDUP.

• Mit dem Präfix before: sendet das System den Befehl vor der Dateiübertragung, sonst danach. Um CDUP vor der Übertragung zu senden, verwenden Sie before:rfc:CDUP.

• Für die zusätzlichen Befehle verwenden Sie auch Variablen aus dem Profil in der Form @MSG_CALL_VARNAME@.

• Beim Senden von Kommandos prüft das System den Return-Code des Servers. Es akzeptiert alle Werte 2xx außer 202. Bei anderen Werten erzeugt das Profil einen Fehler.

• Das System prüft nicht, ob die SITE-Befehle selbst erfolgreich waren. Schlägt ein SITE-Befehl fehl, erzeugt Lobster Integration keinen Fehler. Eine Ausnahme ist die IO-Exception.

Weitere Hinweise

• Manche FTP-Server liefern auch Unterverzeichnisse, ohne sie kenntlich zu machen. Das Profil versucht dann, Jobs für nicht vorhandene Dateien auszuführen. Fordern Sie bei diesen FTP-Servern die lange Dateiliste an, um das zu verhindern.

• Ist für die Dateibehandlung nicht löschen eingestellt, dann löschen oder benennen Sie die Datei auf dem FTP-Server nach erfolgreichem Lesen selbst um. Das gilt auch für eine vorhandene Kontrolldatei. Andernfalls arbeitet das Profil sie beim nächsten Durchlauf erneut ab.

• Schlägt das Löschen oder Umbenennen der Datei fehl, dann startet kein Job. Das passiert zum Beispiel, wenn beim Umbenennen schon eine Datei gleichen Namens existiert. Ist für den Eingangsagenten Cronjob gilt als fehlerhaft, wenn keine Daten ermittelt werden gesetzt, dann führt das zu einem Fehler. Das gilt auch, wenn eine zu verarbeitende Datei vorhanden ist.

• Dieser Eingangsagent kann die Eingangsdateien auf eine Maximalgröße prüfen. Siehe Abschnitt Maximalgröße für Messages und Dateien.

• Dateien, die das System keinem Profil zuordnen kann, legt es im Bereich „Unresolved“ ab. Siehe auch Abschnitt Warnung für nicht zuordenbare Eingangsdaten.

• FTP-SITE-Kommandos verwenden Sie wie im Antwortweg FTP.

Maßnahmen bei Timeout durch extrem große Dateien

Beim Übertragen extrem großer Dateien via DMZ kann die Kommunikation zwischen Lobster Integration und DMZ in einen Timeout laufen.  ACHTUNG: Von der folgenden Lösung raten wir ab, weil sie zu Performance-Verlusten führen kann.

Der Default-Timeout beträgt 30 Minuten. So lange wartet Lobster Integration auf eine Rückmeldung vom DMZ-Server. Ist die Datei bis dahin noch nicht vollständig zwischen DMZ und Partner übertragen, dann bricht Lobster Integration mit einer Fehlermeldung ab. Für eine längere Wartezeit starten Sie den Integration Server mit einer zusätzlichen System-Property.

-Dhub.datawizard.remote.waitTime=<Wartezeit in ms>

Eine Kommunikation zwischen Lobster Integration und dem DMZ-Server kommt möglicherweise auch aus zwei anderen Gründen nicht zustande: Der FTP-Service des DMZ-Servers nutzt nicht den Standard-Port 21, oder eine Firewall lässt die Verbindung im passiven Modus nicht zu. Beide Einstellungen konfigurieren Sie über zusätzliche System-Properties beim Start des Integration Servers.

-Dhub.datawizard.remoteFtp.port=<Portnummer>
-Dhub.datawizard.remoteFtp.passive=true|false