XF2.2 Umleitungsfrage ...

[otto]

Hallo,

ich übernehme ein Ur-alt Forum, was ich nach Xenforo 2.2.x importiere. Soweit so gut.

Ich hab in den Logs permanent Versuche auf die alte Forum-Struktur zuzugreifen (in der Regel von Bots) die ja nicht mehr existent ist. Hier mal die Logeinträge:

[Sun Dec 26 08:15:19.638632 2021] [cgi:error] [pid 20210:tid 140635691996928] [client 40.77.167.19:41636] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Sun Dec 26 08:16:58.725267 2021] [cgi:error] [pid 20210:tid 140635666818816] [client 5.45.207.91:42326] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Sun Dec 26 08:17:14.015057 2021] [cgi:error] [pid 20256:tid 140635063441152] [client 87.250.224.92:42418] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Sun Dec 26 08:25:47.585904 2021] [cgi:error] [pid 20256:tid 140635415770880] [client 207.46.13.172:46262] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Sun Dec 26 08:26:36.826868 2021] [cgi:error] [pid 20256:tid 140635675211520] [client 78.46.94.83:46876] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Sun Dec 26 08:51:43.156423 2021] [cgi:error] [pid 20210:tid 140635256375040] [client 207.46.13.52:59010] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Sun Dec 26 08:57:23.042819 2021] [cgi:error] [pid 20210:tid 140635641640704] [client 207.46.13.52:33504] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Sun Dec 26 09:05:03.013259 2021] [cgi:error] [pid 20256:tid 140635633248000] [client 178.184.207.191:37438] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi, referer: https://zetorworld.com/cgi-bin/x-forum.cgi

... besagte Verzeichnisse sind auf dem neuen Server und neuen Forum aber nicht existent bzw. nicht zugreifbar.

Vorschläge zur Lösung, außer IP-Table Sperren?

 

[nocte]

Das Verzeichnis /usr/lib/cgi-bin ist innerhalb deines Rootverzeichnis, wo auch das XF2 liegt?

Spricht etwas dagegen dort die .htaccess entsprechend anzupassen, sodass eine Weiterleitung stattfindet? Wenn die ganzen Thread-, User-, Forum-, etc. IDs beibehalten wurden, könnte man auch direkt auf den entsprechenden Content weiterleiten.

 

[otto]

Nein - das sind Versuche von Bots, auf ehemalige Verzeichnisstrukturen des alten Servers (wo das Forum beim früheren Betreiber lag) zuzugreifen.

Oberhalb httpdocs gibt es keine solchen Verzeichnisse und direkt unterhalb auch nicht.

Das Problem ist halt, das ich nicht glaube das die alten IDs erhalten bleiben können, da das alte Forum Datei-basiert ohne DB arbeitete und wir das nun in ein leeres Xenforo 2.2.x übernehmen möchten/werden.

Im Moment wäre es schon klasse, wenn man erstmal die Zugriffe auf die nicht vorhandenen Verzeichnisse sauber abfangen könnte und auf passende in der Xenforo Struktur weiterleiten würde.

 

[nocte]

naja, dann einfach - je nachdem wo dein root-Verzeichnis liegt etwas in der Art in die .htaccess von XF schreiben:

RewriteRule ^usr/lib/cgi-bin/ https://%{HTTP_HOST}/ [R=301,L]

am besten gleich als erste RewriteRule

 

[otto]

Siehe auch:
XF2.2 - Daten-Import eines ab Werk nicht importfähigen Forums?
Wo ich das Thema schon mal angeschnitten hatte/habe.

Ich versuchs mal mit der Umleitung und berichte die Tage. Danke schon mal.

 

[nocte]

.. wobei, der eigentliche Zugriff erfolgt wahrscheinlich auf http(s)://www.deinedomain.de/cgi-bin/x-forum.cgi

In dem Fall müsstet du die RewriteRule so setzen:

RewriteRule ^cgi-bin/ https://%{HTTP_HOST}/ [R=301,L]

-> das leitet dann alles in dem nicht vorhandenen cgi-bin Verzeichnis auf dein Rootverzeichnis (vermutlich XF Forenübersicht) um - und zwar mit einem 301 "Moved permanently" header.

 

[mph]

Ich hätte auch vorgeschlagen, von der URL im Log zur Hauptseite des Forums umzuleiten. Alternativ könnte man auch eine Fehlerseite aufrufen.

 

[Masetrix]

und zwar mit einem 301 "Moved permanently" header.

Das hatte ich hier zuerst auch so. Leider hat das viele Bots nicht im Mindesten interessiert.
Erst als ich derlei Aufrufe auf "410 Gone" umstellte, sank der Traffic auch aus Richtung dieser Bots.

 

[Hoffi]

Mit 301 nur weiterleiten, wenn der Content der selbe ist, ansonsten sind andere Status Codes besser.
Je nach dem wohin mal weiterleitet
410 wenn es wirklich weg ist und man auf eine Standardseite weiterleitet.
303 oder 300 könnte man noch nutzen, wenn man wirklich eine Übersichtsseite erstellt.

 

[otto]

Na die Inhalte werden wieder verfügbar sein, auch die Benutzerprofile. Aber die Linkstruktur wird Systemwechselbedingt komplett eine andere sein als zuvor. Die Domain ist gleich geblieben.

 

[otto]

Aktuell kommen solche Error Log-Einträge rein...

[Tue Dec 28 06:37:59.884746 2021] [cgi:error] [pid 25513:tid 140286021846784] [client 87.250.224.164:59044] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 06:38:07.458271 2021] [cgi:error] [pid 25513:tid 140286483216128] [client 87.250.224.58:59082] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 06:45:12.675100 2021] [cgi:error] [pid 25513:tid 140286500001536] [client 207.46.13.172:32844] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 06:47:43.663586 2021] [cgi:error] [pid 25512:tid 140285409474304] [client 40.77.167.19:33376] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 06:49:19.752697 2021] [cgi:error] [pid 25513:tid 140286500001536] [client 207.46.13.3:33684] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 06:53:43.549636 2021] [cgi:error] [pid 25513:tid 140286617302784] [client 46.161.11.89:35024] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi, referer: https://zetorworld.com/cgi-bin/x-forum.cgi
[Tue Dec 28 07:06:12.152373 2021] [cgi:error] [pid 25513:tid 140286466299648] [client 157.55.39.140:38346] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 07:17:57.883286 2021] [cgi:error] [pid 25513:tid 140286500001536] [client 207.46.13.172:41970] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 07:22:30.252196 2021] [cgi:error] [pid 25512:tid 140285308827392] [client 95.163.255.49:43558] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi, referer: http://www.zetorworld.com/cgi-bin/x-forum.cgi?page=1&show=topic&topic=68
[Tue Dec 28 07:23:16.948354 2021] [cgi:error] [pid 25513:tid 140286021846784] [client 157.55.39.140:43850] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 07:33:14.324927 2021] [cgi:error] [pid 25512:tid 140286600517376] [client 88.114.97.120:46662] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 07:39:57.200302 2021] [cgi:error] [pid 25513:tid 140286021846784] [client 207.46.13.172:48712] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 07:50:36.397098 2021] [cgi:error] [pid 25512:tid 140286483216128] [client 157.55.39.45:52802] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 07:59:12.776862 2021] [cgi:error] [pid 25513:tid 140286038632192] [client 95.108.213.54:56688] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 07:59:32.339592 2021] [cgi:error] [pid 25513:tid 140286474823424] [client 5.45.207.143:56868] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 08:00:08.279720 2021] [cgi:error] [pid 25513:tid 140286038632192] [client 213.180.203.21:57040] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 08:38:52.789621 2021] [cgi:error] [pid 25513:tid 140286500001536] [client 188.126.79.19:45608] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi, referer: https://zetorworld.com/cgi-bin/x-forum.cgi
[Tue Dec 28 08:39:52.538189 2021] [cgi:error] [pid 25513:tid 140286181242624] [client 207.46.13.52:46294] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 08:47:13.677863 2021] [cgi:error] [pid 25513:tid 140286617302784] [client 157.55.39.45:51650] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 09:14:37.038655 2021] [cgi:error] [pid 25513:tid 140286181242624] [client 157.55.39.45:43136] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 09:20:41.350575 2021] [cgi:error] [pid 25513:tid 140285912807168] [client 207.46.13.3:47252] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 09:40:39.722268 2021] [cgi:error] [pid 25512:tid 140285409474304] [client 207.46.13.172:58398] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 09:51:39.257486 2021] [cgi:error] [pid 25512:tid 140286021846784] [client 157.55.39.45:35536] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 10:27:53.653317 2021] [cgi:error] [pid 25513:tid 140286617302784] [client 207.204.248.129:48716] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi, referer: http://www.zetorworld.com
[Tue Dec 28 10:27:55.289049 2021] [cgi:error] [pid 25513:tid 140286130886400] [client 207.204.248.129:48726] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi, referer: http://www.zetorworld.com
[Tue Dec 28 10:27:56.927552 2021] [cgi:error] [pid 25513:tid 140286181242624] [client 207.204.248.129:48728] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi, referer: http://www.zetorworld.com
[Tue Dec 28 10:27:58.617721 2021] [cgi:error] [pid 25513:tid 140286491608832] [client 207.204.248.129:48740] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi, referer: http://www.zetorworld.com
[Tue Dec 28 11:03:21.211724 2021] [cgi:error] [pid 25513:tid 140286474823424] [client 207.46.13.3:40372] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 11:11:15.692104 2021] [cgi:error] [pid 25512:tid 140286021846784] [client 207.46.13.3:44766] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 11:19:16.224701 2021] [cgi:error] [pid 5676:tid 140286508394240] [client 157.55.39.140:49370] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 11:21:18.984222 2021] [cgi:error] [pid 25512:tid 140286047024896] [client 157.55.39.45:50338] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 11:26:07.455989 2021] [cgi:error] [pid 25512:tid 140286516786944] [client 157.55.39.45:53150] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 11:44:58.986119 2021] [cgi:error] [pid 25513:tid 140286130886400] [client 157.55.39.140:33070] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 11:45:24.127262 2021] [cgi:error] [pid 25512:tid 140285409474304] [client 40.77.167.19:33202] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 11:49:06.939277 2021] [cgi:error] [pid 25512:tid 140285417867008] [client 207.46.13.3:34902] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 11:55:54.197687 2021] [cgi:error] [pid 25513:tid 140286172849920] [client 207.46.13.52:37946] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi
[Tue Dec 28 12:06:21.930192 2021] [cgi:error] [pid 5676:tid 140285820520192] [client 95.163.255.48:42544] AH02811: script not found or unable to stat: /usr/lib/cgi-bin/x-forum.cgi, referer: http://zetorworld.com/cgi-bin/x-forum.cgi?page=1&show=topic&topic=1717

 

[Masetrix]

In dem Fall wäre seobedingt besser eine Umleitung per htaccess zu generieren und auf die neue Version der bezüglichen Inhalte weiterzuleiten.
Serverseitige Weiterleitungen per htaccess mit mod_rewrite

Wenn also kein Referrer oder nur ein unvollständiger ohne "?page=1&show=topic&topic=68" angegeben wird, was in deinem Log auch der Fall ist, dann eine 410 Weiterleitung verwenden, ansonsten "?page=1&show=topic&topic=68" auswerten und per 301 zum jetzigen Inhalt weiterleiten.

 

[Masetrix]

Na die Inhalte werden wieder verfügbar sein, auch die Benutzerprofile. Aber die Linkstruktur wird Systemwechselbedingt komplett eine andere sein als zuvor. Die Domain ist gleich geblieben.

Das sollte dann kein Problem sein wenn der Importer von XF verwendet wird.
Der erstellt eine Tabelle über die die alte Seite/Posting/ID auf die neue XF-Version umgeleitet wird.

 

[otto]

Nein, der Importer ist in dem Fall nicht benutzbar. Weil das Alt-Forum ein schon vor 10 Jahren hoffnungslos veraltetes Script war. Der Import wird per Hand erfolgen, habe dafür einen IT-Spezi an der Hand der freiberuflich mit Datenmigrationen sein (gutes) Geld verdient und mir hierbei behilflich ist.

Ich werde die Fehler daher nun erst einmal solange ignorieren, bis wir den Import in Sack und Tüten haben und dann schauen wir noch mal, ob und wie man umleiten kann/sollte. Am Ende ist es eh wieder ein Nischenforum wobei SEO sicher nicht unwichtig ist, aber aktuell nicht an Stelle 1 stehen muss.

Wenn der Import durch ist, kann ich die Struktur entsprechend hier mal kund tun, aktuell existiert diese nur auf einem überaus kunstvoll gestaltetem Blatt Papier mit ner Menge Pfeilen und Hinweisen.
Wir werden aus den Dateien nach Excel gehen um dort diverse Korrekturen vornehmen zu können und von dort eventuell über den Umweg Access nach SQL und Xenforo weiter gehen.

 

[Kirby]

Der Import wird per Hand erfolgen, habe dafür einen IT-Spezi an der Hand der freiberuflich mit Datenmigrationen sein (gutes) Geld verdient und mir hierbei behilflich ist.

[...]

Wir werden aus den Dateien nach Excel gehen um dort diverse Korrekturen vornehmen zu können und von dort eventuell über den Umweg Access nach SQL und Xenforo weiter gehen.

Ich kenne die Ausgangssituation nicht und Datemigrationen sind nicht mein Tsgesgeschäft (aber ich habe schon ei halbes Dutzend Migrationen durchgeführt):
Der Ansatz hört sich abenteuerlich-kompliziert an.
Wenn Du etwas hast was sich als Tabelle (in Excel) darstellen lässt, warum haust Du das nicht direkt in MySQL und importierst von da?
Je nachdem was alles importiert werden soll lässt sich eine Importer-Klasse in wenigen Stunden bauen - damit hättest Du auch ein sauberes Import-Log und musstest nichts per Hand machen.

 

[otto]

Jedes Thema hat ne eigene Datei, abgelegt in nem Verzeichnis. Jeder Post, hat wiederum auch ne eigene Datei, in nem anderen Verzeichnis. Jeder Benutzer ... man ahnt es.
Man muss sich die für Xenforo relevanten Inhalte so aus verschiedenen Dateien, sowie deren Datei-Infos zusammenklauben.

Das, zusammen mit dem Wunsch möglichst viel zu übernehmen, machts nicht einfacher. Abgesehen davon, schrieb ich "eventuell über den Umweg Access" - was eventuell bedeutet, ist denke ich klar. ;-) Ergo wäre unser "kurzer" Weg X-Forum (Dateienamen, Dateinhalte, Dateimetadaten, Verzeichnisse) > Excel > Xenforo (SQL). Access als Option hat noch weitere Gründe abseits der blanken Datenmigration.
Was daran jetzt so arg umständlich sein soll... entzieht sich meinem Kenntnishorizont, sieh es mir nach.
Ich wiederhole mich gern: ich mach das nicht Hauptberuflich und ich hab vorrangig andere Hobbys und erst Recht den Job. ;-)

Excel möchte ich / wir nutzen um die Daten aus den unterschiedlichen Quellen zusammen zu bringen und dann geordnet wieder ausspucken zu lassen. Da kann ich vieles selber machen, weil ich mit Excel halbwegs kann.

Ich kann dir aber gern mal die Grunddaten des alten Boards zukommen lassen (paar kleine Zip-Dateien) und dann schau dir das Elend selbst mal an. Mal sind die Inhalte in den Dateien "|" separiert, mal Zeilenweise, manches wird benötigt, anderes nicht und manches muss man ggf. den Metadaten der Dateien entreißen. Das X-Forum ist eine Forensoftware aus dem Gruselkabinet der Foren-Steinzeit.

Aus dem Thema Programmieren bin ich nun schon bald wieder 5 Jahre raus, ergo ist es für mich eben mal nicht flott getan eine eigene Importerklasse zu schreiben, und so nehm ich angebotene Hilfe halt einfach dankend an, ohne mir da nen riesen Kopf zu machen, ob das nun der schnellste tollste Weg ist, oder ein längerer mühsamerer - solange es am Ende funktioniert.