Import for image data is very slow

Importing images in formats such as TIFF becomes gradually slower during import. I could reproduce this issue with a sample dataset with small (<100KB) images (https://wc.wifa.uni-leipzig.de/s/SdztXd2j7pfg3kH). Initially, the OMERO.importer processes 2 images per second. The bottleneck here was the upload and not the server-side processing (see screenshot). The import gets gradually slower to the point where one image is processed per minute and errors pile up. For some reason I cannot see what these errors are and I cannot find anything in the logs.

There is also an error report from Rita. It could be the same problem.

Von: Rita Schlichting rita.schlichting@ufz.de Datum: Mittwoch, 14. Juli 2021 um 13:34 An: "Lahr, Daniel" lahr@wifa.uni-leipzig.de, Stefan Scholz stefan.scholz@ufz.de Cc: "Susanne Dunker (ufz)" susanne.dunker@ufz.de Betreff: [Extern] Re: Omero Testinstallation

Hallo Daniel,

ich habe mich etwas mit Omero auseinandergesetzt. Ein Problem von meiner Seite ist, dass der Import der Bilder für eine 384 well Platte (= z.B. 4x384 images) sehr, sehr lange dauert. Ist das normal? Wenn ja, dann wäre das ein Problem, weil wir dann geschätzt schon mal locker einen ganzen Tag bräuchten, um die Arbeit von fünf Tagen zu importieren. Wie ist das bei Euch?

Im Internet bin ich in diesem Zusammenhang auf folgende Diskussion gestoßen:

https://forum.image.sc/t/omero-optimizing-upload-speed/52130

Als Nicht-ITler kann ich da aber nur sehr grob folgen.

Viele Grüße,

Rita

Here is Rita's sample data: https://nc.ufz.de/s/9oSYNLft9nicHDt Password: YGZfCwMp

I'm getting the following stacktrace for each image file during import:

org.openmicroscopy.shoola.env.data.ImportException: File Not Valid
	at org.openmicroscopy.shoola.env.data.OmeroImageServiceImpl.importFile(OmeroImageServiceImpl.java:1119)
	at org.openmicroscopy.shoola.env.data.views.calls.ImagesImporter.importFile(ImagesImporter.java:103)
	at org.openmicroscopy.shoola.env.data.views.calls.ImagesImporter.access$000(ImagesImporter.java:49)
	at org.openmicroscopy.shoola.env.data.views.calls.ImagesImporter$1.doCall(ImagesImporter.java:127)
	at org.openmicroscopy.shoola.env.data.views.BatchCall.doStep(BatchCall.java:144)
	at org.openmicroscopy.shoola.util.concur.tasks.CompositeTask.doStep(CompositeTask.java:226)
	at org.openmicroscopy.shoola.env.data.views.CompositeBatchCall.doStep(CompositeBatchCall.java:126)
	at org.openmicroscopy.shoola.util.concur.tasks.ExecCommand.exec(ExecCommand.java:165)
	at org.openmicroscopy.shoola.util.concur.tasks.ExecCommand.run(ExecCommand.java:276)
	at org.openmicroscopy.shoola.util.concur.tasks.AsyncProcessor$Runner.run(AsyncProcessor.java:91)
	at java.lang.Thread.run(Thread.java:748)