Shopify SimGym

It is an interesting idea and fun to test, but in its current form, the results are too unreliable to serve as a basis for decision-making. Several AI users misinterpreted the product variant displays, believing a purchasable variant was out of stock—even though the available option was clearly marked and could be added to the cart. This led to reports of issues that did not actually exist. The concept has potential and the simulations are interesting to watch, but the app needs to get much better at interpreting standard product and variant interfaces before the results can be considered useful for CRO or store improvements.

Interessantes Konzept, konnte viele gute Denkanstöße mitnehmen. Eine Exportfunktion der KI-Käufer wäre praktisch, um diese Daten im Nachgang besser auszuwerten. Könnte mir für die Zukunft einen "Report" vorstellen.

Could not get it to work at all. Followed the instructions, but still got error messages.

SimGym scheint gegen einen veralteten Snapshot statt den aktuellen Live-Zustand der Seite zu testen, was dazu führte, dass ein Großteil der Befunde im zweiten Durchlauf bereits gefixte Probleme aus dem ersten Durchlauf waren — reiner Doppelaufwand bei der Verifikation. Die Meldungen beschreiben durchweg nur Symptome und keine Ursache, sodass jeder Befund erst manuell nachrecherchiert werden muss, was in der Praxis oft länger dauert als der eigentliche Fix. Am schwerwiegendsten ist, dass SimGym nicht zwischen echten Bugs und Test-Infrastruktur-Artefakten unterscheidet: mehrere gemeldete "Fehler" entpuppten sich als Session- beziehungsweise Cookie-Kontamination zwischen einzelnen Testläufen und nicht als tatsächliche Probleme der Website, was ohne eigene Nachprüfung leicht zu blindem Fixen nicht existierender Fehler geführt hätte.

What a waste of time and money. No actionable feedback, whoever came up with this concept and built it should be ashamed.