Skip to main content

Autopsie d'une attaque Black Hat SEO sur Joomla

du webshell polymorphe à la persistance noyau dans CageFS

une page blanche éphémère, un mot sans queue ni tête affiché furtivement en production

Tout commence par une anomalie presque invisible : une page blanche éphémère, un mot sans queue ni tête affiché furtivement en production (« biaoJiOk »), ou quelques micro-coupures passées inaperçues sous les radars du monitoring. Pour n’importe quel exploitant ou développeur web, le premier réflexe relève du bon sens : inspecter l’arborescence, repérer un fichier suspect fraîchement injecté, le purger, réinitialiser un mot de passe et clore l’incident avec le sentiment du devoir accompli.

Pourtant, dans le paysage des menaces actuelles, traiter une intrusion applicative comme une simple altération de scripts PHP relève du vœu pieux. Les campagnes automatisées ne se contentent plus de défacer un site ou de déposer un shell isolé : elles déploient une infrastructure parasitaire complète, pensée pour résister aux redémarrages, aux nettoyages manuels et aux outils de détection statique.

Cloaking & Spamdexing

C’est précisément l’expérience vécue lors de la compromission d’un environnement de production hébergeant deux instances de Joomla. Ce qui ressemblait au départ à un piratage classique de type « SEO Spam » masquait en réalité une opération en profondeur bien plus méthodique : chargeurs PHP polymorphes reposant sur des sauts d'instructions goto, génération dynamique de faux fichiers de cache au sein de répertoires miroirs, manipulation fine des règles de routage web pour restreindre l’accès du serveur à une liste fermée de backdoors, et réécriture systématique des fichiers de configuration.

Plus instructif encore pour la communauté DevOps : l’attaque ne s’est pas arrêtée aux limites du CMS. Profitant de son ancrage applicatif, le botnet a cherché à transformer une brèche web opportuniste en persistance système pérenne. Des routines de relance encodées ont été injectées au cœur même des profils interactifs de l'utilisateur (~/.bashrc, ~/.zshrc), armant un piège invisible où chaque connexion SSH de l'administrateur relançait silencieusement le malware masqué sous de faux processus système. Dans la foulée, des codes sources d’exploits noyau locaux (Dirty COW, OverlayFS) étaient compilés sur l'hôte dans l'espoir de faire sauter la cage d'isolation de l'hébergement et de s'arroger les privilèges root.

Cet article propose une autopsie technique complète, étape par étape, de cette compromission multi-couches. De l'analyse médico-légale des logs crawlant à vide pour Googlebot jusqu'au décorticage des mécanismes de résilience Unix, nous verrons comment un maillage défensif moderne — combinant isolation d'OS, durcissement du serveur web et hygiène d'administration — permet de contenir, diagnostiquer et éradiquer une infection conçue pour ne jamais mourir.

L'objectif commercial de l'attaque :
Monétisation par Black Hat SEO


  • Le cloaking dynamique : Comment le code filtre les requêtes en analysant le User-Agent et le Referer.
  • Le détournement du budget de crawl : Analyse des logs d'accès montrant Googlebot saturant le serveur sur des URLs arbitraires forgées (/?e=..., /?sale/search/detail/?ITMCODE=...).
  • L'impact business : Vampirisation du référencement naturel du domaine légitime pour indexer des boutiques contrefaites ou des plateformes de jeux d'argent illégales.

Déroulé

1. Introduction & Contexte opérationnel

  • Le symptôme initial : Un site qui défaille discrètement, l'apparition du mot de contrôle biaoJiOk en page d'accueil et des fichiers fantômes (filefuns.php).
  • L'illusion du simple piratage applicatif : Pourquoi traiter l'incident comme une simple corruption de fichiers PHP condamne l'administrateur à une réinfection en boucle.
  • Le profil de la menace : Une campagne automatisée industrielle combinant spambot SEO, réseau de proxies et outils de contournement système.

2. Phase 1 — L'intrusion et l'ancrage applicatif (CMS Joomla)

  • Vecteurs d'entrée privilégiés : Exploitation de failles d'upload arbitraire ou d'exécution de code distant (RCE) dans des extensions tierces (galeries, gestionnaires de formulaires, composants obsolètes).
  • Le dropper initial : Dépose de micro-scripts d'injection et réécriture du index.php racine avec un chargeur polymorphe (obfuscation par sauts d'instructions goto, calculs ASCII dynamiques et détection d'environnement).
  • Le verrouillage défensif par le pirate :
    • Génération d'un .htaccess restrictif interdisant l'exécution de PHP à l'ensemble du système, sauf pour une liste blanche fermée contenant les outils légitimes et la panoplie de webshells de l'attaquant.
    • Application de permissions en lecture seule (chmod 444) pour contrer les tentatives de remplacement par l'administrateur.

3. Phase 2 — Stratégie de dissimulation et de dispersion

  • Les miroirs d'arborescence : Création de faux sous-dossiers imbriqués imitant la structure native pour tromper les audits visuels (includes/includes/includes/, layout/layout/).
  • L'empoisonnement des répertoires de cache et de logs :
    • Détournement du cache schemaorg avec des dizaines d'occurrences de scripts dormants.
    • Camouflage sous forme de scripts légitimes (joomla_scheduler.php, radio.php, 2index.php) dispersés dans /media/ et /images/.

4. Phase 3 — La persistance d'infrastructure et l'évasion de cage

  • Le piège de la session interactive : Injection de charges utiles encodées en base64 au sein des profils utilisateur (~/.bashrc, ~/.zshrc). Analyse du mécanisme : chaque connexion SSH de l'administrateur relance silencieusement le démon d'attaque.
  • La surveillance par Cron : Création d'une tâche planifiée horaire (crontab) rétablissant les shells et réécrivant la page d'accueil si les fichiers ont été supprimés.
  • La tentative d'escalade de privilèges (Root Escalation) :
    • Dépôt et compilation d'exploits ciblant les failles du noyau Linux (dirty.c pour Dirty COW, overlay.c / ovlcap pour OverlayFS).
    • Objectif de l'attaquant : percer l'isolation de la cage utilisateur (CloudLinux / CageFS) pour obtenir les droits root sur l'hôte.
    • Application d'attributs immutables (chattr +i) au niveau système de fichiers pour rendre les fichiers indestructibles via un shell classique non-root.

Guide de remédiation et Durcissement DevOps

La méthodologie de réponse à incident en 5 temps

    1. Geler et neutraliser : Tuer les processus actifs (ps, pkill), vider la crontab.
    2. Nettoyer l'environnement shell : Auditer et purger ~/.bashrc, ~/.zshrc et le répertoire ~/.config/.
    3. Assainir le code : Purger les répertoires d'upload, supprimer les arborescences miroirs et régénérer le cœur Joomla à partir d'une archive officielle.
    4. Verrouiller les accès : Renouveler les secrets d'infrastructure (SSH, SFTP, MySQL, sessions CMS).
    5. Durcir le serveur web : Interdire impérativement l'exécution de scripts PHP dans les dossiers statiques (/images/, /media/) via des directives .htaccess strictes.

Checklist d'observabilité post-incident : Requêtes d'audit récurrentes (find -mtime, surveillance des connexions DB, vérification des tâches planifiées).


OBJECTIFS ÉCHOUÉS et NON POURSUIVIS PAR LES ATTAQUANTS DANS NOTRE CAS d’USAGE

1. Ils n'ont pas réussi à obtenir les droits root (Échec de l'évasion de cage)

La preuve formelle réside dans la présence des fichiers dirty.c, overlay.c et du sous-dossier ovlcap/ restés dans le répertoire personnel :

  • Ce qu'ils ont tenté : Compiler et exécuter des exploits ciblant le noyau Linux pour percer la virtualisation et devenir administrateur complet de la machine physique (node***-eu).
  • Pourquoi ils ont échoué : L'architecture CloudLinux / CageFS mise en place par l'hébergeur compartimente chaque utilisateur dans une cellule isolée avec des noyaux patchés contre Dirty COW et les vulnérabilités OverlayFS. Ne disposant pas de root, ils sont restés bloqués avec les droits stricts de l'utilisateur du serveur mutualisé Planethoster. C'est aussi pour cela qu'ils n'ont pas pu détruire les logs système ou installer des modules noyau persistants (rootkits).

2. Le second site sous Joomla 6.1.2 est resté intact : pourquoi ?

La version du CMS a joué un rôle déterminant, couplée à la nature des attaques automatisées :

  • Un vecteur d'attaque probablement inexistant sur la version récente : L'intrusion initiale sur Joomla 5.4.2 s'est faite via une extension tierce vulnérable (les traces montraient des injections dans NPE-Gallery, 3d_map_generator ou des caches). Ces extensions anciennes ou abandonnées ne sont généralement pas portées ou installées sur des versions récentes de Joomla.
  • Le durcissement du cœur Joomla moderne : Les versions récentes intègrent des mécanismes d'isolation d'API plus stricts, des jetons CSRF renforcés et une gestion native des permissions d'écriture qui limitent l'exécution de code arbitraire non authentifié.
  • L'absence de propagation latérale intelligente : Les scripts de ce type de campagne sont des bots programmés pour infecter le répertoire courant où ils ont trouvé la faille d'upload. Ils ont déposé un .htaccess à la racine ~ et modifié les profils de shell (.bashrc), mais leur automate ne contenait pas de routine d'analyse multi-VHost pour aller fouiller et modifier les fichiers PHP du répertoire voisin public_html.

3. Ils n'ont pas exfiltré ni altéré la base de données

  • Aucun ransomware / demande de rançon : Contrairement aux groupes de cybercriminalité financière classique qui chiffrent ou vident les tables SQL pour extorquer des fonds, les tables n'ont pas été dropées, altérées ou chiffrées.
  • Aucun compte administrateur pirate créé dans #__users : L'attaquant n'a même pas cherché à s'attribuer un accès permanent au panneau d'administration via la base SQL (tu étais toujours le seul utilisateur présent).
  • Pourquoi ? Leur modèle économique n'est pas le vol de données personnelles (RGPD / exfiltration de crédits), mais le parasitisme d'infrastructure. Le CMS ne les intéresse pas pour son contenu : il ne sert que de relais d'hébergement invisible pour leur spam SEO et leurs redirections.

4. Ils n'ont pas réussi à maintenir la persistance face à l'audit

Leur dispositif de persistance reposait sur trois leviers qui sont tombés :

  • La tâche Cron horaire : Supprimée immédiatement sans qu'un processus parent n'en empêche la destruction.
  • Le hook dans les shells interactifs (.bashrc, .zshrc) : Facilement traqué et purgé dès l'affichage du script encodé en base64.
  • Les attributs de fichiers : Le fait que index.php n'ait pas reçu d'attribut +i noyau (contrairement à leurs souhaits, car ils n'étaient pas root) a permis de reprendre la main avec un simple chmod 644.

CONCLUSION PARTIELLE : une relative protection grâce à l’hébergement mutualisé

Dans un contexte de serveur dédié ou de VPS non managé, la situation aurait été infiniment plus grave et potentiellement irréversible sans réinstallation complète de la machine.

L'environnement mutualisé durci (CloudLinux / CageFS) a agi comme une ceinture de sécurité involontaire contre la deuxième phase de l'attaque. Sur un serveur où l'administrateur gère lui-même l'OS sans cette couche de virtualisation de conteneur, plusieurs scénarios critiques se seraient produits :

1. La réussite des exploits noyau (Root Compromise)

Sur notre machine, l'attaquant a déposé et tenté d'exécuter dirty.c (Dirty COW) et overlay.c / ovlcap (OverlayFS LPE) :

  • Sur un VPS ou serveur dédié mal ou tardivement patché : L'attaquant aurait obtenu un accès root complet en quelques secondes via ces exploits.
  • La conséquence : Dès qu'un pirate passe root, la machine n'appartient plus à son propriétaire. Il peut altérer les binaires système de base (/bin/ls, /bin/ps, /usr/bin/top) pour masquer ses processus, charger des modules noyau (rootkits) indétectables depuis l'espace utilisateur, et désactiver complètement le pare-feu ou SELinux/AppArmor.

2. Le verrouillage définitif via le système de fichiers (chattr +i)

On a vu la difficulté à modifier certains fichiers lorsque l'attaquant a tenté de bloquer les droits :

  • Avec les droits root : L'attaquant aurait pu poser l'attribut immutable (chattr +i) sur les fichiers vitaux du système (/etc/passwd, /etc/shadow, /etc/resolv.conf, les exécutables du serveur web).
  • Même en redémarrant le serveur ou en te connectant en SSH, tu aurais été dans l'incapacité d'éditer ou de supprimer quoi que ce soit sans passer par un mode Rescue (démarrage sur image ISO externe).

3. La persistance profonde hors du compte utilisateur

Sur le mutualisé, l'attaquant était contraint de se cacher dans ~/.bashrc, ~/.zshrc et la crontab de notre compte utilisateur :

  • Sur un dédié : La persistance aurait été installée directement au niveau de systemd (création d'un service furtif .service), dans /etc/cron.d/, dans /etc/init.d/, ou via des tâches planifiées anonymes lancées sous le compte root.
  • Aucun scan dans notre répertoire utilisateur /home/******/ n'aurait alors permis de trouver la source du problème.

4. Le pivotage réseau et la compromission d'infrastructure

Un serveur dédié ou une instance cloud offre des fonctionnalités d'infrastructure que le mutualisé bloque par défaut :

  • Scan et rebond (Pivot) : Le serveur aurait pu servir de passerelle pour cartographier et attaquer notre réseau local, nos autres machines ou nos buckets S3/stockages cloud via les métadonnées de l'hébergeur (comme l'adresse 169.254.169.254 sur AWS/GCP/Scaleway).
  • Attaques DDoS et relais de command & control (C2) : Disposant de toute la bande passante et des cœurs CPU sans limitation CloudLinux, la machine aurait été intégrée à un botnet de déni de service volumétrique, entraînant le bannissement direct de l'IP du serveur par les routeurs amont ou le signalement sur les listes Spamhaus/AbuseIPDB.

C'est un enseignement contre-intuitif mais capital pour les devops.

Conclusion

Cette attaque se situe globalement à un niveau de 6 / 10 (complexité intermédiaire à semi-avancée), mais avec un profil très contrasté selon les étapes :

Décomposition de la note par vecteur

  • Intrusion initiale (applicative) : 3 / 10
    • Scan automatisé à grande échelle de sites Joomla/WordPress exposant des extensions tierces obsolètes ou des formulaires/galeries vulnérables aux failles d'upload arbitraire.
    • Aucune vulnérabilité « 0-day » sur le cœur du CMS : exploitation opportuniste d'outils publics bien connus (script-kiddie / spray-and-pray).
  • Techniques d'obfuscation applicative & Cloaking SEO : 6 / 10
    • Le chargeur polymorphe de index.php est sophistiqué : code spaghetti à base de sauts d'instructions goto, découpage de chaînes par tables de caractères calculées, validation cryptographique par MD5 salé et routage conditionnel transparent selon l'en-tête User-Agent.
    • Le filtre .htaccess avec liste blanche démontre une volonté assumée d'éliminer la concurrence d'autres bots tout en maintenant l'illusion d'un site fonctionnel.
  • Persistance & Défense en profondeur de l'infection : 7 / 10
    • C'est là que l'attaque dépasse le simple malware web amateur.
    • Piégeage croisé : la tâche crontab, l'empoisonnement des profils interactifs (~/.bashrc et ~/.zshrc), le masquage de processus sous faux noms système ([kstrp], defunct), l'utilisation de dossiers miroirs (includes/includes/includes) et la dispersion de shells dormants (radio.php, 2index.php).
    • Ce maillage oblige l'administrateur à mener une véritable investigation médico-légale plutôt qu'une simple suppression de fichiers.
  • Tentative d'escalade de privilèges (Root LPE) : 4 / 10
    • L'attaquant n'a pas conçu d'exploit sur-mesure. Il a simplement déposé des codes sources publics d'exploits célèbres (dirty.c pour Dirty COW, overlay.c / ovlcap pour OverlayFS) et les a compilés via gcc pour voir si le noyau hôte n'était pas patché.
    • Aucune adaptation intelligente : dès que la cage virtuelle CloudLinux a bloqué l'exploit, le bot s'est arrêté là sans chercher de vecteur d'évasion alternatif.

Profil global de la menace

Ce n'est ni l'œuvre d'un débutant isolé (qui se serait contenté d'un défacement voyant ou d'un shell c99 basique), ni une menace persistante avancée (APT étatique ciblant spécifiquement une seule entreprise).

Il s'agit d'un kit d'exploitation industriel de cybercriminalité organisée (spécialisé dans le Black Hat SEO / cloaking). Les développeurs du kit ont un bon niveau technique en ingénierie de persistance Unix et en contournement d'antivirus web, mais le déploiement sur le terrain reste délégué à des automates aveugles qui appliquent une recette standardisée.


seo, forensic, hack, pirate, hacking, black hat, trojan, joomla, cms, linux, kernel, cyberdefense

Read more …Autopsie d'une attaque Black Hat SEO sur Joomla

  • Hits: 226

Case Study : Pix My Car

Automotive Digitization Automation

  • Client : Orkis Systems
  • Date : Summer 2015 to 2017
  • Mission : 

    • Proof of Concept

    • Mobile App Development

    • Bring to Market

    • Marketing & Research

    • Documentation & Training

Elevate EU 2nd Hand Automotive market digital experience to a whole new level of accuracy and interactivity

The European automotive market differs from the North American one. In France, in particular, limitations on online payments, credit card authorizations, and legal details required before being able to put a vehicle on the road restrain fully automated car vending machines or online second-hand vehicle retailers such as the famous CARVANA.

That being said, the digital era requirements to bring the customer to your shop instead of another are equally challenging: in less than ten years, the amount of prospects went from at least 3 to 4 visits before buying a used car to less than 1. Long story short: the prospect has chosen its vehicle online before going to the retailer. This is where user experience and product description exhaustivity make the whole difference.

"The only thing worse than being blind is having sight but no vision."

— Helen Keller

Building the concept

At the core of the concept, the idea is to bring the 360° experience that many customers already know in products such as Google Street View (Navigation) and Matterport (Real Estate) to any vehicle online product sheet. This should be performed without the costly and time-consuming need for a video production or digital marketing agency; instead, the workflow would be enabled in-house or via 3rd party on-the-go contractors using affordable and reliable devices to execute the digitization process, and a smooth and scalable Digital Assets Management Software to manage the quality assessment and publishing.

The first proof-of-concept took 6 months to deliver, consisting of an improved version of Ajaris Orkis System DAM software with the ability to handle complex assets composed of a multitude of picture assets, in addition to a state-of-the-art web-friendly player easy to embed in customers' websites. This went with plans and guidelines for building or improving remote-controlled vehicle photobooths easily embeddable in a processing factory or a warehouse, using the open-source APIs for Canon Cameras and cinema lighting techniques.

To speed up the process, we included some heavy-duty robotic platforms able to lift and rotate vehicles up to 3.5t, all wrapped in a user-friendly interface with automatic correction of lighting, white balance, and focus for easy maintenance.

After the successful delivery of the 1st main iterations, levers of improvement emerged that allowed splitting the concept into a scalable solution, which eventually has been forked into a Mobile App Based Solution and a Heavy Duty Improved Photobooth, available in two sizes for motorbikes up to minivans.

Navigate concept in details

Advertising lightweight Solution for local dealers

A full digitization workflow takes 8 minutes and can be performed both locally inside dedicated studios or "on-the-field" with a pocket camera and a mobile device, allowing high productivity in every context.

No extra knowledge of photography technique is required: the agent is driven by the app along the full process which is designed to remain simple and friendly.

The Result

The concept has successfully been extended to a various range of industrial customers, from STVA (Automotive Railway Logistics Network) to Aramis Auto (one French leader of 2nd Hand automotive processing) and Dubreuil Group (the very 1st French fully automated digitization photobooth proof of concept).

See it in action


Read more …Case Study : Pix My Car

  • Hits: 723

How Museums & Universities are Utilizing Hi-Tech Tools in Art Exhibition & Research

Technology in Art Mediation

Article written in collaboration with Indrajeet Yadav Europe/India Collaboration for Objet Témoin. Editorial direction by Julien Vandanjon. Assistance by Mariana Turiel.

"The research and Preservation purpose is only complete when Mediation sparks interest within the public"

If visuals are engaging, three-dimensional representations are powerful. Combine this with an enthralling story, and the recipe for superpower is complete. Precisely how technology is producing a groundbreaking effect on the world of art exhibition and research. Museums and universities are tapping into this boundless pool of possibilities, although loud whispers of concern are audible.

Virtual Tools, Real Impact

The human brain understands visuals 60,000 times faster compared to text. And stories captivate the inner, emotional being by transporting us into a different, three-dimensional world where pictures come to life. How many words is that?

A picture doesn’t speak a thousand words, it speaks sixty-thousand of them! 

A 360° Photogrammetry virtual tour camera using Matterport Real Estate digitization workflows

“Make students gasp,” is how Stephan Murray, Columbia University’s specialist on Medieval Art History, describes the impact of high-resolution (HR) artwork images. Technology is transforming the way art is studied and admired. Museums and universities are not lagging behind.


The Australian Heritage professionals during the Covid19's Crisis launched a "Free to Play" VR game on the STEAM gaming community platform along with Youtube Video 360° extracts 

Australian War Memorial’s collection in VR on STEAM

Technological upgrades create a compelling spectacle for real and virtual museum audiences, establish parity between students who can afford to travel to faraway museums and those who cannot, allow better and non-destructive specimen study, and restore damaged artifacts.

Besides, they enable the artist and museum personnel to be virtually present to narrate the art-piece’s story and empower smaller museums to capture a larger audience without going big. Most importantly, these open the field for multiple artistic interpretations, making art history more prosperous.

In 2019, the Knight Foundation, in partnership with Microsoft, allocated a total of $750,000 to five major US institutions to drive the use of immersive technologies (VR/AR) beyond the realm of mere technical demonstrations. Whilst the initial announcement promised a revolution in cultural outreach, a historical review reveals varied trajectories, oscillating between sustainable integration and technological pivots forced by platform closures and the 2020 health crisis.

  • Museum of Art and Design (MOAD) & Forensic Architecture

    The True to Scale programme aimed to use augmented reality and advanced spatial modelling in public spaces for the purposes of evidence verification and citizen-led investigations. This fusion of art, architecture and human rights took shape through acclaimed exhibitions, but the approach has since become firmly established: Forensic Architecture has disseminated its open-source methodologies across European universities and global NGOs, transforming the original museum project into a genuine global standard for open-source visual investigation.

  • American Museum of Natural History (AMNH)

    Originally set up to develop open-source software utilising the HoloLens headset and Azure Kinect sensors, the AMNH was intended to enable visitors to virtually interact with artefacts scanned using CT scans and photogrammetry. Whilst the prototypes enriched the institution’s internal research laboratories, large-scale public roll-out was hampered by the logistical complexity of using the headsets in exhibition spaces. The AMNH subsequently refocused its efforts on more accessible digital storytelling platforms and large-scale data visualisations integrated directly into its new Richard Gilder Centre.

  • Japanese American National Museum (JANM)

    The project aimed to use augmented reality to anchor the history of the Japanese-American community directly within the Little Tokyo neighbourhood of Los Angeles. The initiative gave rise to historical and commemorative geolocation applications that served as models for the development of the JANM Digital Experience toolkit, which combines physical archives with on-site mobile experiences.

  • The Coloured Girls Museum (TCGM)

    This community museum in Philadelphia had planned to bring its portraits to life using augmented reality. The initiative was hit hard by the lockdowns of 2020, forcing the institution to make a remarkable pivot: the creation of truly immersive virtual galleries online. TCGM has become a textbook example of how a small organisation can use digital technology to reach an international audience without losing touch with its local roots.

Transformative Technology

Virtual Reality (VR) and Augmented Reality (AR) allow people to visit museums from afar. Real or remote, visitors can virtually handle the artwork, visually understand artwork-related data, and even interact with the artist or narrator.

Accurately Capturing Volume and Texture

3D Scans capture more details, making better research matter for university students than a 2D picture ever can. With 3D Printing, 3D Scanning can restore damaged artwork. 3D Scanning technology generates near-identical artwork replicas by capturing artwork brushstrokes and textures.

Tim Zaman (Yes the one at OpenAI !), a Dutch researcher, partnered with camera company Canon’s department OCE to “print” high-fidelity 3D reproductions of Van Gogh and Rembrandt with a polymer similar to oil paint. If analyzing 3D scans is precious, recreating three-dimensional art pieces is invaluable!

Use Cases


Smart History

With 13.5 million users in 2015, Smarthistory is replacing art history textbooks. The free tool offers 5-10 minute discussion videos by art historians Stephen Zucker and Beth Harris who visit museums around the world. Plus, they provide high-resolution images of individual artworks and link them to inputs and articles from 200+ specialists. What makes Smarthistory a runaway hit is the informal yet eloquent discussions. Besides, they leave the door open for self-thinking, multiple interpretations, and disagreements.



Projection Mapping Technology

Projects a 3D landscape or object on a video display screen.

The Metropolitan Museum of Art employed this technology to virtually recreate the original look of painted scenes from the Dendur Temple walls.

Visit the Met setup description

The ‘Color the Temple’ experiment, carried out by the Metropolitan Museum of Art’s MediaLab, used projection mapping to digitally restore the original polychromy of the Temple of Dendur, which had been altered by the Nile floods. The project focused on a specific relief: Emperor Augustus offering wine to the deities Isis and Horus.


Technical and scientific challenges

The first challenge lay in ensuring the historical accuracy of the pigments. As no traces of colour remained on the temple’s sandstone, the team carried out a rigorous comparative study, drawing on 19th-century records of similar monuments (such as Karnak) and an analysis of a painted capital from the Temple of Amun at Hibis, held in the Met’s collections.

The second challenge concerned the visual reproduction. As the scenes had been digitally rendered against a white background, direct projection onto the temple’s beige, porous sandstone absorbed the light and distorted the colours. The researchers had to digitally recalibrate every shade in the palette (particularly Egyptian blue and ochre) to compensate for the stone’s texture. Finally, the projection had to be aligned to within a millimetre of the engraved reliefs, without any physical attachment to the artwork.

Lessons learnt

‘Color the Temple’ has demonstrated the potential of light as a non-destructive, fully reversible restoration tool that poses no risk to conservation. The key insight lies in interactivity: the mobile interface developed enabled guides to switch between several scientific hypotheses for colourisation and to highlight hieroglyphs to translate the dialogue in real time. This flexibility demonstrated that technology should not set an interpretation in stone, but rather reflect the dynamic and deliberative nature of archaeological research.

Other Side of the Coin

Not all is hunky-dory. There are voices of opposition, as they should be in the interest of a wholesome discussion. Number one on the list is that reproductions diminish the effect of the original artwork and affect their scarcity premium—the very basis of their aura!

But then, reproductions often push students and others into visiting the museum. This reality also rides over the argument that reproductions make museums lose visitors and revenues.

Students in Associate Professor of Art and Archaeology at Princeton Bridget Alsdorf’s Self and Society in 19th-Century French Painting course find real-life paintings to be far better study material compared to their images in books. Alsdorf also notes how the paintings galvanize students into knowledgeable discussions.

With reproductions fast approaching the original, some museums are apprehensive of losing their “cultural patrimony.”

However, originals have a special place in the hearts and minds of people, an antique value that reproductions can never replace – come what may!

Macroeconomic data and sector-specific studies carried out by organisations such as the European network Europeana or the Network of European Museum Organisations (NEMO) provide empirical evidence that virtual access does not cannibalise physical visits, but acts as a powerful driver of visitor acquisition (the digital conversion effect).

A strong digital presence and the availability of collections online (via DAM systems or interactive tours) are the first point of contact that prompts a physical visit.

The conversion effect: from pixel to admission ticket

The argument that digitisation and virtual experiences would empty exhibition galleries is now contradicted by the facts. Digital transition strategies implemented at European level demonstrate that online immersion acts as a powerful ‘virtual lure’. Locally, the comprehensive digital overhaul of the Royal Museums of Art and History (MRAH) in Brussels has shown that clear, high-quality visual accessibility is the essential first step in bringing the public back to the physical collections.

Visitor data from the last decade highlights a snowball effect: whilst the volume of ‘virtual visitors’ browsing Digital Asset Management (DAM) platforms has structurally exceeded that of physical visitors, these two indicators are not mutually exclusive. On the contrary, the massive surge in digital interactions observed in the early 2020s acted as an audience incubator. When institutions fully reopened, the museums that had made the greatest efforts at digitisation recorded an accelerated increase in their actual visitor numbers and, by extension, in their direct revenue (ticket sales, shops). The digital replica does not replace the aura of the original; it cultivates a desire for it, transforming the remote user into an on-site visitor.

Sources

Reports from NEMO (Network of European Museum Organisations): In particular, their successive European surveys on the impact of COVID-19 and digitisation on museums (2020–2024), which provide detailed evidence of the surge in virtual visits (an increase of between 200 per cent and 400 per cent for some organisations during lockdowns) and the speed at which in-person visitor numbers recovered post-crisis.

Key indicators from the Europeana dashboard (Europeana Pro): Which assess the direct correlation between the opening up of cultural data (via DAM ecosystems and open data) and public engagement.

Visitor figures from the Royal Museums of Art and History (MRAH) and other major cross-border institutions: Their cross-referenced statistics illustrate this trend precisely: steady growth in virtual visits up to 2019, a radical tipping point in 2020 (a dramatic drop in physical attendance to around 15–20 per cent of its usual capacity, alongside a historic peak in web traffic), followed by a ‘conversion effect’ whereby institutions that had invested heavily in their digital presence saw their physical galleries fill up more quickly and exceed their 2019 visitor numbers as early as 2024.


Read more …How Museums & Universities are Utilizing Hi-Tech Tools in Art Exhibition & Research

  • Hits: 803

Case Study: Guapa Juice

AI Workflows for Powerful Food Photography

  • Client : Guapa Juice
  • Date : Spring 2023
  • Mission :

    • Packshot Photography

    • Food Photography

    • AI Automation

    • AI Upscaling

    • Catalog Art Direction

Deliver Dynamic yet Consistent Recipe designs for Kiosk Self-Service Screens

Guapa Juice is a Belgian brand specializing in delivering minute-made fresh mixed fruit juices, sweets, and milkshakes in mall food courts and other strategic stores. From Brussels to Leuven, the brand capitalizes on a dynamic and successful startup reputation which transcribes into its communication.

For a food photographer, creating a pop effect via motion is highly technical. It involves both a perfect knowledge of lighting techniques at high speed to freeze droplets and liquids movements in a splash, and perfect timing to catch the point of contact of fresh food chunks with the cup and its content.

The Challenge

Considering the number of recipes available in the Guapa Juice Catalog, the amount of shots required to get a perfectly consistent series of splashes—while shooting all kinds of fruit and vegetable chunks into accurately textured and colored juices—requires a HUGE amount of trials and errors. Hence, the cleaning of the studio and overall waste of food due to many attempts needed to catch the perfect composition for each recipe... and quite some luck.

  • Guapa Juice 7 Classic Tropical Breeze

  • Guapa Juice 6 Classic Pine Apple Kick

  • Guapa Juice 5 Classic Exotica

Methodology

Considering the amount of defects and uncertainty of the production process of a full catalog of "liquid explosions" based on a traditional workflow, we decided to bring in experimental Artificial Intelligence Workflows based on available literature on this topic by March 2023.


[pencil]

The client actually shortened up the moodboarding process and instead came with a specific—and already sketched—idea of the final expected rendering. This helped the research and development phase by allowing to cut right through to the unknown and go straight for the workflow constraints.



Still Shooting Products to Nurture the AI Learning Curve

From Midjourney to Firefly via Topaz AI

Three tools have been shortlisted to handle the process: first of all, Midjourney AI (Discord Version on private memory aware channel), as it appeared to be the most consistent and reliable creative iteration tool of its time. However, it had limitations (obsolete by now) of delivering only low-resolution assets (less than 2 megapixels) and not yet allowing local adjustments on each iteration.


To properly nurture the learning curve of the AI, a pro license was required, allowing to reset and sharpen the learning curve of the AI model at will. This learning was based on actual primary sets of photos physically made in our studio in Brussels. Two sets of pictures were therefore combined:

  • A first set destined to teach the model what type of assets we expect while describing objects such as "pineapple slice", "banana chunk", or "little carrot with leaves".
  • A second set picturing the juice cup with the actual recipe combinations around it.

The model must not only learn the color tiny variations between really close tones (less than 3% tone-to-tone error margin) and also include a texture index (base on bubble ratio per squar inch). Then It must learn the actual "catalog name" the brand attributed to each specific blend.

The Half-Cut Cup issue

Finally, a third bunch of pictures were made specifically to explain to the model how the container (paper cup) would be cut to reveal the inner mix and showcase the client logo in a clean and consistent framing.

  • Guapa AI Learning Process 04 Mid Journey Iterations

  • Guapa AI Learning Process 04 Mid Journey Iterations 02

  • Guapa AI Learning Process 04 Mid Journey Iterations 03

Iterating & rewarding the model when the liquid action is consistent with the guidelines

Then the iterations began (600 on average) to create a consistent art direction within the model for each recipe. The validated outputs were then upscaled to 12 megapixels using Topaz Gigapixel AI, allowing high-quality postprocessing using Adobe Neural Engine and Adobe Photoshop AI Assistants for local corrections (now called Firefly).

At delivery, all assets are downscaled to 2Mpx again and compressed to optimize loading time and ensure a smooth experience using the touchscreen devices.

The Result

From brief to Production Delivery, the actual full process took place in a matter of weeks instead of months. It avoided a significant amount of studio cleaning and potato-tube launcher reloading (even if it sounds funny, it can become a real assistant killer when reproduced hundreds, if not thousands of times).

Along the full process, this included more "traditional" operations for packshot photography workflows, such as processing branded shiny metal camping bottles, extra cup sizes, side dishes, and other color variations. This was based on a simple but important pre-production step consisting of measuring the color and density of each mix and creating a trustworthy reference palette.

In fine, even if the full process seemed to take the same amount of energy as if it had been produced in a more conventional way, its effectiveness and the ability to generate new assets almost immediately made it worth the effort.

For the future, this kind of workflow may be even further improved by using cycles of iterations assisted at other steps, such as prompting (involving GPT-4) and the opportunity to animate the results (such as custom workflows available in Runway AI).


Read more …Case Study: Guapa Juice

  • Hits: 538