コンピューター科学者のチームが最近、人工知能を使ってユネスコ世界遺産の失われたレリーフパネルの3D再構成を行なった。
研究者たちは、三次元物体の一枚の2D写真を撮影し、三次元のデジタル再構成画像を生成するニューラルネットワークを開発しました。これは、いわば21世紀のステレオスコープを開発したと言えるでしょう。研究チームは先月開催された第32回ACMマルチメディア会議で、この概念実証を発表しました。
研究のために、科学者たちはインドネシアのユネスコ世界遺産ボロブドゥール寺院のレリーフ画像を使用しました。この寺院は2,672枚の浅浮彫で覆われており、世界最大の仏教レリーフコレクションとなっています。19世紀後半、寺院の足元の覆いが再設置され、156枚のレリーフが石壁の背後に隠され、現在も埋もれたままになっています。しかし、埋もれる前に、各パネルのグレースケール写真が撮影されていました。今回、研究チームのニューラルネットワークは、134年前の古い白黒写真を用いて、現在では埋もれているレリーフの一つを復元することに成功しました。
以前にも復元の試みはありましたが、初期の復元ではレリーフの微細なディテールを再現できませんでした。これらのディテールは、奥行き値の圧縮によって失われていたのです。言い換えれば、これらの立体的なレリーフは、鑑賞者に最も近い彫刻と最も遠い彫刻のディテールを有しており、以前の復元の試みでは、これらの異なる奥行きにおけるディテールが平坦化されていました。研究チームは、この失われた特徴を「ソフトエッジ」と呼び、3次元空間における曲率の変化を計算し、そのエッジのマップを作成しました。
新しい論文では、研究チームは、既存のエッジマップではモデルの精度が低下し、3D曲率の変化を適切に伝えられず、ネットワークに組み込まれる方法によって物理的な物体の奥行きの推定への影響が制限されていると主張した。
「95%の復元精度を達成しましたが、人物の顔や装飾といった細かいディテールはまだ欠落していました」と、立命館大学の研究者で本研究の共著者である田中聡氏は大学の発表で述べています。「これは、2Dレリーフ画像における奥行き値の高い圧縮により、エッジに沿った奥行きの変化を抽出することが困難だったためです。私たちの新しい手法は、新たなエッジ検出手法を用いて、特にソフトエッジに沿った奥行き推定を強化することで、この問題に対処します。」
上の画像は、サンプルのレリーフのソフトエッジマップ（左）とセマンティックマップ（右）について、チームの最良の実験結果（下段）を、グラウンドトゥルースデータ（上段）と比較したものです。エッジマップとは、その名の通り、レリーフの曲線が奥行きを与えるポイントを追跡するもので、以前のモデルでは混乱を招いていました。
セマンティックマップは、エルズワース・ケリーの「ブルー・グリーン・レッド」を彷彿とさせ、モデルの知識ベースが関連する概念をどのように関連付けているかを示しています。この画像では、モデルは前景の特徴（青）、人物（赤）、そして背景を区別しています。研究者たちはまた、グラウンドトゥルース画像に関して、このモデルを他の最先端モデルと比較した結果も示しました。
AIは批判を受けることも少なくありませんが、科学分野では画像認識や文化遺産の保存といった課題解決において驚くほど優れた能力を発揮しています。9月には、別のチームがニューラルネットワークを用いて、ラファエロの絵画パネルのこれまで見えなかった細部を特定しました。また別のチームは、畳み込みニューラルネットワークを用いて、ペルーの有名な地上絵であるナスカの地上絵の既知の数をほぼ倍増させました。
このモデルはマルチモーダル理解が可能で、複数のデータチャンネルを取り込んで対象物を理解できます。今回のケースでは、レリーフの曲線を測定するために使用されたソフトエッジ検出器は、奥行きを認識するために明るさのわずかな変化だけでなく、彫刻自体の曲線も捉えます。両方の情報チャンネルを用いることで、新しいモデルは以前の試みよりも鮮明で詳細なレリーフの再構成を実現しました。
「私たちの技術は、文化遺産の保存と共有に大きな可能性を秘めています」と田中氏は述べた。「考古学者だけでなく、VRやメタバース技術を通じた没入型バーチャル体験にも新たな機会をもたらし、世界の遺産を未来の世代に残していくことに貢献します。」
文化遺産は保存されるべきです。しかし、一部の文化遺産は特に危機に瀕しており、AIによって生成された復元図は本物に取って代わることはできませんが、活用方法があります。最近の論文で紹介されているようなニューラルネットワークは、画像でしか存在しない失われた遺産、例えば2001年にタリバンによって爆破されたバーミヤンの大仏などを、拡張現実（AR）や仮想現実（VR）環境において復元できる可能性があります。
この模型は、オーストラリアのタナミ砂漠にあるバオバブの木に刻まれた何世紀も昔の先住民の彫刻など、破壊の危機に瀕している文化遺産を保存するためにも使用できる可能性がある。
文化遺産は、私たちの先人たちが築き上げてきたコミュニティや文化を通して、私たちの存在を定義づけています。これらのAIモデルが、美術史家や保存活動家が歴史的遺産を一つでも保存するのに役立つなら、それは良いことです。もちろん、AIモデルは膨大なエネルギーを必要とするため、間接的に文化遺産の損失につながる可能性があります。しかし、AIの活用方法に依然として問題が残るとしても、この技術を善意のために活用することは、歴史の正しい側に立つことであり、特に遺物に関してはなおさらです。
