研究チームは、盛期ルネサンス期の芸術家ラファエロによる有名な芸術作品2点をX線でスキャンし、人工知能を使ってその化学的および色彩的構成を判別した。
問題の作品は 、現在では破壊されたバロンチ祭壇画の2枚のパネル「父なる神」 と 「聖母マリア」です。この祭壇画はラファエロが最初に依頼された作品で、1501年に完成しました。悪魔、聖母マリア、そして父なる神による聖ニコラウス・ディ・トレンティーノの戴冠式が描かれています（パネルのタイトルもそこから来ていますね、当然ですね）。下水道に住む亀という副業をしながら、ラファエロがどのようにしてこの作品を完成させたのかは、いまだに謎です。あのジョークはお決まりのネタでした。
本日Science Advances誌に掲載された最近の研究で、研究チームは2枚のパネルのマクロX線蛍光（MA-XRF）データを、57種類の顔料と化合物から得られた50万以上のスペクトルを表す合成データセットを学習させたニューラルネットワークに入力しました。つまり、彼らは人工知能モデルに、目に見える色の範囲とそれらを構成する化合物を綿密に選別するよう学習させたのです。
このモデルはニューラルネットワークで、人間の脳が情報を受け取り、解釈し、その情報に基づいて判断する能力を模倣していることからその名が付けられました。パネルのX線データに適用したところ、ニューラルネットワークは500年以上前にラファエロが使用した化学元素を正確に識別しました。パネルの下地層の白は鉛を主成分としており、人物の肌の色調には水銀を主成分とする顔料である朱色が含まれていることが正確に識別されました。
父なる神を囲む緑のカーテンは銅を原料としていると思われるかもしれません。しかし、AAASの発表によると、カーテンは化学的にカリウムとも関連しており、カーテンを構成する塗料はアズライトなどの鉱物、もしくは黄色のレーキ顔料を混ぜた銅樹脂酸塩から作られていたことが示唆されています。
しかし、それだけではありません。「MA-XRFスキャンは、2枚の板絵の金箔のモチーフも明らかにしました。これらのモチーフは、現在の目に見える絵画構成では部分的に隠れていました。また、時代錯誤な顔料を用いた修復作業が長い時間をかけて行われたことも判明しました」と研究チームは論文に記しています。つまり、ニューラルネットワークは、ラファエロの絵画を後世に修復するために行われた作業だけでなく、最終版には採用されなかったオリジナルのモチーフも特定できたのです。
この祭壇画は3世紀にわたってウンブリアの教会に所蔵されていましたが、1789年の地震で大きな被害を受け、残った破片はバラバラになってしまいました。その後、無傷のパネルは波乱万丈の来歴を辿り、教皇ピウス6世に引き取られ、その後ナポレオンに接収されてナポレオン美術館（現在のルーヴル美術館）に収蔵されました。父なる神と聖母マリアはナポリに運ばれ、現在もそこに残っています。この祭壇画パネルの歴史の詳細は、フリック・コレクションのウェブサイトでご覧いただけます。
研究チームは合成データを用いてモデルを学習させたため、実質的にはモデルの性能をテストするための解答用紙のようなものが得られた。モデルは、盛期ルネサンス期の画家が複数の顔料を用いていたパネルの一部において、デコンボリューション（ノイズから実際の情報を選別することを意味する5音節表現）に問題があった領域で優れた性能を発揮した。これらの領域では、異なる顔料や化合物が混在して使用されているため、従来のデコンボリューションアルゴリズムではMA-XRFで生成された元素を適切に分析することが困難であった。
著者らは、このモデルは「従来のデコンボリューション解析手法に一般的に見られる限界やアーティファクトを効果的に克服する」と述べています。将来的には、このような研究は貴重な美術品の保存戦略に役立ち、他の方法では発見が難しい隠れた詳細を明らかにすることも可能になるかもしれません。
今週は人工知能システムと画像分析にとって重要な一週間だった。今週初めには、別の研究チームが地上絵（地球上の芸術作品）の画像でニューラルネットワークを訓練し、ペルーにある巨大な地上絵の集合体であるナスカの地上絵の総数を2倍以上に増やした。
こうした事例の多くにおいて真の有用性は、人工知能システムが人間の専門家と同様の作業を、はるかに速いペースで行えることです。ナスカの地上絵の事例では、研究者たちは、ネットワークが地上絵の可能性があると判断する画像を考古学者に確認させ、より速いペースで移動しながらも、人間が運転していることを保証しました。
