Pattern Recognition ICPR International

Workshops and Challenges Virtual

Event January 10 15 2021 Proceedings
Part IV 1st Edition Alberto Del Bimbo
Visit to download the full and correct content document:
https://textbookfull.com/product/pattern-recognition-icpr-international-workshops-and-
challenges-virtual-event-january-10-15-2021-proceedings-part-iv-1st-edition-alberto-d
el-bimbo/
More products digital (pdf, epub, mobi) instant
download maybe you interests ...

Natural Interaction in Medical Training Tools and

Applications 1st Edition Alberto Del Bimbo

https://textbookfull.com/product/natural-interaction-in-medical-
training-tools-and-applications-1st-edition-alberto-del-bimbo/

Distributed Computing and Internet Technology: 17th

International Conference, ICDCIT 2021, Bhubaneswar,
India, January 7–10, 2021, Proceedings Diganta Goswami

https://textbookfull.com/product/distributed-computing-and-
internet-technology-17th-international-conference-
icdcit-2021-bhubaneswar-india-january-7-10-2021-proceedings-
diganta-goswami/

Pattern Recognition and Computer Vision First Chinese

Conference PRCV 2018 Guangzhou China November 23 26
2018 Proceedings Part IV Jian-Huang Lai

https://textbookfull.com/product/pattern-recognition-and-
computer-vision-first-chinese-conference-prcv-2018-guangzhou-
china-november-23-26-2018-proceedings-part-iv-jian-huang-lai/

Energy Minimization Methods in Computer Vision and

Pattern Recognition 10th International Conference
EMMCVPR 2015 Hong Kong China January 13 16 2015
Proceedings 1st Edition Xue-Cheng Tai
https://textbookfull.com/product/energy-minimization-methods-in-
computer-vision-and-pattern-recognition-10th-international-
conference-emmcvpr-2015-hong-kong-china-
MultiMedia Modeling 20th Anniversary International
Conference MMM 2014 Dublin Ireland January 6 10 2014
Proceedings Part II 1st Edition Sema Alaçam

https://textbookfull.com/product/multimedia-modeling-20th-
anniversary-international-conference-mmm-2014-dublin-ireland-
january-6-10-2014-proceedings-part-ii-1st-edition-sema-alacam/

Algorithms and Architectures for Parallel Processing

18th International Conference ICA3PP 2018 Guangzhou
China November 15 17 2018 Proceedings Part IV Jaideep
Vaidya
https://textbookfull.com/product/algorithms-and-architectures-
for-parallel-processing-18th-international-conference-
ica3pp-2018-guangzhou-china-november-15-17-2018-proceedings-part-
iv-jaideep-vaidya/

Proceedings of the 11th International Conference on

Soft Computing and Pattern Recognition SoCPaR 2019
Ajith Abraham

https://textbookfull.com/product/proceedings-of-the-11th-
international-conference-on-soft-computing-and-pattern-
recognition-socpar-2019-ajith-abraham/

Advanced Information Systems Engineering Workshops:

CAiSE 2018 International Workshops, Tallinn, Estonia,
June 11-15, 2018, Proceedings Raimundas Matulevicius

https://textbookfull.com/product/advanced-information-systems-
engineering-workshops-caise-2018-international-workshops-tallinn-
estonia-june-11-15-2018-proceedings-raimundas-matulevicius/

Proceedings of the Tenth International Conference on

Soft Computing and Pattern Recognition (SoCPaR 2018)
Ana Maria Madureira

https://textbookfull.com/product/proceedings-of-the-tenth-
international-conference-on-soft-computing-and-pattern-
recognition-socpar-2018-ana-maria-madureira/
 Alberto Del Bimbo · Rita Cucchiara ·
Stan Sclaroff · Giovanni Maria Farinella ·
Tao Mei · Marco Bertini ·
Hugo Jair Escalante · Roberto Vezzani (Eds.)
LNCS 12664

Pattern Recognition
ICPR International Workshops
and Challenges
Virtual Event, January 10–15, 2021
Proceedings, Part IV
Lecture Notes in Computer Science 12664

Founding Editors
Gerhard Goos
Karlsruhe Institute of Technology, Karlsruhe, Germany
Juris Hartmanis
Cornell University, Ithaca, NY, USA

Editorial Board Members

Elisa Bertino
Purdue University, West Lafayette, IN, USA
Wen Gao
Peking University, Beijing, China
Bernhard Steffen
TU Dortmund University, Dortmund, Germany
Gerhard Woeginger
RWTH Aachen, Aachen, Germany
Moti Yung
Columbia University, New York, NY, USA
More information about this subseries at http://www.springer.com/series/7412
Alberto Del Bimbo Rita Cucchiara
• •

Stan Sclaroff Giovanni Maria Farinella

• •

Tao Mei Marco Bertini

• •

Hugo Jair Escalante Roberto Vezzani (Eds.)

•

Pattern Recognition
ICPR International Workshops
and Challenges
Virtual Event, January 10–15, 2021
Proceedings, Part IV

123
Editors
Alberto Del Bimbo Rita Cucchiara
Dipartimento di Ingegneria Dipartimento di Ingegneria “Enzo Ferrari”
dell’Informazione Università di Modena e Reggio Emilia
University of Firenze Modena, Italy
Firenze, Italy
Giovanni Maria Farinella
Stan Sclaroff Dipartimento di Matematica e Informatica
Department of Computer Science University of Catania
Boston University Catania, Italy
Boston, MA, USA
Marco Bertini
Tao Mei Dipartimento di Ingegneria
Cloud & AI, JD.COM dell’Informazione
Beijing, China University of Firenze
Firenze, Italy
Hugo Jair Escalante
Computational Sciences Department Roberto Vezzani
National Institute of Astrophysics, Dipartimento di Ingegneria “Enzo Ferrari”
Optics and Electronics (INAOE) Università di Modena e Reggio Emilia
Tonantzintla, Puebla, Mexico Modena, Italy

ISSN 0302-9743 ISSN 1611-3349 (electronic)

Lecture Notes in Computer Science
ISBN 978-3-030-68798-4 ISBN 978-3-030-68799-1 (eBook)
https://doi.org/10.1007/978-3-030-68799-1
LNCS Sublibrary: SL6 – Image Processing, Computer Vision, Pattern Recognition, and Graphics

© Springer Nature Switzerland AG 2021

This work is subject to copyright. All rights are reserved by the Publisher, whether the whole or part of the
material is concerned, specifically the rights of translation, reprinting, reuse of illustrations, recitation,
broadcasting, reproduction on microfilms or in any other physical way, and transmission or information
storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar methodology now
known or hereafter developed.
The use of general descriptive names, registered names, trademarks, service marks, etc. in this publication
does not imply, even in the absence of a specific statement, that such names are exempt from the relevant
protective laws and regulations and therefore free for general use.
The publisher, the authors and the editors are safe to assume that the advice and information in this book are
believed to be true and accurate at the date of publication. Neither the publisher nor the authors or the editors
give a warranty, expressed or implied, with respect to the material contained herein or for any errors or
omissions that may have been made. The publisher remains neutral with regard to jurisdictional claims in
published maps and institutional affiliations.

This Springer imprint is published by the registered company Springer Nature Switzerland AG
The registered company address is: Gewerbestrasse 11, 6330 Cham, Switzerland
 Foreword by General Chairs

It is with great pleasure that we welcome you to the post-proceedings of the 25th
International Conference on Pattern Recognition, ICPR2020 Virtual-Milano.
ICPR2020 stands on the shoulders of generations of pioneering pattern recognition
researchers. The first ICPR (then called IJCPR) convened in 1973 in Washington, DC,
USA, under the leadership of Dr. King-Sun Fu as the General Chair. Since that time,
the global community of pattern recognition researchers has continued to expand and
thrive, growing evermore vibrant and vital. The motto of this year’s conference was
Putting Artificial Intelligence to work on patterns. Indeed, the deep learning revolution
has its origins in the pattern recognition community – and the next generations of
revolutionary insights and ideas continue with those presented at this 25th ICPR. Thus,
it was our honor to help perpetuate this longstanding ICPR tradition to provide a lively
meeting place and open exchange for the latest pathbreaking work in pattern
recognition.
For the first time, the ICPR main conference employed a two-round review process
similar to journal submissions, with new papers allowed to be submitted in either the
first or the second round and papers submitted in the first round and not accepted
allowed to be revised and re-submitted for second round review. In the first round,
1554 new submissions were received, out of which 554 (35.6%) were accepted and 579
(37.2%) were encouraged to be revised and resubmitted. In the second round, 1696
submissions were received (496 revised and 1200 new), out of which 305 (61.4%)
of the revised submissions and 552 (46%) of the new submissions were accepted.
Overall, there were 3250 submissions in total, and 1411 were accepted, out of which
144 (4.4%) were included in the main conference program as orals and 1263 (38.8%)
as posters (4 papers were withdrawn after acceptance). We had the largest ICPR
conference ever, with the most submitted papers and the most selective acceptance
rates ever for ICPR, attesting both the increased interest in presenting research results at
ICPR and the high scientific quality of work accepted for presentation at the
conference.
We were honored to feature seven exceptional Keynotes in the program of the
ICPR2020 main conference: David Doermann (Professor at the University at Buffalo),
Pietro Perona (Professor at the California Institute of Technology and Amazon Fellow
vi Foreword by General Chairs

at Amazon Web Services), Mihaela van der Schaar (Professor at the University of
Cambridge and a Turing Fellow at The Alan Turing Institute in London), Max Welling
(Professor at the University of Amsterdam and VP of Technologies at Qualcomm),
Ching Yee Suen (Professor at Concordia University) who was presented with the IAPR
2020 King-Sun Fu Prize, Maja Pantic (Professor at Imperial College UK and AI
Scientific Research Lead at Facebook Research) who was presented with the IAPR
2020 Maria Petrou Prize, and Abhinav Gupta (Professor at Carnegie Mellon University
and Research Manager at Facebook AI Research) who was presented with the IAPR
2020 J.K. Aggarwal Prize. Several best paper prizes were also announced and awarded,
including the Piero Zamperoni Award for the best paper authored by a student, the
BIRPA Best Industry Related Paper Award, and Best Paper Awards for each of the five
tracks of the ICPR2020 main conference.
The five tracks of the ICPR2020 main conference were: (1) Artificial Intelligence,
Machine Learning for Pattern Analysis, (2) Biometrics, Human Analysis and Behavior
Understanding, (3) Computer Vision, Robotics and Intelligent Systems, (4) Document
and Media Analysis, and (5) Image and Signal Processing. The best papers presented at
the main conference had the opportunity for publication in expanded format in journal
special issues of IET Biometrics (tracks 2 and 3), Computer Vision and Image
Understanding (tracks 1 and 2), Machine Vision and Applications (tracks 2 and 3),
Multimedia Tools and Applications (tracks 4 and 5), Pattern Recognition Letters
(tracks 1, 2, 3 and 4), or IEEE Trans. on Biometrics, Behavior, and Identity Science
(tracks 2 and 3).
In addition to the main conference, the ICPR2020 program offered workshops and
tutorials, along with a broad range of cutting-edge industrial demos, challenge sessions,
and panels. The virtual ICPR2020 conference was interactive, with real-time
live-streamed sessions, including live talks, poster presentations, exhibitions, demos,
Q&A, panels, meetups, and discussions – all hosted on the Underline virtual confer-
ence platform.
The ICPR2020 conference was originally scheduled to convene in Milano, which is
one of the most beautiful cities of Italy for art, culture, lifestyle – and more. The city
has so much to offer! With the need to go virtual, ICPR2020 included interactive
virtual tours of Milano during the conference coffee breaks, which we hoped would
introduce attendees to this wonderful city, and perhaps even entice them to visit Milano
once international travel becomes possible again.
The success of such a large conference would not have been possible without the
help of many people. We deeply appreciate the vision, commitment, and leadership
of the ICPR2020 Program Chairs: Kim Boyer, Brian C. Lovell, Marcello Pelillo, Nicu
Sebe, René Vidal, and Jingyi Yu. Our heartfelt gratitude also goes to the rest of the
main conference organizing team, including the Track and Area Chairs, who all gen-
erously devoted their precious time in conducting the review process and in preparing
the program, and the reviewers, who carefully evaluated the submitted papers and
provided invaluable feedback to the authors. This time their effort was considerably
higher given that many of them reviewed for both reviewing rounds. We also want to
acknowledge the efforts of the conference committee, including the Challenge Chairs,
Demo and Exhibit Chairs, Local Chairs, Financial Chairs, Publication Chair, Tutorial
Chairs, Web Chairs, Women in ICPR Chairs, and Workshop Chairs. Many thanks,
also, for the efforts of the dedicated staff who performed the crucially important work
 Foreword by General Chairs vii

behind the scenes, including the members of the ICPR2020 Organizing Secretariat.
Finally, we are grateful to the conference sponsors for their generous support of the
ICPR2020 conference.
We hope everyone had an enjoyable and productive ICPR2020 conference.

Rita Cucchiara
Alberto Del Bimbo
Stan Sclaroff
 Preface

The 25th International Conference on Pattern Recognition Workshops (ICPRW 2020)

were held virtually in Milan, Italy and rescheduled to January 10 and January 11 of
2021 due to the Covid-19 pandemic. ICPRW 2020 included timely topics and appli-
cations of Computer Vision, Image and Sound Analysis, Pattern Recognition and
Artificial Intelligence. We received 49 workshop proposals and 46 of them have been
accepted, which is three times more than at ICPRW 2018. The workshop proceedings
cover a wide range of areas including Machine Learning (8), Pattern Analysis (5),
Healthcare (6), Human Behavior (5), Environment (5), Surveillance, Forensics and
Biometrics (6), Robotics and Egovision (4), Cultural Heritage and Document Analysis
(4), Retrieval (2), and Women at ICPR 2020 (1). Among them, 33 workshops are new
to ICPRW. Specifically, the ICPRW 2020 volumes contain the following workshops
(please refer to the corresponding workshop proceeding for details):
• CADL2020 – Workshop on Computational Aspects of Deep Learning.
• DLPR – Deep Learning for Pattern Recognition.
• EDL/AI – Explainable Deep Learning/AI.
• (Merged) IADS – Integrated Artificial Intelligence in Data Science, IWCR – IAPR
workshop on Cognitive Robotics.
• ManifLearn – Manifold Learning in Machine Learning, From Euclid to Riemann.
• MOI2QDN – Metrification & Optimization of Input Image Quality in Deep
Networks.
• IML – International Workshop on Industrial Machine Learning.
• MMDLCA – Multi-Modal Deep Learning: Challenges and Applications.
• IUC 2020 – Human and Vehicle Analysis for Intelligent Urban Computing.
• PATCAST – International Workshop on Pattern Forecasting.
• RRPR – Reproducible Research in Pattern Recognition.
• VAIB 2020 – Visual Observation and Analysis of Vertebrate and Insect Behavior.
• IMTA VII – Image Mining Theory & Applications.
• AIHA 2020 – Artificial Intelligence for Healthcare Applications.
• AIDP – Artificial Intelligence for Digital Pathology.
• (Merged) GOOD – Designing AI in support of Good Mental Health, CAIHA –
Computational and Affective Intelligence in Healthcare Applications for Vulnerable
Populations.
• CARE2020 – pattern recognition for positive teChnology And eldeRly wEllbeing.
• MADiMa 2020 – Multimedia Assisted Dietary Management.
• 3DHU 2020 – 3D Human Understanding.
• FBE2020 – Facial and Body Expressions, micro-expressions and behavior
recognition.
• HCAU 2020 – Deep Learning for Human-Centric Activity Understanding.
• MPRSS - 6th IAPR Workshop on Multimodal Pattern Recognition for Social Signal
Processing in Human Computer Interaction.
x Preface

• CVAUI 2020 – Computer Vision for Analysis of Underwater Imagery.

• MAES – Machine Learning Advances Environmental Science.
• PRAConBE - Pattern Recognition and Automation in Construction & the Built
Environment.
• PRRS 2020 – Pattern Recognition in Remote Sensing.
• WAAMI - Workshop on Analysis of Aerial Motion Imagery.
• DEEPRETAIL 2020 - Workshop on Deep Understanding Shopper Behaviours and
Interactions in Intelligent Retail Environments 2020.
• MMForWild2020 – MultiMedia FORensics in the WILD 2020.
• FGVRID – Fine-Grained Visual Recognition and re-Identification.
• IWBDAF – Biometric Data Analysis and Forensics.
• RISS – Research & Innovation for Secure Societies.
• WMWB – TC4 Workshop on Mobile and Wearable Biometrics.
• EgoApp – Applications of Egocentric Vision.
• ETTAC 2020 – Eye Tracking Techniques, Applications and Challenges.
• PaMMO – Perception and Modelling for Manipulation of Objects.
• FAPER – Fine Art Pattern Extraction and Recognition.
• MANPU – coMics ANalysis, Processing and Understanding.
• PATRECH2020 – Pattern Recognition for Cultural Heritage.
• (Merged) CBIR – Content-Based Image Retrieval: where have we been, and where
are we going, TAILOR – Texture AnalysIs, cLassificatiOn and Retrieval, VIQA –
Video and Image Question Answering: building a bridge between visual content
analysis and reasoning on textual data.
• W4PR - Women at ICPR.
We would like to thank all members of the workshops’ Organizing Committee, the
reviewers, and the authors for making this event successful. We also appreciate the
support from all the invited speakers and participants. We wish to offer thanks in
particular to the ICPR main conference general chairs: Rita Cucchiara, Alberto Del
Bimbo, and Stan Sclaroff, and program chairs: Kim Boyer, Brian C. Lovell, Marcello
Pelillo, Nicu Sebe, Rene Vidal, and Jingyi Yu. Finally, we are grateful to the publisher,
Springer, for their cooperation in publishing the workshop proceedings in the series of
Lecture Notes in Computer Science.

December 2020 Giovanni Maria Farinella

Tao Mei
 Challenges

Competitions are effective means for rapidly solving problems and advancing the state
of the art. Organizers identify a problem of practical or scientific relevance and release
it to the community. In this way the whole community can contribute to the solution of
high-impact problems while having fun. This part of the proceedings compiles the best
of the competitions track of the 25th International Conference on Pattern Recognition
(ICPR).
Eight challenges were part of the track, covering a wide variety of fields and
applications, all of this within the scope of ICPR. In every challenge organizers
released data, and provided a platform for evaluation. The top-ranked participants were
invited to submit papers for this volume. Likewise, organizers themselves wrote articles
summarizing the design, organization and results of competitions. Submissions were
subject to a standard review process carried out by the organizers of each competition.
Papers associated with seven out the eight competitions are included in this volume,
thus making it a representative compilation of what happened in the ICPR challenges.
We are immensely grateful to the organizers and participants of the ICPR 2020
challenges for their efforts and dedication to make the competition track a success. We
hope the readers of this volume enjoy it as much as we have.

November 2020 Marco Bertini

Hugo Jair Escalante
 ICPR Organization

General Chairs
Rita Cucchiara Univ. of Modena and Reggio Emilia, Italy
Alberto Del Bimbo Univ. of Florence, Italy
Stan Sclaroff Boston Univ., USA

Program Chairs
Kim Boyer Univ. at Albany, USA
Brian C. Lovell Univ. of Queensland, Australia
Marcello Pelillo Univ. Ca’ Foscari Venezia, Italy
Nicu Sebe Univ. of Trento, Italy
René Vidal Johns Hopkins Univ., USA
Jingyi Yu ShanghaiTech Univ., China

Workshop Chairs
Giovanni Maria Farinella Univ. of Catania, Italy
Tao Mei JD.COM, China

Challenge Chairs
Marco Bertini Univ. of Florence, Italy
Hugo Jair Escalante INAOE and CINVESTAV National Polytechnic
Institute of Mexico, Mexico

Publication Chair
Roberto Vezzani Univ. of Modena and Reggio Emilia, Italy

Tutorial Chairs
Vittorio Murino Univ. of Verona, Italy
Sudeep Sarkar Univ. of South Florida, USA

Women in ICPR Chairs

Alexandra Branzan Albu Univ. of Victoria, Canada
Maria De Marsico Univ. Roma La Sapienza, Italy
xiv ICPR Organization

Demo and Exhibit Chairs

Lorenzo Baraldi Univ. Modena Reggio Emilia, Italy
Bruce A. Maxwell Colby College, USA
Lorenzo Seidenari Univ. of Florence, Italy

Special Issue Initiative Chair

Michele Nappi Univ. of Salerno, Italy

Web Chair
Andrea Ferracani Univ. of Florence, Italy

Corporate Relations Chairs

Fabio Galasso Univ. Roma La Sapienza, Italy
Matt Leotta Kitware, Inc., USA
Zhongchao Shi Lenovo Group Ltd., China

Local Chairs
Matteo Matteucci Politecnico di Milano, Italy
Paolo Napoletano Univ. of Milano-Bicocca, Italy

Financial Chairs
Cristiana Fiandra The Office srl, Italy
Vittorio Murino Univ. of Verona, Italy
 Contents – Part IV

FGVRID - Fine-Grained Visual Recognition and re-Identification

Densely Annotated Photorealistic Virtual Dataset Generation for Abnormal

Event Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Rico Montulet and Alexia Briassouli

Unsupervised Domain Adaptive Re-Identification with Feature Adversarial

Learning and Self-similarity Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Tianyi Yan, Haiyun Guo, Songyan Liu, Chaoyang Zhao, Ming Tang,
and Jinqiao Wang

A Framework for Jointly Training GAN with Person

Re-Identification Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
Zhongwei Zhao, Ran Song, Qian Zhang, Peng Duan, and Youmei Zhang

Interpretable Attention Guided Network for Fine-Grained

Visual Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Zhenhuan Huang, Xiaoyue Duan, Bo Zhao, Jinhu Lü,
and Baochang Zhang

Use of Frequency Domain for Complexity Reduction of Convolutional

Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
Kamran Chitsaz, Mohsen Hajabdollahi, Pejman Khadivi,
Shadrokh Samavi, Nader Karimi, and Shahram Shirani

From Coarse to Fine: Hierarchical Structure-Aware Video Summarization . . . 75

Wenxu Li, Gang Pan, Chen Wang, Zhen Xing, Xiaozhou Zhou,
Xiaoxuan Dong, and Jiawan Zhang

ADNet: Temporal Anomaly Detection in Surveillance Videos. . . . . . . . . . . . 88

Halil İbrahim Öztürk and Ahmet Burak Can

Soft Pseudo-labeling Semi-Supervised Learning Applied to Fine-Grained

Visual Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
Daniele Mugnai, Federico Pernici, Francesco Turchini,
and Alberto Del Bimbo
xvi Contents – Part IV

HCAU 2020 - The First International Workshop on Deep Learning

for Human-Centric Activity Understanding

Spot What Matters: Learning Context Using Graph Convolutional

Networks for Weakly-Supervised Action Detection . . . . . . . . . . . . . . . . . . . 115
Michail Tsiaousis, Gertjan Burghouts, Fieke Hillerström,
and Peter van der Putten

Social Modeling Meets Virtual Reality: An Immersive Implication . . . . . . . . 131

Habib Ullah, Sultan Daud Khan, Mohib Ullah,
and Faouzi Alaya Cheikh

Pickpocketing Recognition in Still Images . . . . . . . . . . . . . . . . . . . . . . . . . 141

Prisa Damrongsiri and Hossein Malekmohamadi

t-EVA: Time-Efficient t-SNE Video Annotation . . . . . . . . . . . . . . . . . . . . . 153

Soroosh Poorgholi, Osman Semih Kayhan, and Jan C. van Gemert

Vision-Based Fall Detection Using Body Geometry. . . . . . . . . . . . . . . . . . . 170

Beddiar Djamila Romaissa, Oussalah Mourad, Nini Brahim,
and Bounab Yazid

Comparative Analysis of CNN-Based Spatiotemporal Reasoning in Videos. . . 186

Okan Köpüklü, Fabian Herzog, and Gerhard Rigoll

Generalization of Fitness Exercise Recognition from Doppler

Measurements by Domain-Adaption and Few-Shot Learning . . . . . . . . . . . . 203
Biying Fu, Naser Damer, Florian Kirchbuchner, and Arjan Kuijper

Local Anomaly Detection in Videos Using Object-Centric

Adversarial Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
Pankaj Raj Roy, Guillaume-Alexandre Bilodeau, and Lama Seoud

A Hierarchical Framework for Motion Trajectory Forecasting Based

on Modality Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
Yifan Ma, Bo Zhang, Nicola Conci, and Hongbo Liu

Skeleton-Based Methods for Speaker Action Classification

on Lecture Videos. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
Fei Xu, Kenny Davila, Srirangaraj Setlur, and Venu Govindaraju

IADS - Integrated Artificial Intelligence In Data Science

Fake Review Classification Using Supervised Machine Learning. . . . . . . . . . 269

Hanif Khan, Muhammad Usama Asghar, Muhammad Zubair Asghar,
Gautam Srivastava, Praveen Kumar Reddy Maddikunta,
and Thippa Reddy Gadekallu
 Contents – Part IV xvii

Defect Detection of Stainless Steel Plates Using Deep

Learning Technology. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
Yu-Jen Huang, Ko-Wei Huang, and Shih-Hsiung Lee

Deep Neural Networks for Detecting Real Emotions Using Biofeedback

and Voice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
Mohammed Aledhari, Rehma Razzak, Reza M. Parizi,
and Gautam Srivastava

Data Augmentation for a Deep Learning Framework for Ventricular Septal

Defect Ultrasound Image Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
Shih-Hsin Chen, I-Hsin Tai, Yi-Hui Chen, Ken-Pen Weng,
and Kai-Sheng Hsieh

A Neural Network Model for Lead Optimization of MMP12 Inhibitors . . . . . 323

Tewodros M. Dagnew, Claudio Silvestri, Debora Slanzi, and Irene Poli

An Empirical Analysis of Integrating Feature Extraction to Automated

Machine Learning Pipeline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
Hassan Eldeeb, Shota Amashukeli, and Radwa El Shawi

Input-Aware Neural Knowledge Tracing Machine . . . . . . . . . . . . . . . . . . . . 345

Moyu Zhang, Xinning Zhu, and Yang Ji

Towards Corner Case Detection by Modeling the Uncertainty of Instance

Segmentation Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
Florian Heidecker, Abdul Hannan, Maarten Bieshaar,
and Bernhard Sick

Intelligent and Interactive Video Annotation for Instance Segmentation

Using Siamese Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
Jan Schneegans, Maarten Bieshaar, Florian Heidecker,
and Bernhard Sick

Imputation of Rainfall Data Using Improved Neural Network Algorithm . . . . 390

Po Chan Chiu, Ali Selamat, Ondrej Krejcar, and King Kuok Kuok

Novelty Based Driver Identification on RR Intervals from ECG Data . . . . . . 407

Florian Heidecker, Christian Gruhl, and Bernhard Sick

Link Prediction in Social Networks by Variational Graph Autoencoder

and Similarity-Based Methods: A Brief Comparative Analysis . . . . . . . . . . . 422
Sanjiban Sekhar Roy, Aditya Ranjan, and Stefania Tomasiello

A Hybrid Wine Classification Model for Quality Prediction . . . . . . . . . . . . . 430

Terry Hui-Ye Chiu, Chien-Wen Wu, and Chun-Hao Chen
xviii Contents – Part IV

A PSO-Based Sanitization Process with Multi-thresholds Model . . . . . . . . . . 439

Jimmy Ming-Tai Wu, Gautam Srivastava, Shahab Tayeb,
and Jerry Chun-Wei Lin

Task-Specific Novel Object Characterization. . . . . . . . . . . . . . . . . . . . . . . . 447

Gertjan J. Burghouts

IML - International Workshop on Industrial Machine Learning

Deep Learning Based Dimple Segmentation for Quantitative Fractography . . . 463

Ashish Sinha and K. S. Suresh

PaDiM: A Patch Distribution Modeling Framework for Anomaly Detection

and Localization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
Thomas Defard, Aleksandr Setkov, Angelique Loesch,
and Romaric Audigier

Real-Time Cross-Dataset Quality Production Assessment in Industrial

Laser Cutting Machines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490
Nicola Peghini, Andrea Zignoli, Davide Gandolfi, Paolo Rota,
and Paolo Bosetti

An Online Deep Learning Based System for Defects Detection

in Glass Panels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506
Matteo Moro, Claudio Andreatta, Chiara Corridori, Paolo Rota,
and Niculae Sebe

Evaluation of Edge Platforms for Deep Learning in Computer Vision . . . . . . 523

Christoffer Bøgelund Rasmussen, Aske Rasch Lejbølle,
Kamal Nasrollahi, and Thomas B. Moeslund

BlendTorch: A Real-Time, Adaptive Domain Randomization Library . . . . . . 538

Christoph Heindl, Lukas Brunner, Sebastian Zambal,
and Josef Scharinger

SAFFIRE: System for Autonomous Feature Filtering and Intelligent

ROI Estimation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 552
Marco Boschi, Luigi Di Stefano, and Martino Alessandrini

Heterogeneous Feature Fusion Based Machine Learning on Shallow-Wide

and Heterogeneous-Sparse Industrial Datasets . . . . . . . . . . . . . . . . . . . . . . . 566
Zijiang Yang, Tetsushi Watari, Daisuke Ichigozaki, Akita Mitsutoshi,
Hiroaki Takahashi, Yoshinori Suga, Wei-keng Liao, Alok Choudhary,
and Ankit Agrawal
 Contents – Part IV xix

3-D Deep Learning-Based Item Classification for Belt Conveyors Targeting

Packaging and Logistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 578
Ho-min Park, Byungkon Kang, Arnout Van Messem,
and Wesley De Neve

Development of Fast Refinement Detectors on AI Edge Platforms. . . . . . . . . 592

Min-Kook Choi and Heechul Jung

Selecting Algorithms Without Meta-features . . . . . . . . . . . . . . . . . . . . . . . . 607

Martin Lukac, Ayazkhan Bayanov, Albina Li, Kamila Abiyeva,
Nadira Izbassarova, Magzhan Gabidolla, and Michitaka Kameyama

A Hybrid Machine Learning Approach for Energy Consumption Prediction

in Additive Manufacturing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622
Yixin Li, Fu Hu, Jian Qin, Michael Ryan, Ray Wang, and Ying Liu

Bias from the Wild Industry 4.0: Are We Really Classifying the Quality
or Shotgun Series? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637
Riccardo Rosati, Luca Romeo, Gianalberto Cecchini, Flavio Tonetto,
Luca Perugini, Luca Ruggeri, Paolo Viti, and Emanuele Frontoni

Machine Learning for Storage Location Prediction in Industrial High

Bay Warehouses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650
Fabian Berns, Timo Ramsdorf, and Christian Beecks

A Deep Learning-Based Approach for Automatic Leather Classification

in Industry 4.0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 662
Giulia Pazzaglia, Massimo Martini, Riccardo Rosati, Luca Romeo,
and Emanuele Frontoni

Automatic Viewpoint Estimation for Inspection Planning Purposes . . . . . . . . 675

Siddhartha Dutta, Markus Rauhut, Hans Hagen, and Petra Gospodnetić

Localisation of Defects in Volumetric Computed Tomography Scans

of Valuable Wood Logs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692
Davide Boscaini, Fabio Poiesi, Stefano Messelodi, Ayman Younes,
and Donato A. Grande

Image Anomaly Detection by Aggregating Deep

Pyramidal Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705
Pankaj Mishra, Claudio Piciarelli, and Gian Luca Foresti

Fault Detection in Uni-Directional Tape Production Using

Image Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 719
Somesh Devagekar, Ahmad Delforouzi, and Paul G. Plöger

Author Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 733

FGVRID - Fine-Grained Visual
Recognition and re-Identification
 Workshop on Fine-Grained Visual Recognition
and Re-identification

Workshop Description

The ubiquitous surveillance cameras are generating huge amount of videos. Automatic
video content analysis and recognition are thus desirable for effective utilization of
those data. Fine-Grained Visual Recognition and Re-Identification (FGVRID) aims to
accurately identify visual objects and match re-appearing targets, e.g., persons and
vehicles from a large set of images and videos. It has the potential to offer an
unprecedented possibility for intelligent video processing and analysis, as well as to
explore the promising applications on public security.
The FGVRID workshop wishes to bring together researchers from fine-grained
visual categorization, as well as person/ vehicle ReID communities, and to foster
discussions and exchange of ideas between them. FGVRID is not a traditional search or
classification task due to its goal of accurately identifying visual objects. First, proper
detection algorithms should be designed to locate objects and their parts in videos
before proceeding to the identification step. Second, the visual appearance of an object
is easily affected by many factors like viewpoint changes and camera parameter dif-
ferences, etc. Third, annotating the fine-grained identity or category cues is expensive
and time consuming. Finally, to cope with the large-scale data, scalable indexing or
feature coding algorithms should be designed to ensure the online recognition effi-
ciency. Aiming to seek novel solutions and possibilities in FGVRID, this workshop
will have in-depth discussions on those issues and aims to go beyond toy datasets and
small-scale algorithms. A total of 12 submissions were received and after a single-blind
reviewing process including 2-3 reviewers per paper, 7 papers were accepted. The
acceptance rate was 58%.
The topics of FGVRID were equitably represented with 7 presentations focusing on
semi-supervised learning, effective video representations, fine-grained classification,
new datasets for fine-grained visual recognition. Four speakers were invited to give
talks in the workshop. Each speaker gave 40mins talk on fine-grained visual recog-
nition and person/vehicle ReID or related topics.
 Organization

General Chairs

Shiliang Zhang Peking University

Guorong Li University of Chinese Academy of Sciences
Weigang Zhang Harbin Institute of Technology, Weihai
Qingming Huang University of Chinese Academy of Sciences
Nicu Sebe University of Trento

Program Committee

Yuankai Qi University of Adelaide

Zhe Xue Beijing University of Posts and Telecommunications
Hantao Yao Institute of Automation, Chinese Academy of Sciences
Yifan Yang University of Chinese Academy of Sciences
Jianing Li Peking University
Dechao Meng Institute of Computing Technology
 Densely Annotated Photorealistic Virtual
Dataset Generation for Abnormal
Event Detection

Rico Montulet and Alexia Briassouli(B)

Department of Data Science and Knowledge Engineering, Maastricht University,

Maastricht, The Netherlands
[email protected], [email protected]

Abstract. Many timely computer vision problems, such as crowd event

detection, individual or crowd activity recognition, person detection and
re-identification, tracking, pose estimation, segmentation, require pixel-
level annotations. This involves significant manual effort, and is likely to
face challenges related to the privacy of individuals, due to the intrinsic
nature of these problems, requiring in-depth identifying information. To
cover the gap in the field and address these issues, we introduce and make
publicly available a photorealistic, synthetically generated dataset, with
detailed dense annotations. We also publish the tool we developed to gen-
erate it, that will allow users to not only use our dataset, but expand upon
it by building their own densely annotated videos for many other com-
puter vision problems. We demonstrate the usefulness of the dataset with
experiments on unsupervised crowd anomaly detection in various sce-
narios, environments, lighting, weather conditions. Our dataset and the
annotations provided with it allow its use in numerous other computer
vision problems, such as pose estimation, person detection, segmenta-
tion, re-identification and tracking, individual and crowd activity recog-
nition, and abnormal event detection. We present the dataset as is, along
with the source code and tool to generate it, so any modification can be
made and new data can be created. To our knowledge, there is currently
no other photorealistic, densely annotated, realistic, synthetically gener-
ated dataset for abnormal crowd event detection, nor one that allows for
flexibility of use by allowing the creation of new data with annotations
for many other computer vision problems. Dataset and source code
available: https://github.com/RicoMontulet/GTA5Event.

1 Introduction
The State of the Art (SoA) deep learning methods in computer vision achieve
high accuracy by leveraging large, diverse and correctly annotated datasets, with
the most detailed annotations desired being at a pixel level. For problems like
crowd event detection, pose estimation, person detection, recognition, segmenta-
tion, re-identification, tracking, activity recognition, the production of detailed
Funded under the H2020 project MindSpaces, Grant number # 825079.
c Springer Nature Switzerland AG 2021
A. Del Bimbo et al. (Eds.): ICPR 2020 Workshops, LNCS 12664, pp. 5–19, 2021.
https://doi.org/10.1007/978-3-030-68799-1_1
6 R. Montulet and A. Briassouli

ground truth requires great manual effort, is very time-consuming, error-prone

and labor intensive. This is even more so the case in tasks requiring pixel-level
accuracy, such as fine-grained activity recognition, pose estimation [9], person
re-identification and tracking, as well as activity/event recognition. Moreover,
the advent of privacy regulations such as GDPR (https://gdpr-info.eu/) has
led to the removal of datasets of individuals that have not given explicit con-
sent, and makes the creation of new annotated datasets challenging. The current
Covid-19 related restrictions on large gatherings and crowds of people are pos-
ing additional obstacles to the creation of benchmark datasets. However, the
need for data with high quality annotations is continuously increasing, for train-
ing data, or augmentation of existing training data. A solution to this problem
that is gaining increasing attention is the creation of realistic synthetic datasets
using commercial video game engines, for the creation of highly realistic data
with dense, high quality annotations in varying lighting and environmental con-
ditions.
In this work we create photorealistic videos using the Rockstar Advanced
Game Engine (RAGE) in the video game GTA V [38], as it allows for the creation
of densely annotated and very realistic datasets. Its license allows for this, and
specifically states: “The publisher of Grand Theft Auto V allows non-commercial
use of footage from the game as long as certain conditions are met, such as non-
commercial use and not distributing spoilers” [2]. The engine provides great
flexibility, allowing for the generation of videos with wide ranging, detailed and
realistic activities of individuals and groups of people in different indoors and
outdoors environments, lighting and weather conditions. Our dataset comprises
of 54 videos with resolution of 2560 × 1440, from 54 unique locations. Each
video has 450 frames recorded from a static camera at varying heights. Detailed
ground-truth data is provided for every frame, comprising of weather conditions,
time of day, person segmentation, bone coordinates, depth maps and the type
of group of people. The videos are rendered at different frames per second to
simulate different frame rates on common security cameras. In this work, we
choose to apply the generated datasets to the problem of unsupervised, abnor-
mal crowd event detection. The motivation for this is the long-standing lack of
high quality, densely annotated data for this problem, as explained in Sect. 2.
We demonstrate the usefulness of our dataset in experiments on unsupervised
event detection, with annotations that can also be used for a number of other
computer vision problems. To our knowledge, there is no other dataset providing
annotations for such a wide range of vision problems.
This paper is structured as follows: Sect. 2 describes the related work on
synthetic dataset generation, and the datasets available. Section 3 describes the
process for generating our synthetic dataset, and the resulting annotations and
Sect. 4 shows how it can be used for the successful, unsupervised detection of
abnormal events in a variety of environments, while conclusions are drawn in
Sect. 5.
 Densely Annotated Photorealistic Virtual Dataset 7

2 Related Work
The role of synthetic datasets as supplements to existing training data, or as
data in and of themselves, is receiving increased attention [36,37,43,44], as deep
learning requires extensive high quality annotated data to perform well, which
is not always easy to obtain in the real world. To this end, various synthetic
datasets have been recently generated to solve different computer vision prob-
lems, with the works in [6,25,37,38,40,49] all using synthetic data. Several of
them, namely [25,37,38,49] use the GTA V Rockstar Advanced Game Engine
(RAGE), similarly to our work, but focusing on different computer vision prob-
lems. The reason for choosing RAGE is the high quality of the resulting graphics,
as well as the policy of the game engine, which allows for non-commercial use
of its footage [2]. Data generation tools and datasets that use virtual worlds to
generate annotated image datasets are described below.

2.1 Related Tools for Synthetic Data Generation

CARLA. CARLA is an open-source platform from Intel for developing and

testing autonomous driving systems [16] with various environments, sensors,
and full control over data. Scene segmentation has been achieved using CARLA
in [41], and LiDAR object detection uses CARLA in [17]. A challenge was also
setup in 2019 with realistic driving scenarios, for autonomous driving bench-
marks (https://carlachallenge.org/).
Unity ML. The Unity game engine allows the development of realistic virtual
game environments for applications like Deep Learning, with Google’s DeepMind
recently having used it to train its deep learning models [1]. Unity ML [3,26] use
machine learning agents to create realistic and varied environments.
Unreal. Unreal [34] is a game engine for virtual environments that also gen-
erates realistic images to train deep learning methods. It has been used for
AirSim [42], a simulator for drones and autonomous vehicles, and other anno-
tated datasets [33], to train deep learning methods for autonomous vehicles. It
has also been used to generate a synthetic dataset for 3D object detection and
pose estimation [45].
Blender. Blender, a tool generating 3D scenes for video games, has also been
used for training data for computer vision. In [13], an open-source modular
pipeline, presented for photorealistic 3D scenes and images, is tested on object
segmentation. Medical imaging, and specifically robotic surgery has recently ben-
efited from data created with Blender [10], with the paper receiving a best paper
award in 2020.
Europilot. Europilot, an environment based on Euro Truck Simulator 2, simu-
lates all aspects of a driving vehicle: acceleration, breaking, steering and collision
detection etc. It also offers visual rendering of the scene for computer vision pur-
poses and is used for training autonomous vehicles [20].
8 R. Montulet and A. Briassouli

Grand Theft Auto 5. Grand Theft Auto 5 (GTA V) poses a different

paradigm, as it generates very photorealistic video game data. One of the main
reasons it is selected specifically for computer vision tasks is the excellent quality
of its graphics. Another work that uses GTA V for generating photorealistic data
is Richter et al. [37,38], who injected their own software inbetween the game and
the graphics card, so as to collect information about geometry and textures. In
contrast to [37,38], our tool uses native RAGE functions, which allows us to get
the annotations directly from the game environment, to change the scene, set
weather conditions, and customize the behavior of individuals and groups.

Table 1. Abnormal event detection datasets.

Dataset # of frames Resolution Events

UCSD Ped1 [27], 2014 14000 238 × 158 Abnormal object in one
frame
UCSD Ped2 [27], 2014 4560 360 × 240 Abnormal object in one
frame
UMN [46], 2014 3855 320 × 240 Staged crowd events
Subway entrance [4], 2008 86535 512 × 382 Few abnormalities
Subway exit [4], 2008 38940 512 × 382 Few abnormalities
CUHK avenue [29], 2013 30652 640 × 360 Few abnormalities
Street scene [35], 2020 203257 1280 × 720 Few abnormalities in
street behavior
Ours: GTAV event, 2020 24000 2560 × 1440 Limitless crowd events,
abnormal crowd
behaviors

2.2 Related Synthetic Data

A wide range of synthetically generated data has been produced for com-
puter vision problems https://github.com/unrealcv/synthetic-computer-vision,
but not for the application that we are examining, namely crowd event detec-
tion. Moreover, unlike our dataset, existing ones do not offer the flexibility to be
used for several other applications, from recognition of individual or group activ-
ities/interactions in a variety of scenarios and environments, to person tracking,
segmentation re-identification and others, as detailed below.
Synthetic Datasets for Optical Flow. Synthetic datasets have been used
to develop accurate optical flow algorithms since 1987 [21], with Yosemite [7]
(1994) being one of the most widely used. In [30], what makes a good synthetic
dataset is described, with an extensive overview of existing synthetic optical
flow benchmarking datasets, including recent ones like Flying Chairs [15], and
SYNTHIA [39]. It should be noted that the SoA optical flow Flownet2 [24] used
 Densely Annotated Photorealistic Virtual Dataset 9

in this work has also been developed using synthetically generated data, which
allowed it to outperform the SoA.
Synthetic Human, Crowd Datasets. Previous efforts on synthetic data gen-
eration for crowd simulation [5,31] focus on crowd group dynamics, but not on
the quality of the graphics, making them less appropriate for deep learning, which
requires large amounts of high quality annotated data. Recently, a dataset and
tool for crowd counting was published [48], which only generates crowd images,
and not crowd videos, nor crowd event scenarios.
In [12], a dataset for human activity recognition has been generated, but with
Unity, contains one person per activity, and no abnormal crowd events. Motion
tracking and activity recognition can take place using the synthetic data in [19],
however it features only one person per frame, and has a blank background.
Human segmentation and depth estimation datasets have also been synthet-
ically generated recently [47], based on motion capture data. However, they use
Blender [11], and comprise of single person images rather than continuous video.
A large scale synthetic image dataset of images of street scenes with dense seman-
tic segmentation maps, generated by the Unity game engine, is SYNTHIA. It has
been used for semantic image segmentation, image-to-image translation [23,28]
and adversarial domain adaptation [22], among others.
Our tool generates densely annotated crowds and events, but can also be
used for the generation of individual or small group activities, tracking, pose,
segmentation, providing solutions for a wider range of computer vision problems
than existing datasets. At the same time, it provides densely annotated bench-
marking data for abnormal crowd event detection, for which existing real-world
datasets have been limited in size, quality and amount of events (see Sect. 2.3).

2.3 Real-World Datasets for Abnormal Crowd Event Detection

In this work we use our dataset for the problem of abnormal crowd event detec-
tion, although it can also be used for other problems, like person detection, seg-
mentation, re-identification, tracking, individual or crowd activity recognition.
We focus on crowd event detection due to the long-standing and well-documented
lack of datasets for this problem. Existing datasets are small, of poor resolution,
with few abnormal events and often with inconsistent annotations [35].
In Table 1 we present real-world datasets on crowd event detection, most often
used for benchmark comparisons. The frequently encountered, UCSD pedes-
trian [27], shows pedestrians walking outdoors, with a few anomalies like a bike
passing through them etc. It is small in size, contains a few abnormalities, and
events are based on changes in a frame, rather than changes in behavior and
motion. The University of Minnessotta (UMN) dataset [46] is even smaller, with
11 videos and 3 scenes, with simple, staged events. Only two long real-world
videos, Subway and Mall, are presented in [4], with few, specific events, mak-
ing them inadequate for robust testing. CUHK Avenue [29] contains data from
a surveillance camera, with few anomalies, caused mostly by individual actions
rather than crowd behaviors. Recently, StreetScene [35] was made available, con-
taining a far larger number of frames at higher resolution, with the corresponding
10 R. Montulet and A. Briassouli

annotations. However, this dataset does not contain crowd events or abnormal
individual/crowd behaviors, as it focuses on abnormalities related to street scenes
and rules, such as pedestrians crossing illegally or bicycles on sidewalks.
Our dataset features significantly more frames than most of the above
datasets, with the exception of StreetScene, however the number of frames in
our dataset can be directly increased by using our tool. Our dataset also features
a wide range of weather conditions and environments, as well as events related
to abnormalities in crowd behavior and motion, rather than anomalies related
to appearance changes in one frame (as in UCSD, UMN). Thus it is more appro-
priate for detecting abnormalities in videos, in the behavior of crowds but also
individuals. It does not contain annotations only for events, but also for person
segmentation, tracking, re-identification, pose classification and more, detailed
in Sect. 3.2. Its graphics are of high quality, as they have been generated with
the GTA V engine [14], which can produce a wide range of high quality, photo-
realistic scenes.

3 Dataset Creation and Description

3.1 Dataset Creation: Interacting with the Virtual World
Our method uses the plugin Scripthook, developed by Alexander Blade, that
allows developers to interact with the Rockstar Advanced Game Engine (RAGE).
The scene generation and data collection is done by a plugin written in C#
that controls the environment using Scripthook. Virtual scenes, weather condi-
tions, character models, lighting conditions, movement and behaviours can all
be changed using a config file. In order to create a diverse dataset, different loca-
tions and camera placements needed to be explored. Conveniently, GTA V has
a massive 252 square kilometer map with a vast amount of different locations.
Every location is unique with a high degree of similarity to real world locations.
From beaches to shopping malls to mountain ranges, the possibilities are vast.
In this work, a subset of 54 locations were used, where stationary cameras
have been placed at various heights and angles, and a region of interest was
selected in them. There are 704 unique person models available in the game,
with different skin color, body shape (height, weight) and hair styles, with varied
types of clothing for each person model. The people can move in several ways,
such as walking, standing, crouching, standing having a conversation etc.
Groups of people of various sizes are spawned in the designated Region of
Interest (ROI) for each location. These groups range in size from 5 to 25 people
and there are 1 to 5 groups. These parameters can be changed in a configuration
file to suit any needs. Every person within a group gets a specific task, whether to
talk to one of their group members, wander around the scene, make a phone-call
or just stand there. Once groups have been spawned the weather is randomly
changed, the camera is set to render at a random FPS, and finally, the time
of day is randomized. All of this happens while the game is paused. This is
achieved by setting the timescale parameter in the game engine to zero. The
locations along with group sizes, group locations, person locations, weather,
 Densely Annotated Photorealistic Virtual Dataset 11

time and FPS information is available. Figure 1 provides an overview of the

distribution of the generated actions, weather conditions, fps for each video, and
times of day, showing that our solution can cover numerous scenarios. There are
24,301 frames in total, with 1,825,493 annotated bounding boxes and a total of
177,372,250 bones. There are 5719 people in total having an average trajectory
length of 319 frames. All locations cover a ROI of 27,635 square units, with an
average ROI of 512 square units per location, where one 3D unit was found to
be approximately 0.85 m [14].

Fig. 1. The distribution of group behaviours, weathers, frames per second used to
render the videos and of the times during which the videos were recorded.

Fig. 2. Our frame annotations: from left to right, the bounding boxes of people along
with their ID and distance to the camera, the bone coordinates of the people in the
scene, the trajectories people have walked, the pixel-wise segmentation of people, and
lastly pixel-wise depth information relative to the camera plane.

Now that the scene is set up, the timescale is set to 1.0, and the game starts
to render the scene. Meanwhile, the script saves images and annotations, which
include RGB, depth, segmentation information, person pose information (bone
12 R. Montulet and A. Briassouli

locations), bounding boxes, and person IDs. Thus, the post-processing script
can find trajectories, tighten bounding boxes, segmentations, and depth esti-
mates. Figure 2 shows a sample synthetically generated frame using our method,
with annotations corresponding to person detection (bounding boxes), bones,
trajectories, person segmentation and depth maps.

3.2 Dataset Description

The resulting dataset contains detailed scene information and annotations,

described below:

1. a bitmap stencil image

– 0: Environment objects like floor, stairs, buildings
– 1: Persons
– 2: Cars and trucks
– 3: Waving flags, plants, trees
– 4: Beach sand, grass
– 7: sky
2. a depth map, as a single channel image with float values in range [0, 1], where
1 is close to the camera and 0 is far (http://www.adriancourreges.com/blog/
2015/11/02/gta-v-graphics-study/)
3. location information in a json file, containing:
– location name
– camera position
– camera rotation
– player position
– player rotation
– ROI of the location
– PedGroups: contains the initial positions of all the people that belong to
this group
– PedCenters: contains the original centers around which the people were
spawned
– PedIdGroup: contains the handles of all the spawned peds, and the cluster
center they belong to
– fps: frames per second the video was rendered at
– Action: the action that happens at a specific frame
– Current time: the time the video was recorded in game time
– Currentweather: the weather of that scene [0 = ExtraSunny, 1 = Clear,
2 = Clouds, 3 = Smog, 5 = Overcast, 6 = Raining, 7 = Thunderstorm,
13=Snow]
– CamFOV: the field of view of the recording camera (always 50)
4. Per frame annotations that contain:
– handle which is unique ID for every person
– their distance from the camera in meters
– normalized onscreen [0,1] bone coordinates
Another random document with
no related content on Scribd:
kaksisataa vuotta aikaisemmin, olisi hän varmaankin ollut
merirosvo."

Millainen merirosvo hän olisikaan ollut! Sittenkään ei Josephine

uskonut, että hän olisi ollut merirosvo. "Herrasmies", oli ehkä
sittenkin sopivampi nimitys hänelle, vaikka siihen olisi ollut
lisättäväkin "kerskaileva." Sillä huolimatta siitä, että Lattimer
ilmeisesti oli rohkean häikäilemätön luonne, joskaan Josephine ei
osannut sitä tarkemmin määritellä, oli hänen silmissään ystävällistä
suhtautumista kanssaihmisiin, jotakin myöntyväisyyttä, vaikka nämä
ominaisuudet olivatkin jossain määrin ristiriidassa hänen viekkaan ja
hävyttömän olemuksensa kanssa.

Ruumiiltaan näytti hän harjoittamattomalta atleetilta. Sillä hänen

villapaitansa alla paisuttelivat valtavat lihakset hänen vaatteitaan,
varsinkin hartioin seuduilla, ja kauluksen alta, joka oli huolettomasti
jäänyt auki, näkyi voimakas kaula, terveenä ja tukevana ja
pronssinkarvaiseksi paahdettuna.

Joukko rasvaa oli erääntynyt keskukseen, mutta ei kuitenkaan niin

paljon, että se olisi häirinnyt ruumiin yleistä sopusuhtaisuutta ja
Josephine huomasi että hän, huolimatta tuosta pienestä liikarasvasta
oli notkea ja joustava kuin juoksija.

Hän oli lakitta päin. Lakki oli viereisellä tuolilla rutistuneena. Hänen
päänsä oli kaunismuotoinen ja hänen lyhyeksi leikattu tumma
tukkansa oli miehekäs ja kiiltävä. Hänen kauniilla valkoisella
otsallaan riippui muutamia hien suoristansa hiuksia. Josephine
ajatteli, että se oli yksi syy, jonka vuoksi hän oli päättänyt, että
Lattimer oli häikäilemättömän välinpitämätön. Sivistynyt ja
huolellinen mies olisi pyyhkäissyt hiukset hikineen päivineen
otsaltaan naisen seurassa.
 Loput hänen häikäilemättömyydestään kuvastui hänen silmissään,
suun viivoissa ja hänen voimakkaassa leuassaan.

Josephine saattoi ymmärtää miksi Bettyn sanoissa "hän on mies"

oli niin paljon kunnioitusta.

Mutta Lattimerin miehekkyys ei ollut hyökkäävää laatua. Se oli

viekkautta, joka ilmaisi itsensä juuri siinä, että hän pystyi sitä ovelasti
hallitsemaan. Josephinestä näytti kuin Lattimer olisi tiennyt olevansa
äärimmäisen miehinen, mutta ettei tuo tietoisuus sukupuolestaan
vähääkään näkynyt hänen silmissään.

Huomatessaan, ettei Josephinellä ollut vähääkään aikomusta

lähteä tuolistaan, nosti Lattimer toisen tuolin vastapäätä häntä ja
istuutui siihen.

"Te olette ennenkin tavannut Artwellin", sanoi hän. "Olen kuullut

siitä. Tehän kerrassaan sotkitte Brannonin suunnitelman siellä, eikö
niin?" Hänen silmänsä loistivat syvää leikillistä hyväksymistä
Josephinen toimiin nähden hänen vastustaessaan Brannonia.

"En tahtonut, että Brannon olisi hirttänyt viattoman miehen", selitti

Josephine.

"Artwell oli siis viaton? Te tiesitte sen siis, arvatenkin?"

"Hän — hän näytti viattomalta. Sitäpaitsi, hänhän oli niin nuori,

liian nuori kuollakseen hevosvarkauden tähden — jos hän
mahdollisesti oli tehnyt sen."

"Hm. Teräs Brannon vie kyllä tahtonsa perille lopultakin. Ei mikään

pysty pidättämään häntä, kun hän kerran tarttuu asiaan. 'Teräs' sopii
hänelle erinomaisesti. Oletteko tekin sen huomannut?"
 "Luulen, että se on vain itsepäisyyttä."

"Niin, te ajattelette niin, silloin kun te ja hän olette vastakkain

tietysti. Mutta Brannon ei ole taipumaton. Jos te olette oikeassa, niin
hän ei pane vastaan ja jos hän on väärässä, niin hän myöntää sen."

Josephinellä ei ollut mitään sanottavaa tähän väitteeseen, joten

hän vaikeni ja katseli laajalle alangolle, jossa näkyi kimmeltävä joen
pinta ja sen takana matalat vuoret aivan alangon rajoilla.

Mutta nyt hän alkoi tulla levottomaksi sen huomion johdosta, että
hänen täytyi tehdä erinäisiä selvityksiä matkastaan palattuaan
Triangle L:ään. Oli selvää, että häntä kaivattaisiin, samoin kuin
Chesterfieldiä ja sitä hevosta, jolla Artwell oli ratsastanut. Hän mietti
harmillista asemaa, johon hän oli itsensä saattanut. Joko hänen
täytyy tehdä tiliä yöllisistä toimistaan Bettylle taikka sitten valehdella,
jonka hän luonnollisesti aikoikin tehdä, estääkseen Brannonia
ratsastamasta suoraapäätä Artwellin niskaan. Ja hän punastui ja
ilmaisi levottomuutensa tarttumalla hermostuneesti tuolin molempiin
nojiin. "Kas niin", sanoi Lattimer heti, "tehän olette aivan
suunniltanne. Mutta teillä onkin ollut kova työ tänä yönä. Istukaa
paikallanne muutama minuutti, sillä aikaa kun koetan saada kokoon
jotakin syötävää."

"En — en luule, että voin syödä palastakaan", sanoi hän hymyillen

laihasti. "Sitäpaitsi ei minulla ole aikaa. Minun täytyy lähteä —
tuossa paikassa. Betty saattaa olla levoton puolestani; hän ehkä —."
Hän vaikeni ja puristi huuliaan lujasti yhteen, vaientaakseen
mielenliikutustaan, joka oli täyttää hänen silmänsä epäilyttävällä
kosteudella. Hän ei tahtonut, että Betty ajattelisi hänestä pahaa ja
hän tunsi, ettei hän voisi kestää ystävänsä vakavaa katsetta,
selittäessään yöllistä seikkailuaan.
 "Te olette huolissanne", sanoi Lattimer tyynesti. "No niin, sehän on
luonnollista. Mutta, ellette pane pahaksenne pientä valhetta, niin
voimme asian järjestää. Tuon teille vähän aamiaista ja sitten voitte
lähteä Whitmanin mökille. Kertokaa Mrs Whitmanille tarkalleen, mitä
on tapahtunut. Hän on pelastanut Artwellin useammastakin pahasta
pälkähästä ja hän tekee sen nytkin. Hän pitää Artwellista — luottaa
häneen. Kyllä hän valehtelee, pelastaakseen hänen elämänsä. Se
käy varsin yksinkertaisesti. Teidän ei tarvitse muuta kuin pyytää Mrs
Whitmania kertomaan Bettylle tai Brannonille tai kenelle hyvänsä,
että te olitte hänen luonaan koko yön.

"Mutta hevonen, jolla Artwell ratsasti"? tiedusteli Josephine. "He

kaipaavat sitä ja he ajattelevat —."

Lattimerin matala nauru keskeytti hänet.

"Ajatelkoot mitä hyvänsä, se ei merkitse paljoakaan", sanoi hän.

"Olen riisunut sekä satulan että suitset Artwellin käyttämältä
hevoselta ja ajanut sen menemään Triangle L:ään. Se saattaa
mennä sinne suoraapäätä, mutta voi myöskin päättää kuljeksia
ympäri jonkun aikaa. Sillä ei ole mitään eroa. Kun he huomaavat,
että te olette lähtenyt matkaan Chesterfieldillä, niin he arvelevat, että
te olette huolimattomasti jättänyt oven auki lähtiessänne ja siten on
toinen hevonen päässyt pujahtamaan ulos. Sellaista tapahtuu usein,
nähkääs. Minä piilotan satulan ja suitset. Jonakin päivänä löytää ne
sitten joku Trianglen mies ja ihmettelee, miksi niitä on hyleksitty. Kas
niin, rohkaiskaa mielenne. Te olette pelastanut yhden ihmisen
elämän. Te olette näyttänyt, että teillä on järkeä, älkää nyt pilatko
asiaa."

"Jos olette varma Mrs Whitmanista, niin —", alkoi Josephine. Hän
oli oikein innokas nyt ja ihaili Lattimerin kekseliäisyyttä.
 "Joutavia!" keskeytti Lattimer hänet, hymyillen varmuudessaan.

Hän meni taloon. Josephine saattoi kuulla hänen liikuskelevan

siellä.
Vähäistä myöhemmin ilmestyi hän ovelle.

"Aamiainen on valmis, Miss Hamilton", sanoi hän rauhallisesti.

Josephine nousi, epäröi, punastui ja jäi seisomaan. Hänen oli nyt

nälkä, mutta aamiaisen syönti oudon miehen kanssa talossa, jossa
paitsi heitä oli ainoastaan sairas mies, joka ei suinkaan kelvannut
holhoojaksi, oli peräti tavatonta ja aivan ristiriidassa hänen naisen
käyttäytymistä koskevan ajatustapansa kanssa.

Lattimer huomasi hänen epäröintinsä.

"Aamiainen on katettu vain yhdelle hengelle, luonnollisesti, Miss

Hamilton", sanoi hän, hieno iva äänessään. "Minä söin jo omani
vähän aikaa sitten. Ja minä aion nauttia kauniista aamusta sillä
aikaa kun te olette sisällä."

Hän astui kuistille, kumarsi syvään Josephinelle, kun tämä

punastuen ja hämillään hymyillen meni hänen ohitseen ja istuutui
kuistin nurkalle polttamaan suurta piippua ja odottamaan
Josephineä.

Kun tämä vihdoin tuli ulos, kopautti Lattimer porot piipustaan,

nousi seisomaan ja hymyili Josephinelle.

"Tuntuuko paremmalle?"

"Paljon paremmalle."
 Vaihtamistaan silmäyksistä saattoi kumpainenkin lukea toistensa
ajatukset. Josephine näki selvästi, että Lattimeria oli huvittanut
hänen hämminkinsä. Hän luki selvästi hänen ilmeestään: "Kas niin,
sinulla ei ollut mitään syytä peljätä minua loppujen lopuksi, vai mitä?"

"Te ette ole syönytkään aamiaista", sanoi Josephine.

"Kuinka sen tiedätte?"

"Olisihan siellä näkynyt merkkejä siitä — astioita ja pannuja.

Sitäpaitsi kuulin teidän tekevän tulen uuniin. Olin itsekäs", myönteli
hän punastuen, "mutta tehän ymmärrätte —"

"Minä ymmärrän monta asiaa, Miss Hamilton, muun muassa sen,

että huhut huonosta maineestani ovat tulleet teidänkin korviinne.
Betty Lawson on puhunut minusta. Hän sanoi varmaankin: 'Satan
Lattimeriin ei voi luottaa', eikö niin?"

"Ei ensinkään." Josephinen katse oli vakava. "Luuletteko, että

olisin lähtenyt tänne, jos olisin kuullut sellaista. En olisi tehnyt sitä
edes pelastaakseni Artwellin hengen! Betty sanoi, että te olette
todellinen mies. Ja te olette todistanut hänen sanansa tosiksi tänä
aamuna ja minä kiitän teitä siitä."

Josephine näki hänen silmissään oudon tulen. Lattimer vetäisi

syvään henkeä. Sitten tuli hävisi ja sijaan tuli pilkallinen epäusko,
joka sekin pian vaihtui iloisuudeksi. Hän nauroi matalaa, väräjävää
naurua.

"Betty on kerrassaan ihme", sanoi hän, tullen taas vakavaksi.

"Luulenpa, ettei Betty näihin aikoihin tunne itseään liian iloiseksi",

jatkoi hän.
 "Mitä tarkoitatte?" kysyi Josephine ja väri vaihtui hänen
kasvoillaan. Hän oli huolestuneen näköinen. "Oh, te tarkoitatte
varmaankin sitä, kun hän on huomaava minun poissaoloni."

"Tarkoitan Callahanin murhaa. Se ei liene yleisemmin tunnettua,

mutta
Betty pitää paljon Brannonista ja Brannonilla ei ole älyä huomata
sitä."

"Oh!" huudahti Josephine, hämmästyneenä, "miten te olette

saanut siitä kuulla?"

"Cole Meeder ratsasti tästä ohi toissapäivänä. Meeder ei ole

tyytyväinen Brannonin kertomukseen, — eikä teidänkään. Nähkääs,
kertomukset eivät käy yhteen. Te kerroitte Meederille, että Callahan
oli hätyyttänyt teitä kuistilla. Brannon taas sanoo, että hän näki
Callahanin kuljeskelevan talon ympäri ja että hän ampui hänet
luullen häntä Denveriksi. Tuntien Callahanin ja Brannonin huonot
välit, epäilee Meeder, että jompikumpi teistä valehtelee."

Josephine ei voinut kestää Lattimerin lujaa katsetta. Hän painoi

silmänsä alas ja paljonpuhuva puna levisi hänen kasvoilleen. Kun
hän vihdoin uhmaten nosti päätään, oli Lattimerin suu
ymmärtävässä, huvitetussa hymyssä.

Josephine läähätti. Lattimer nauroi hiljaa.

"Te tekasitte pienen jutun, Miss Hamilton", sanoi hän. "En ole
mikään ajatusten lukija, mutta te annoitte äsken itsenne ilmi.
Nähkääs, minä tunsin Callahanin ja Callahan ei koskaan olisi tehnyt
sitä, mistä te häntä syytitte. Luonnollisesti teidän täytyi esittää jotakin
raskauttavaa kun kerran tahdoitte pelastaa Brannonin. En vain
ymmärrä miksi te tahdoitte pelastaa Brannonin Callahanin maineen
kustannuksella. Jos kerran Brannon on tehnyt murhan, niin on
hänessä kyllin miestä kantamaan sen seuraukset ilman mitään
sellaisia juttuja, joita te esititte uskottaviksi."

"Hänhän otti syyn päälleen!" sanoi Josephine. "Pari minuuttia

sittehän te sanoitte niin itse."

"Niin", sanoi Lattimer, silmät säteillen ihastusta, "teiltä ei puutu

rohkeutta puolustaessanne ystäviänne."

"Brannon ei ole ystäväni!" selitti Josephine. "Minä — minä vain

sanoin, että —"

Hän vaikeni, pelästyneenä, huomatessaan olleensa vähällä

paljastaa itsensä ja ymmärtäen sanoneensa jo liiaksikin paljon
muuttaakseen Lattimerin epäluulon varmuudeksi. Hän tuli
vakuutetuksi siitä nähdessään Lattimerin katseen.

"Miss Hamilton", sanoi hän vakavana. "Teidän salaisuutenne ei

mene minua kauemmaksi. Meillä on kummallakin salaisuutemme,
sillä jos tiedettäisiin, että suojelen Artwelliä ja jos Triangle L:n miehet
ja Brannon tietäisivät, että satula ja suitset, jotka vastikään otin
Triangle L:n hevoselta, ovat hallussani, niin tämä seutu tulisi minulle
sangen vaaralliseksi. Näyttää siltä, kuin meidän kummankin täytyisi
olla hyvin varovaisia puheissamme." Hän nauroi. "Ellemme ole
varovaisia, voi käydä niin että me, pelastaessamme
lähimmäisemme, joudumme itse ikävyyksiin."

Josephine katsoi häneen pelokkain silmin.

 "Tarkoitatteko, että jos selviäisi, että te olette ottanut Artwellin
taloonne sen jälkeen kuin minä toin hänet tänne, niin Brannonilla
olisi oikeus syyttää teitä kanssarikollisuudesta?"

"Jos pidän Artwelliä luonani — kuten aion tehdä, kunnes hän

paranee niin terveeksi, että voi lähteä, niin täytyy minun vastata
myöntävästi. Niin, Brannon voisi syyttää minua siitä ja nykyisissä
olosuhteissa kannattaisi häntä luultavasti koko tämä seutu."

"Mi — missä olosuhteissa?"

"Te ette, näen mä, ole kuullut siitä. No niin, toistaiseksi ei ole vielä
mitään todistettua. Mutta ympäristön karjamiehillä on varsin hyvin
perusteltu epäluulo, että näillä seuduilla toimii hyvin järjestetty
hevosvarasjoukkue. Sangen monta miestä epäillään, ehkäpä
minuakin. Les Artwell on toinen, vaikka luulen, että hän on yhtä
syytön kuin minäkin."

"Mutta jos Artwell onkin syyllinen, ja minä olen häntä auttanut!"

Hän jäi kauhistuneena seisomaan. Hänen mieleensä ei ollut

juolahtanutkaan, että Artwell mahdollisesti oli syyllinen. Hän oli niin
nuori ja hänen synkät silmänsä näyttivät puhuvan selvää kieltä siitä,
että hän oli vainonalainen, joten hän ei voinut ajatellakaan häntä
syylliseksi.

"Artwell ei ole syyllinen", kuului Lattimerin vakuuttava ääni. "Älkää

säikähtykö, älkääkä antako kenenkään viekoitella itseänne
puhumaan Brannonista sillä tavalla, kuin äsken puhuitte minun
kanssani."
 Josephine tunsi hänen toisen kätensä olkapäällään, kun hän
työnsi hänet hiljaa portailta maahan. Hän katsahti Lattimeriin
ihmetellen hänen vaivatonta tuttavallisuuttaan koskiessaan häneen
ja hämmästyneenä siitä, ettei hän tuntenut mitään suuttumusta teon
johdosta. Oliko siihen syynä se, että molempienkin syyllisyys oli
luonut jonkinlaisen siteen heidän välilleen, vai oliko hän jonkinlaisen
ovelasti hiipivän valtiuden lumoissa, saman jota hän oli tuntenut ensi
silmäyksellä Lattimerissa, oliko se tuota naisten voittajan valtiutta,
joka on niin varma voitostaan.

Hän ei ollut oikein varma siitä. Hän tiesi pitävänsä Lattimerista ja

hänen kosketuksensa värisytti häntä — selvemmin vielä kuin
Brannonin kosketus suuressa seurusteluhuoneessa. Ja kun hän
sitten ratsasti Whitmanin mökkiä kohti, Lattimerin tuotua hänen
hevosensa ja näytettyään hänelle tietä, tunnusti hän sydämessään,
vaikkakin hän punastuikin siitä, että hän oikein iloitsi Lattimerin
hallitsevasta vaikutuksesta häneen.

Lattimer seurasi häntä katseillaan, kunnes hän häipyi näkyvistä.

Sitten, katse kylmeten jäätäväksi, meni hän keittiön läpi ja astui
toiseen huoneeseen, jossa Les Artwell makasi vuoteella. Vuoteen
reunalla istui Denver.

Hän oli sitonut Artwellin haavan, joka paistoi avonaisen paidan alta
rinnassa. Artwell oli taas tajuissaan, vaikkakin hänen silmänsä olivat
kuumeesta kiiltävät ja kasvonsa punakat.

Denver katsahti ylös Lattimerin astuessa huoneeseen, mutta tämä

ei ollut huomaavinaankaan häntä. Hän meni suoraan vuoteen luo ja
kumartui Artwellin puoleen.

"Artwell", sanoi hän kylmästi, "miksi tapoit Tim Callahanin?"

 Haavoittuneen puna lisääntyi, hänen silmänsä pälyivät ja niissä
loisti kuolettava pelko.

"Se kirottu hullu joutui aivan tielleni", tokaisi hän viimein.

"Olin tulossa tänne ja koetin pysyä näkymättömänä, kun Callahan

tulla tupsahti eräästä metsiköstä puolen mailin päässä Triangle L:stä.
Hevoseni oli pudottanut minut selästään ja oli mennä menojaan.

"Olin juuri ottamassa sitä kiinni jälleen, kun Callahan ilmestyi

metsiköstä ja tuli minua kohti. Hän oli varmaankin tuntenut minut
kuunvalossa, sillä oli sangen valoisaa.

"Piilouduin matalaan rotkoon ja luulen, että hän kadotti minut

näkyvistään, sillä kun nousin pois rotkostani, näin Callahanin
taluttavan hevostaan takaisin Triangle L:ään päin ja hevonen ontui
pahasti. Menetin mielenmalttini ja seurasin Callahania. Pääsin
ampumamatkalle juuri kun hän tuli karjatalon rappusille. Otaksuin
hänen menneen pyytämään toista hevosta.

"Annoin hänelle lähtöpassin. Sitten, tuntien itseni sangen heikoksi

ja kun tiesin, että talossa ja esimiehen asunnossa oli ihmisiä, kiersin
talon taitse ja pääsin talliin, luullen voivani satuloida jonkin hevosen
ja pääseväni sitten pujahtamaan tieheni. Varmaankin olin kierähtänyt
hevosen yli yrittäessäni satulaan, sillä seuraava, minkä tajusin, oli
—"

"Lopun tunnen jo", kuiskasi Lattimer. "Sinä uskalsit liian paljon,

menettäessäsi siinä määrin mielenmalttisi. Tietänetkö, että Brannon
oli asunnossaan silloin, kun ammuit Callahanin?"
 Lattimerin silmistä suli jää. Ne pienenivät ja niistä loisti pilkallinen
iloisuus.

"Sinulla oli onni myötäsi", nauroi hän leveästi.

"Teit hyvää jälkeä joka tapauksessa, Les. Lähettämällä Callahanin

taivaaseen kostit vanhat vihat ja me pääsimme miehestä, joka rupesi
jo epäilemään meitä sangen vahvasti. Ja sinä olet saanut Meederin
ja kaikki muut luulemaan, että Brannon on poistanut Callahanin
elävien kirjoista, joka seikka, ottaen huomioon heidän huonot
välinsä, antaa varmasti sekä Starin, että Triangle L:n miehille yllin
kyllin työtä pitäessään toisiaan silmällä.

"Mutta Brannon on minulle arvoitus. Sinä tapoit Callahanin, mutta

mitä
luulet Brannonin tarkoittaneen, kun hän ratsasti Stariin ja kertoi
Meederille ampuneensa Callahanin? Meidän täytyy olla varovaisia.
Brannonilla on jokin juoni mielessään."

Denver naurahti katkerasti. "Se on vain hame", sanoi hän

myrkyllisestä

"Betty Lawsonko?" Lattimer oli kääntynyt ympäri Denweriin päin.

Hän katsoi Denveriin tutkivin, kylmin silmin.

"Ha, ha, ha", nauroi Denver. "Brannonilla ei ole kylliksi järkeä

nähdäkseen, että Betty on häneen korvia myöten rakastunut.
Brannon on sokaissut silmänsä siinä naikkosessa, joka äsken juuri
lähti täältä."

"Mistä sen tiedät, Denver?" kysyi Lattimer matalalla äänellä. Mutta

se oli täynnä intohimoa.
 "Kuinkako tiedän?" Denver nousi vuoteen reunalta ja katseli
veitikkamaisesti Lattimerin silmiin.

Välittämättä hituistakaan kertomuksensa siveellisestä

kehnoudesta ja ilmeisesti vähääkään häpeämättä omaa
konnamaista osuuttaan asiassa, kertoi hän perinpohjin miten hän oli
ahdistellut Josephineä ja joutunut sen johdosta otteluun Brannonin
kanssa. Hän kertoi myös kuinka hän oli seisonut ulkopuolella
akkunan kun Brannon oli silitellyt Josephinen päätä ja kuinka hän oli
nähnyt Brannonin luovuttavan aseensa tytölle.

"Arvaan, että kun mies tekee tuollaisia tekoja, niin on tyttö silloin
saanut hänen päänsä täysin pyörälle", lisäsi hän lopuksi.

Lattimer ei ollut muuttanut asentoaan kertomuksen aikana eikä

hänen kasvonsa olleet värähtäneetkään. Mutta kun Denver oli
lopettanut, astui Lattimer aivan hänen eteensä ja katsoi häntä
silmiin.

Denver oli varmaankin oikein tulkinnut hänen kasvonilmeensä,

sillä hänen kalpeutensa muuttui aivan aavemaiseksi ja hän mutisi
sekavasti ja nopeasti. "Aioin ainoastaan suudella häntä, niin totta
kuin Jumala minua auttakoon!"

"Sekin oli liikaa" sanoi Lattimer. Hänen äänensä oli kuiva ja selvä,
mutta hillitty ja siinä oli niin selvä uhka, että Artwellinkin kasvot
kalpenivat. Denverin saattoi Lattimerin uhkaava käytös aivan
hervottomaksi ja hän seisoi liikkumattomana, pelokkaana ja huulet
lerpallaan.

"Liian paljon, Denver", toisti Lattimer, samassa äänilajissa. "Älä

koske häneen, äläkä edes katso häneen kun minä olen lähellä. Hän
on minun!"

Kahdeksastoista luku.

Päivän sarastaessa nousi ohut savupatsas kiemurrellen Triangle

L:n esimiehen asunnon piipusta, yhtyen sitten paksuun
sumuverhoon, joka viisitoista mailia etelämpänä oli herättänyt
Josephinenkin huomiota.

Pian sen jälkeen ilmestyi Brannon asunnostaan, meni

tuulipumpulle vettä noutamaan ja palasi sitten takaisin. Puoli tuntia
myöhemmin oli hän hevosaitauksessa ottamassa kiinni hevostaan,
suurta mustaa.

Hän oli satuloinut sen, heittänyt toisen ohjaksen sen pään yli ja oli
juuri sulkemassa aitauksen porttia, kun hän katsahti talliin päin.
Kiirehtimättä sulki hän portin, hyväili kädellään mustaa hevostaan ja
meni tallia kohti.

Hänen mennessään asuntolan ohi huusi Lin Murray hänelle

kuuluvasti:
"Tulen mukaan heti kun olen saanut vähän ruokaa."

"Syö vain tarpeeksi, Lin", vastasi Brannon.

Hän kulki edelleen, ja taas kuului Murrayn ääni.

"Chong tuli kotiin puolen yön aikaan. Hänen hevosensa on

aitauksessa.
Sanoi Mrs Whitmanin olevan paremman."
 Brannonin silmät elostuivat. Ollessaan äsken aitauksen portilla ja
katsoessaan tallille päin oli hän nähnyt satuloidun ja suitsissa olevan
hevosen, joka seisoi erään romutavaroitten säilytyspaikkana
käytetyn vajan suojassa. Hänen ensimmäinen ajatuksensa oli ollut,
että Chong oli jättänyt hevosensa riisumatta koko yöksi, siten tehden
itsensä syypääksi moitittavaan laiminlyöntiin. Brannon oli myös
kuullut Chongin kotiintulon ja kuullut hänen hiljaa mutisevan
käsittämätöntä mongerrustaan.

Mutta Murrayn tiedonanto, että Chong oli vienyt hevosensa

aitaukseen, ilmaisi, että se hevonen, joka seisoi vajan suojassa ei
ollut hänen käyttämänsä ja Brannonin mielenkiinto muuttui nyt
arvostelevasta epäluuloiseksi.

Seisten aivan hevosen vieressä tutki Brannon sitä tarkkaan ja

hänen silmänsä oikein leimahtivat, kun hän huomasi, että sen
lautasella oli merkki L. Se oli Lattimerin merkki, Lazy L.

Brannon puhutteli ystävällisesti eläintä ja kiersi sen ympäri. Satula

oli paksun tomun peitossa. Korkea satulan nuppi oli kolhiintunut ja
näytti siltä kuin sitä olisi painettu syvään maan sisään, sillä siihen oli
jäänyt kiinni kuivunutta savimaata. Satulan takareuna oli myös
ruhjoutunut, aivan kuin jokin raskas esine olisi siihen pudonnut.
Ohjakset olivat poikki ja mahavyön solki oli irtautunut.

"Se on piehtaroinut", ajatteli Brannon mielessään. "Kuljeksinut

maita ilman ratsastajaa ainakin koko viime yön — ehkä
kauemminkin, päätteli hän tutkittuaan tomua ja kolhiintuneita satulan
osia."

Brannon irroitti satulapussin, asetti sen maahan ja aukaisi sen.

Sieltä tuli esiin monenlaista tavaraa, tinakulho, peilin palanen,
partasuti, saippuapala, pieni kahvipannu, tomaattiastia — ihana
janon sammuttaja — kankaalla päällystetty vesipullo ja paljon muita
esineitä, sekä ruokatavaraa ja tulitikkuja.

Brannonin mieltä kiinnitti eniten partasuti. Se oli helppohintainen ja

puuvartinen, johon oli, ilmeisesti veitsellä, piirretty alkukirjaimet "L.
A."

Brannon ei löytänyt mitään merkkejä muissa esineissä, mutta

ilmeisesti tyytyväisenä pani hän tavarat takaisin pussiin, sulki sen
suun ja kiinnitti sen paikoilleen satulan taakse.

Sitten hän silmät kiiluen katsoi tutkivasti päärakennukseen päin,

nähdäkseen, että akkunat vielä olivat peitetyt ja ettei savua noussut
keittiön piipusta. Chong oli tavallisesti jalkeilla jo tähän aikaan, mutta
näytti siltä kuin olisi yöllinen ratsastus häntä hieman väsyttänyt.
Bettyn tiesi hän nousevan vasta auringonkin noustessa.

Taluttaen vieraan hevosen tallin taakse, jossa häntä ei voinut

talosta nähdä, sitoi Brannon katkenneet ohjat yhteen. Sitten hän
hyppäsi satulaan ja ratsasti hitaasti jokea kohti pysytellen yhä tallin
suojassa. Joki oli metsän reunustama aina aitauksen lähelle saakka.
Sitten tuli aukko, jonka yli hänen täytyi uskaltaa, senkin uhalla että
hänet talosta nähtäisiin. Mutta sen jälkeen tuli metsä ja pensaikko
taas hänen avukseen.

Hän ratsasti puoli mailia jokea alaspäin, laskeutui satulasta ja sitoi

hevosen puuhun köydellä, joka oli vyyhdessä satulan nupissa, jätti
eläimen sinne ja palasi tallille.

Karjatalolla vallitsi vielä hiljaisuus. Murraytakaan ei vielä näkynyt,

joten Brannonia ei kukaan ollut nähnyt.
 Hän huomasi, että tallin ovi oli auki. Hän meni sisään, vilkaisi
nopeasti pilttuihin ja naulakoihin, joilla tusinan verran satuloita riippui.
Hänen tarkastelunsa lopputulos oli, että kaksi satulaa ja hevosta
puuttui.

"Billy ja Chesterfield", huomautti hän ääneen. Hänen silmiinsä

ilmaantui kyynillinen iloisuus, johon sekaantui tuota tyyntä kylmyyttä,
josta hän oli "Teräs" nimensäkin saanut.

"Hän on varmaankin taas hulluttelemassa!" mietti hän niitten

todistusten johdosta, jotka hän oli keksinyt ja jotka selvästi viittasivat
siihen, että Josephine taas oli sekaantunut asioihin, jotka eivät
hänelle kuuluneet. Brannon oli vakuutettu siitä, ettei kukaan muu
kuin Josephine ratsastaisi Chesterfieldillä. Betty ei missään
tapauksessa olisi ottanut niin vanhaa ja vakavaa hevosta. Ja jos Les
Artwellin toverina olisi ollut mies, niin olisi hän ottanut minkä muun
hevosen hyvänsä mieluummin kuin Chesterfieldin.

Mutta Brannon tahtoi päästä varmuuteen asiastaan. Ja ennenkuin

hän lähti karjatalolta etelään Murrayn kanssa, aikoi hän keksiä
jonkun syyn, jonka varjolla hän saisi herätetyksi päärakennuksen
asukkaat — joko Bettyn tai Chongin — päästäkseen selvyyteen siitä,
oliko Josephine lähtenyt jonnekin.

Hän meni tallin ovelle ja katseli päärakennukselle päin. Hänen

katseensa solui alaspäin, huomatessaan, ettei siellä näkynyt mitään
liikettä. Silmänräpäyksessä oli hän polvillaan ja tutki tarkoin punaisia
tahroja muutamissa tallatuissa oljenkorsissa oven suussa.

Hän nousi heti pystyyn ja huomasi noustessaan oven pielessä

samanlaisia punaisia tahroja, mutta nämä olivat kieltämättä naisen
sormien jättämät!
 Brannon meni takaisin talliin. Kun hän taas palasi, oli hän
vakuutettu asiastaan, sillä eräässä pilttuussa oli oljilla selvät miehen
makuujäljet ja siinä vielä lisää punaisia täpliä, jotka osoittivat, että
haavoittunut oli oleillut tallissa pitemmän ajan.

Brannon sulki tallin oven ja meni ruokailu-rakennukseen, jossa

hän tapasi Murrayn juuri lopettamassa aamiaistaan.

"Siihen meni pitempi aika, kuin olin luullutkaan", murisi Murray

nähdessään Brannonin. "Eikö se ole merkillistä, aina. Jos sinulla
vain sattuu olemaan kiire, etkä tahdo, että muut joutuvat
odottamaan, niin joku kirottu asia on hullusti. Tuossa on tuo kurja
uuni esimerkiksi. Panin siihen valkean ja se sammui. Se on kurjempi
kuin —."

"Brannon", kuului Bettyn ääni ovelta, "tahdotko tulla tänne pariksi

minuutiksi?"

Brannon kääntyi äkkiä. Bettyn kasvot olivat kalpeat ja hänen

huulensa olivat aivan valkoiset. Teennäinen äänen rauhallisuus oli
ilmeisessä ristiriidassa silmissä kiiluvan kiihtymyksen kanssa.

Betty ei puhunut ennenkuin Brannon oli tullut hänen kanssaan

puolitiehen päärakennusta, ja ennenkuin hän puhuikaan tiesi
Brannon mitä hän sanoisi.

"Brannon", sanoi hän, "jotakin on tapahtunut Josephinelle! Hänen

vuoteensa on koskematon ja Chesterfield on poissa! Mitä sinä luulet
tapahtuneen? Jos hänelle on tapahtunut jokin onnettomuus, niin en
koskaan voi antaa sitä anteeksi itselleni!"
 "Luulen, ettei tässä paljoakaan ole tapahtunut", lohdutteli Brannon.
"Arvatenkin on hän lähtenyt ratsastamaan. Eilen oli hän levoton Mrs
Whitmanin vuoksi. On hyvinkin luultavaa, että hän on ratsastanut
sinne.
Lähetän Murrayn miesten luo ja poikkean itse Whitmaneille."

"Minä lähden kanssasi, Brannon! Ethän luule, että — —"

"Denver olisi tullut takaisin — ja tavannut hänet matkalla — jos

hän meni Whitmanille", valitti hän epätietoisena. Ja kun Brannon
vain pudisteli päätään hänen mainitessaan Denverin nimeä,
huudahti hän: "Eikö sinulla ole hermoja ensinkään, Brannon. Sinä et
näy käsittävän että Jo on minun vieraani ja että minä olen vastuussa
hänestä."

"Varmastikin", myönsi Brannon nopeasti. "Mutta meidän ei tarvitse

molempien lähteä Whitmaneille." Hän oli varma siitä, että Betty
tapaisi Josephinen Mrs Whitmanin luona ja hän ajatteli Lazy L:n
hevosta, joka seisoi puuhun kytkettynä alempana joen rannalla.

Hän meni noutamaan Bettyn hevosen ja satuloi sen sillä aikaa kun
Betty vaihtoi pukua päärakennuksessa.

"Älä ole huolissasi", neuvoi hän Bettyä, auttaessaan häntä

satulaan. "Saat nähdä, ettei mitään ole tapahtunut. Toivottavasti
sinulla ei ole niin kiirettä, että ratsastat suoraa päätä upottavaan
hiekkaan kahlaamossa." Hän seurasi Bettyn kulkua alas pieneen
syvänteeseen ja sieltä ylös taas ja sitten kuivaa aroa pitkän matkaa.

Myöhemmin seisoi hän karja-aitauksen portilla Murrayn kanssa,

joka istui satulassa ja odotti häntä.
 "Lin" sanoi Brannon, "olen muuttanut mieltäni etelään menon
suhteen.
Voit odottaa minua sinne huomenna."

"Aivan niin", vastasi Murray. Hän ei pukenut sanoiksi pientä

hämmästystään muutoksen vuoksi, jonka Brannon oli
suunnitelmaansa tehnyt.

"No niin, näkemiin sitten", sanoi hän. Hän ratsasti pari kymmentä
askelta, pysäytti hevosensa ja huusi olkansa yli puoleksi leikillään:

"Minä en sinun sijassasi olisi niin paljon yksin nykyään, Teräs."

"Sehän on vaan tyttö", hymyili Brannon. "Ei nyt ole kysymys Starin
miehistä."

Murray oli ilmeisesti utelias, mutta hän puristi huulensa pettyneenä

kiinni ja hoputti hevostaan etelään päin.

Brannon ei liikahtanut ennen kuin Murray oli vain pienenä pisteenä

taivaanrannalla. Sitten hän hyppäsi satulaan ja ratsasti alas joen
rantaa, mihin hän oli jättänyt Lazy L:n hevosen. Muutaman minuutin
kuluttua ratsasti hänkin, kuljettaen perässään toista hevosta,
epäselvää polkua lounaaseen. Murray oli ratsastanut suoraan
etelään.

Ratsastettuaan useita maileja, huomasi Brannon liikkuvan pisteen

eräällä matalalla mäenharjanteella. Hän poikkesi äkkiä polulta ja
laskeutui kuivaan joen uomaan, jota hän seurasi puolisen mailia
eräälle ruohoiselle kentälle, joka yhtyi siihen rinteeseen, jonka
huipulla hän oli nähnyt tuon liikkuvan esineen.