“優れたモデルは、性能も優れている”の深意：ETロボコン2006へと続く道（2）（2/2 ページ）

[渡辺 博之 オージス総研，＠IT MONOist]

ETロボコンにおけるモデルの審査内容

　2005年のETロボコンでは、表1のような内容でモデルを審査していました。昨年度の大会では、「モデル外観」については各チームともほとんど差がなく、「モデル内容」の差が、最終的なモデルの評価につながりました。従って、ここでは「モデル内容」に絞って、審査内容を考察していきたいと思います。

　まず「モデルの妥当性」では、オブジェクト指向の観点から見たときの各モデル要素の妥当性を審査しますが、これはまさに前ページで言及した「論理的性能」に対してモデルを評価していることになります。

　また、「論理的な正しさ」では、要求モデルで書かれた内容が実現できるかどうかを判断しますが、こちらも、「モデルの妥当性」と同様に前ページで言及した「論理的性能」に対する評価となります。

　唯一「アルゴリズムの正しさ」に関してだけが「実性能」の評価となります。

　以上のことから分かるように、前回までのETロボコンにおけるモデルの審査内容は、どちらかといえば「実性能」よりも「論理的性能」に重点を置いた評価になっていたといえます。たとえ「論理的性能」が高くても、そこで使用される「要素技術」が劣っていては、競技部門で競われる「性能」には直接結び付きません。冒頭で挙げた「『モデル』すなわち『設計図』が優れていれば、実際のソフトウェア自体も優れているはずである」という仮説が成り立たなかった理由は、まさにこの部分にあると考えられます。

表1　ETロボコン2005 モデル審査内容

　さらに、図1から判断できる3つの傾向に関しても、以下のような仮説が考えられます。

・モデル審査で低評価だったチームは競技部門でも低順位（性能が良くない）

これらのチームは基本的にモデルの記述量が極端に少なく、実装中心のボトムアップの開発スタイルでシステムを作り上げたと推定されます。

近年のETロボコンは、第1回目から比べるとコースの複雑度がかなり増しており、コース構成やロボットの状態管理などをきちんと分析しモデル化しないと思ったように性能が上がらない、という見方もできます。もっとも、モデルを書く時間がないほど開発時間に追われていて、実装でも十分な時間が取れず中途半端に終わってしまった、という方が正しいかもしれません。

・モデル審査で高評価だったチームは、競技部門で低順位（性能が良くない）

高評価のチームは、モデルの記述量・精度がともに高く、特にオブジェクト指向の観点から評価する「モデルの妥当性」が優れていました。

それでも性能が伴わなかったのは、モデルにおいて「論理的性能」を重視するあまり、「実性能」につながる要素技術の検討が不足していたのではないかと思われます。前述したように、はやり「論理的性能」と「実性能」のバランスが大事ということを証明しているようにも思えます。

ちなみに、第4回大会から4カ月後に開催されたチャンピオンシップ大会では、モデル審査で高評価だったチームが、競技においても比較的上位を占めました。モデルは同一だったことを考えると、この4カ月の間に要素技術の検討が進み、バランスの取れた開発が行えたから、という見方もできるかもしれません。

・競技部門で高順位（すなわち性能が良い）のものは、モデルとしてはおおむね中程度の評価を得ている

上述したように、まさしくこれらのチームは、「実性能」と「論理的性能」のバランスがうまく取れていたものと思われます。

ETロボコン2006に向けて

　まずは、現在の「論理的性能」中心のモデル評価の枠組みを、以下のように「論理的性能」と「実性能」を分けて評価できるように変更しています（赤字部分が、2006年で変更された）。

表2　ETロボコン2006 モデル審査内容（2005年との変更部分のみ）

　具体的には、従来の「論理的な正しさ」をなくし、代わりに「予測性能」を追加しました。「予測性能」では、モデルの妥当性とは別に、モデルから読み取れる予測性能に限定した審査を行います。また、これらの点は、UMLモデルからだけでは限度があるため、モデルの趣旨を説明したコンセプトシートに書かれている内容も参考にして評価します。競技結果との相関関係については、今年はこの「予測性能」で見ていきたいと考えています。

　今年のETロボコン参加者で、これからモデルを描こうとしている方は、ぜひ「予測性能」が表現できるようなモデルを目指してみてください。また、「すでにモデルは描いてしまって、現在は実装・チューニング中！」といった方も、前述したように、そこで得られたノウハウを再度モデルやコンセプトシートにフィードバックしてみてください。実践的なモデルはきっと高い評価を得られるはずです。

---

　なお、今年の大会での検証結果については、2日目の審査委員によるパネルディスカッションの場にて発表する予定です。それでは、皆さん7月1〜2日に実施されるETロボコン2006をぜひお楽しみに。（次回に続く）