(その1・その2を読んでいない方は、先にその1その2をお読みくださいませ)

次はカメラの動画に関する検証になります。再びソニーの公式サイトによると

マシュー:ボールトラッキングは2次元画像処理(ボールの中心を見つける)と3次元三角測量(時間の経過に伴うボールの軌道のモデリング)といった大きく2つの要素技術で構成されています。これを8~12台のカメラで、1秒あたり最大340フレームのフレームレート(静止画像数)で実行し、そのデータは判定支援、分析、放送コンテンツ強化などのリアルタイムサービスを提供する中央制御システムに送られます。

とあります。この「1秒あたり最大340フレームのフレームレート(静止画像数)」というのがセンサーのデータ取得ではサンプリングレートと呼ばれるものになります。サンプリングというのは「サンプルを取る」という意味で、つまりデータ1点を取るということですね。


ちなみに皆さんが普段見ている
テレビの映像は30fps(frame per second)です。
実際の機器としてのテレビは動画がぼけないよう
120fpsで表示しているものもあります。
動画ではfpsを使うのが一般的です。



以後、サンプリングレートを1秒間の回数ということでHz(ヘルツ)で表現しますが、この340Hzというのはいわゆる高速カメラと呼ばれるものです。


このサンプリングレートが、三笘の1mmにとってなぜ重要なのでしょうか?








再び、三笘の1mmの画像をご覧ください。


skysports-kaoru-mitoma-japan_5984063




さて、この画像を見ると確かにボールは出ていませんが、


どうしてこれが蹴った瞬間で、
これよりも外にボールが移動していない
とわかるのでしょうか???




シンプルに考えれば、この画像の前後のフレームの画像を見て、これが一番外にあればこれが一番外だからこれ以上出ていないと言えそうな気もします。しかし、ここにサンプリングレートが登場します。



サンプリングレート340Hzということは、1フレームが1/340秒≒3/1000秒つまり3ミリ秒です。ということは前後1フレームはこの画像の3ミリ秒前後であり、例えば1ミリ秒前後の画像はないことになります。つまり、動画のフレーム画像をいくら出しても1ミリ秒前後に出ていなかったことは証明できないことになるわけです。


ちなみに、人がボールに追いつくので人が速く走っている時速30km=秒速8.33mで検証しましょう。3ミリ秒で

8.33m/sec * 1000mm/m * 0.003sec/frame = 25mm/frame


つまり、1フレームで25mmボールが動くことになります・・・



1mmの精度、ないじゃん!



ってなりますよね・・・でもたぶん大丈夫です。




まず、真のボールの動きに対して高速カメラがどうサンプリングするかについて図解してみましょう。

みんながふわっと感じている三笘の1mmはこんな感じですよね。ちょうど上記画像は一番上の赤丸=一番外の位置で、前後のフレーム画像は他の赤丸です。


三苫の1mmジャスト


ですが、カメラが必ずしもぴったりと蹴った瞬間を撮影しているとは限りません。例えば下図のような具合にずれることも十分あり得ます。


三苫の1mm疑惑

画像は絶対に蹴った瞬間だとは言えないので、三笘の1mmの画像よりもさらに外側が本当の最外位置かもしれません。1フレームで25mmほど動くので証拠画像とされるゴールライン1mmならほんの少しで出てしまいます・・・が!!!


動画情報ということは、それぞれのボールの軌跡=点は物理法則に従って動いています。つまり、分かりやすく言えば点はきれいに並んでいます。

この点は下図のように、蹴る前と蹴った後とで異なる初速度による軌跡ですので、下図のようになることがわかります。


三苫の1mmの軌跡による計算



ということは、蹴る前の赤の点1~4(実際にはもっとたくさん)を外挿した線と、蹴った後の青の点1~2(こちらもたくさん)を外挿した線との交点が蹴った位置であることがわかります。


これを物理法則による運動方程式で計算すればいいですし、恐らくこの軌跡はかなりきれいに並んでいると思われるので、そこまで複雑な物理法則の数式を適用しなくても単純な多項式でもそんなに大きくずれないと思われます。



ちょっと気になるのは交点の画像です。
テニスのホーク・アイではフルCGで表示しているので
撮影画像に依存せず自由に画像を生成できますが、
三笘の1mmは選手やボールはCGではなく
一見リアルのようです。
もし、この画像がフレーム間のものを
CG合成しているとするなら、
「Kinexon社のAI技術」と言われるものの中には
この中間画像生成があるのかもしれません。



テニスにおけるホーク・アイは恐らくバウンド前後でこれと同じようなことをやっていると思いますが、それで例えば100~150km/hの速度が出ているテニスボールで2mmの精度が出ているということは、せいぜい30km/hのサッカーボールなら単純に3~5倍の精度つまり0.4~0.66mm程度の精度は出るだろうと思います。


フレームで25mmずれる可能性があるとは言え、その前後の点がきれいに計測できていれば上の簡単な図を見ても25mmの幅よりもかなり高精度に交点が見つけられることは直感的にわかると思います。しかも、この計算を複数のカメラでやっているので、1mm以下の精度というのは割と妥当な値だと感じますね。







ところで、日刊スポーツのKinexon日本公式パートナーであるスポヲタ株式会社への取材記事を読んでみると、

ビタラフ氏 2つの技術が使われています。1つがキネクソンが開発したチップを使ったトラッキングシステムです。公式球の中に埋め込まれており、正確にボールの位置を測定できます。もう1つは他社製の「ホークアイ」と呼ばれる技術で、テニスなどでも使用されています。会場に設置されたカメラによって、映像で判断するシステムですね。

と答えています。ホーク・アイの2mm精度を1mm以下に向上させたことにKinexonのボールセンサーが貢献しているとも読めます。それが果たしてどういうことなのか、次はそこを検証したいと思います。






慣性センサーは普段から使ってるからなぁ・・・言い過ぎちゃいそうだなぁ・・・