人間の制御モデル

takano and Nakamura (2009), “Realtime Unsupervised Selftuning Segmentation of Behavioral Motion Pattern Based on Probabilistic Correlation and Its Application to Automatic Acquisition of Proto-Symbol”
多分一番新しい論文で、以下の高野先生の論文を包括している。
具体的には、分節化された運動パターンに対して、さらに新たなHMM(=運動パターンHMM)をあてがって、そのHMMに対してKullback Leibler情報量によって距離を定義する。
それを満たすような空間を多次元尺度法(次元はエラーの収束する範囲で妥当に小さいものを選択)によって構成し、その空間でのクラスタリングによっておこなう。

Inamura et al., “Keyframe extraction and decompression for time series data based on continuous Hidden Markov Models” 論文(日本語版あり)
HMMを用いてキーフレームを抽出する研究。なんでこれで「キーフレーム」という重要な情報が抽出可能なのかが理解できない。

稲邑 et al., “ミメシス理論に基づく見まね学習とシンボル創発の統合モデル” 論文
ミラーニューロンの工学的構成の研究。
HMMの状態遷移行列と混合ガウスのパラメータを原始シンボルと名づけて、見まねのダイナミクスの表現としている。
HMMなので、1000回ほど試行を繰り返してそれを平均することで強引に生成が可能。
Left to Rightモデルを使っているので循環的な、すなわち失敗に対して再試行をかけるような動作は不可能。また、複数回の調整を行うことも出来ない。
HMMの制限から行動要素集合(=HMMが出力可能な関節角)などが離散(今回は3次元で90個)なので、(1)次元を増やすと数が増えて大変、(2)生成のときにガタガタする
自由度3に限定してやっと1回の生成に1秒くらい。

Takano et al., “Capture Database through Symbolization, Recognition and Generation of Motion Patterns” 論文

Lee and Nakamura, “Mimesis Scheme using a Monocular Vision System on a Humanoid Robot” 論文
ミメシスモデルを用いて2次元の写真から3次元を再構成する。

Takano and Nakamura, “Segmentation of human behavior patterns based on the probabilistic correlation” 論文
動作の切れ目を、「過去の運動履歴から予測不可能である」ことで特徴づけて、局所的な運動特徴量をHMMを用いて定義して、その相関学習の予測誤差が連続して大きくなった部分を運動の切れ目と定義する。
データを細かく区切ってやって、それを複数個のHMMsで尤度を調べ、最尤HMMで学習させることで、下位のHMMを自己組織化させる。
最大から何個か反応したHMMを1、そうでないものを0とする、下位HMMの数の次元の特徴量を、時間方向に数個並べたものを相関学習で予測させる。

ロボット図鑑

おもしろそう

http://ocw.u-tokyo.ac.jp/lecture_files/gf_07/8/notes/en/08sato_eng.pdf

バイオ系
Miki and Shimoyama (1999). Study on micro-flying robots
飛行ロボット。

Kuwana et al., (1999) Synthesis of the pheromone-oriented behaviour of silkworm moths by a mobile robot with moth antennae as pheromone sensors 論文
フェロモンセンサを持つロボット。

Hirose, S. (1993). Biolofically inspired robots: Snake-like locomotors and manipulators. Oxford: Oxford University Press. 動画 記事
動画は愛知万博の時に出展された、水陸両方のヘビロボットACM-R5のもの。
広瀬教授は70年代に世界初のヘビの移動原理を利用した生物規範ロボットであるACM-III, ACM-R1などを製作。ACM-R1は坂を登ることが出来た。
広瀬先生は日常の機械のロボット化を目的とし、ヒューマノイドに懐疑的。

Kevin Y.Ma et al. (2013) Robotic insects make first controlled flight 記事 動画
ハーバード大学の昆虫を模倣したロボット。0.1mmレベルの解剖学の知見から、制御可能な羽ばたき飛行を実現した。

Triantafyllou and Triantafyllou. (1995) An efficient swimming machine
マグロロボット。

Quadcopter
Alex, Kushleyev et al. (2012). A Swarm of Nano Quadrotors. 動画
小型クワッドコプタの群制御。デモンストレーションは20台で行っている。回転が凄い。自己位置推定もとてつもない精度でできている。

Humanoid
ASIMO Wikipedia
ASIMOはソニーが1986年から秘密裏に開発されてきた二足歩行可能なヒューマノイド。2000年に公開されたとき、当時最先端とされていた早稲田大学の二足歩行ヒューマノイドの性能をはるかに凌ぐ性能をデモンストレーションし、世界のロボット研究者を驚かせたとか。
1986年Experimentalモデル、1993年Prototypeモデル、2000年ASIMOとして公開。2005年に走行(6km/h)が可能に。2011年で軽量化、走行速度向上(9km/h)。

QRIO Wikipedia 歴史 動画
ソニーが開発した小型二足歩行ロボット。2000年に公開されたSDR-3Xを改良したSDR-4XII(2003)にQRIOという愛称がつけられた。2006年に開発中止。

Cog HP
Brooks先生のプロジェクト。高次認知機能に迫るためのヒューマノイドロボット。
人間の認知機能に迫ることに対して懐疑的であった90年代初頭にBrooks先生が人間の認知に研究を移したことから始まった。むちゃくちゃメカメカしい。

HRP

Modular Robot
M-TRAN HP
産業技術総合研究所のモジュラーロボット。合体変形ロボ。
一つの関節のような構造を多数集めて、合体分離を繰り返すことによってロコモーションが可能。
CPG制御モデルとGAによる最適化を用いて、4足歩行を実機で実現している。

The Distributed Flight Array 動画
飛ぶモジュラーロボット

Robotic Origami 動画
自動折り紙

Manipulator

移動台車
Gryphon
地雷除去で人と同等以上の認識率。

触覚センサ利用

Observing hand grasp type and contact points using hand distributed accelerometers and instrumented objects
MEMsを使ってリンクに慣性センサを5個つける。クオータニオンで3D姿勢推定。比較はFeixの分類で表現されたHandle Projectのライブラリとのマンハッタン距離。

Measurement of static constraints imposed by a human hand on a grasped object
canonical graspingに対して、垂直方向、回転方向の自由度を定義して計算。
自由度は、それぞれ力をかけられる方向ベクトルn本のランク。なので垂直に3個まで、回転方向に3個まで。
Normal DOF = Trans DOF + Rotate DOF, 6 = Normal DOF + Friction DOF
でも回転って外積方向だけじゃない気がするんだが…?直感的にはあんまりFriction DOFがあるように思えない。

Graspit!

http://www.cs.columbia.edu/~cmatei/graspit/

Graspingの研究。実物も使っているから本気で読んでみたい。

http://www.cs.columbia.edu/~cmatei/graspit/pdf/GraspIt-Haptics08-online.pdf

マルチモーダルなんとか
概要: RBMの積み重ねで構成されるDBNを利用して、マルチモーダルなセンサデータを想起する。
方法: 触覚のRNM、「関節角、手の画像のCannyのRBN」のRBN、オブジェクトの画像のCannyのRBN、を統括するTopLayer RBNにより情報統合。一つのデータから他のモーダリティを想起可能。
結論: 何が主張したいのか良く分からない。
感想: 低次元化の参考にはなるか。

Hyde and Cutkosky, “A phase management framework for event-driven dextrous manipulation”, 論文 単語
器用なマニピュレーションにおいてトップレベルからボトムレベルの制御を直接行うのではなく、ミドルレベルの制御が必要だと主張する論文。
トップとボトムだけでは、静力学動力学的拘束の変化に対応することが出来ない。これに対してPhase, Event, Transitionに基づくEvent Drivenの制御を行うことで、安定かつロバストな二指の制御を実現した。
Phaseは接触状態による分類を採用しているが、詳細はあまり良く分からない
FSMによるものであり、分類も明確っぽいので、これを自動的に抽出することは可能かもしれない。

Schneider and Cannon, “Object impedance control for cooperative manipulation: theory and experimental results”, 論文
アームの制御ポイントではなく、オブジェクト自身に対するインピーダンス制御を行うことで、簡便かつ直感的な高レベル制御モジュールを構成した、という論文。
上の論文で、「FSMを用いて分岐とループを実装してロバストネスを向上させた」と書いてあったが、この論文でFSMに関する言及はなかった。悲しみ。

Tactile sensing for dexterous in-hand manipulation in robotics—A review

http://www.sciencedirect.com/science/article/pii/S0924424711001105

The multifingered NAIST hand system for robot in-hand manipulation

http://www.sciencedirect.com/science/article/pii/S0094114X09001566

Recognition of In-Hand Manipulation by Observing Contact State Transition for Robot Hand Control

http://link.springer.com/chapter/10.1007/978-3-642-14743-2_29

Haptic Feedback in Robot-Assisted Minimally Invasive Surgery

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2701448/

Control strategies for the index finger of a tendon-driven hand

http://ijr.sagepub.com/content/32/1/115.short

Studies on thinned flexible integrated capacitive pressure sensors in tactile sensor arrays for the use in robotics and prosthetics

http://ieeexplore.ieee.org/xpl/login.jsp?tp=&arnumber=6627055&url=http%3A%2F%2Fieeexplore.ieee.org%2Fxpls%2Fabs_all.jsp%3Farnumber%3D6627055

高密度触覚センサ

Feria et al., “grasp and grasp transition, spatial dist and tactile intensity” (2012)
手の触覚センサからマグカップを持って置く動作を解析。
強度が離散的(not, low, high)、手の形でプリミティブを限定、tactileが節ごとに離散。
6 axisの手の位置情報と触覚センサのを重ね合わせて物体の3Dモデルを作るなど。

触覚の生理学

Daniel Troniak, “Tactile-based Control Strategies for Robotic Object Manipulation in Unstructured Environment”
単語
サーベイ論文。面白そうなところををかいつまみまとめていく。
人間で、触覚ないと制御が非常に難しい運動が見つかっている[7], [24]。
人間はFSMの移行信号として接触を利用している[7]。FSMを構成してみたのも試みもある[3], [4]。
生理学的に接触は視覚データの処理と似ている[9], [10]。実際に、visual-servoのようにtactile-servoを構成したものもある[5]。
既存3Dモデルと接触データの統計的フィッティングによって認識する方法[14]、応用[13], [15]がある。
SOMを使った経験によるgraspingがある[20]。これは手の位置と接触の経験によって、成功データのみ覚えている。Spiking neural networkを使った謎の手法もある[22]。
成功データベースとGraspIt!を用いて、フィードバックを学習する。ちょっと何を言っているのか良く分からなかった。[23]

Johansson RS and G. Westling, “Roles of glabrous skin receptors and sensorimotor memory in automatic control of precision grip when lifting rougher or more slippery objects.” PDF 単語
Johansson先生の有名な論文。つるつるな肌がもたらす把持に対する効果にあいて。
1. 摩擦によって把持力を0.1sで変えている。(0.1sまでは同じ、0.1s以降にgrip forceが適応)
2. 滑ったときに調節を0.06-0.08sで行っている。どう考えても自動的っぽい。
正中神経障害を持つ患者は、触覚がないため何も持てないと愚痴を漏らす。
求心性信号を麻酔によって阻害した場合、(1)の摩擦に対する適応は損なわれる。

R. S. Johansson (2009) Sensorimotor Control of Manipulation

http://psyc.queensu.ca/~flanagan/papers/JohFla_BC_EncNsc_09.pdf

Influences of cutaneous sensory input on the motor coordination during precision manipulation.
4-a 手を途中で洗いつつ、ものを持つ。手を洗ってすぐは油がついていないので滑りやすく、そのためにgrip forceも上がっている。すごい。
(Afferent signals during manipulative tasks in man, PDF)
4-bc いろんな材質を持ち上げる。麻酔の有り無しによって変化。(原文には頭頂葉に障害、正中神経に障害の人のデータもある。)
(Signals in tactile afferents from the fingers eliciting adaptive motor responses during precision grip. リンク)
4-d 摩擦の有り無しはFAIによって見ている。FAIの入力からgrip forceの分岐まで遅延100ms。
4-e FAIの発火の〜100msで、grip force / load forceが上昇

触覚の生理・心理学

http://www.rm.mce.uec.ac.jp/lecture/mech/H19PDF/TactileSensing.pdf

一章
骨膜→(ゆるい結合)→皮下組織→(強い結合)→真皮→(真皮乳頭-表皮隆起の結合)→表皮
手に触覚センサ17000個、体に10^7個。
機能的特徴により、SAI(0), SAII(0), FAI(1), FAII(2)に分かれている。FはFastly, SはSlowly, AはAdapting。括弧内は圧力の何階微分の検知か。
触覚センサ10^7個は神経繊維10^6個を通して大脳皮質に投射。
指先は一本の神経繊維/1mm^2の密度。これは指先触覚分解能が1, 2mm^2であることと対応づけられると考えられている。
目: 10^7 bit/s, 触覚: 10^6 bit/s, 耳10^5 bit/s, 鼻: 10^3 bit/s, 口: 10^3 bit/s

http://www.cim.mcgill.ca/~haptic/pub/SO-MW-VH-WHC-13.pdf

振動を前に提示するとちょっと反射が早くなる

誰かの修論,サーベイ論文として。

http://www.cvl.iis.u-tokyo.ac.jp/thesis/master/2004/ikeda.pdf

制御の抽出

Oztop, et al. 川人先生の研究(模倣)
ロボットハンドでBall Swapping Taskでの制御器を抽出する研究。
Dexterous Skills Transfer by Extending Human Body Schema to a Robotic Hand

http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4115584

Nikolay Jetchev, et al. “Task Space Retrieval Using Inverse Feedback Control” PDF
単語
デモンストレーションデータから潜在コスト関数fを同定する方法について。
状態変数n個(関節及び対象物体の三次元位置)があるとして、組み合わせn*(n-1)個の組み合わせ(a, b)を取ってきて、それぞれで{a基準でのbの位置及び、aから測ったbの距離}の4次元ベクトルを作る。つまり、4*n*(n-1)次元の高次元特徴量を中間に構成する。
学習は、2層3層混成のニューラルネットワークの重みを、デモンストレーションにより計算可能なTRICのLossで最小化したものを、fのパラメータとして用いる。(この運動では3層にする意味がないという結果であった)
制御は、fの最急降下方向に分解速度制御を行う。
少数のデモンストレーションデータにより実現可能である。(3-27回くらい)
限界として、単発の運動にしか適用できず、周期運動が不可能である点と、ノイズに弱い点である。

Ratriff, et al. “Maximum Margin Planning” PDF
IOCの解説でNikolayさんが引いていたから、きっとIOCの解説が載っているはず。

Yann LeCun, et al.”A Tutorial on Energy-Based Learning” PDF
Discriminative Learningの解説でNikolayさんが引いていたから、きっとDiscriminative Learningの解説が載っているはず。

冗長系におけるフィードフォワード制御
“Feed-forward control of a redundant motor system” PDF

Synergy

身体運動研究における“Synergy”概念とその射程
ベルンシュタイン問題
(1) トップダウンに変数を決定しているとすると、関節で10^2, 筋肉で10^3, 細胞で10^14もの変数を決めなければならず、非現実的である。
(2) 時間で切る従来の運動制御理論では、文脈に多義性を持つ。
身体運動は文脈に依存して組織化され、シナジーを前提すれば解決されうる、と先見した。
シナジー
特定の運動の達成において身体の各部位が連携協調することで、運動の自由度を減らす機能的構造・単位
これは一時的で柔軟な組織化で、課題特定かつ文脈依存の要素間結合を想定している。
Synergyの大きな流れ
CDとUCMの二つに分かれている。
CDは自己組織化理論を用いた次元圧縮・要素間結合
UCMは相互補償・要素間調整
補償について
Kelsoらの発話実験で、babの後のbの途中で下顎に負荷をかけた時、15-30ms程度で上下唇に素早い補償運動が観測された。
骨格筋→筋紡錘→Ia繊維→脊髄α運動ニューロン→筋収縮のような反射の中でも、非常に短いアキレス腱反射で30-40msである。
あまりにも早く、情報処理モデルに基づく生理学的な説明が困難であり、そのためUltrafast現象と呼ばれる。
この現象は発話・姿勢制御・眼球運動・卓球選手のスマッシュなどの調整に見られる。
Ultrafast現象を説明するために、筋肉と骨格にTensegrityのような機械的かつ受動的な結合を前提すると、今までのような電気的な反応とは異なる枠組みで議論できると考えられている。
観測由来ヒエラルキー
相互作用しあう部分システム間で、観測に有限時間を前提すると、観測中に環境が変化するために観測された環境は厳密には一致しない。観測に有限時間を前提しないと、時間相関のある変動やスケールフリー相関が説明できない。
部分システムの境界における観測由来のゆらぎの存在を考慮して、階層的なシステムの階層間の相互作用に積極的な意味を見出す。
階層構造を持つ対象に限定せず一般化したのが観測由来ヒエラルキーという。

UCM参照制御ーどうやらUCM空間を積極的に用いた制御方法らしいが、残念ながら論文が公開されていないらしい。

http://www.ieice.org/ken/paper/20130314DBCy/

http://www.uno.nuem.nagoya-u.ac.jp/~togo/

Mark L.Latash, et al. “Motor Control Strategies Revealed in the Structure of Motor Variability”
単語
Latash先生のUCMに基づく運動の解説。UCM解析の解説なのだが、Modeとかいう概念を導入している。
あと、それに基づいて銃を打つ時に重要な変数を同定する、とかいう話や、把持において回転方向の力の方が重要だ、とかいう話になっているが、途中から実験で駆り出された後に上を進められたので読めていない。

Scholz先生のResearch Article
“The uncontrolled manifold concept: identifying control variables for a functional task” PDF

Ruhr大学のD論(Martinさん)
“A dynamical systems account of the uncontrolled manifold and motor equivalence in human pointing movements” PDF

大阪大学宮崎研究室
拮抗筋肉による軌道、剛性の同時制御

http://robotics.me.es.osaka-u.ac.jp/MiyazakiLab/jpn/research/cooperation_task/index.html

http://www.seirei.ac.jp/web/teacher/ohgi/080428-2.pdf

シナジェティクス
「隷属原理」
それまで無関係であった多数の内部変数のうちの一部に不安定化が生じて、それを通じて残りの多数の内部変数の動きが支配され、その結果多数の内部変数の動きに統一的な関係性が生じる
「秩序パラメータ」
要素間の秩序の度合いによって生じるパターンを示す変数。例えば、位相差など。
「制御パラメータ」
パターンを生む外部変数外部変数、人自らの発達学習など

Kelsoの実験
メトロノームのリズム(=制御パラメータ)に合わせて両手の人差し指の運動(秩序パラメータ)を逆位相でくるくるさせていると、突然2.0-2.5Hzくらいで位相が揃う。

引き込み現象
ミクロな多数の要素の集まりの間に引き込みが起こり、特定の振動数と位相を持った大きな振動が生まれる。
マクロな規則正しい振動は引き込みによって系全体の振動を一つに揃えていく。

運動発達の自由度はFreezingからFine Tuningを経て大きくなる

運動制御の仮説

http://www.bekkoame.ne.jp/~domen/reflex.html

Mertonのサーボ仮説
緊張性伸縮反射が運動制御の部品であると考える仮説。現在は信じられていない。
γ運動ニューロンに与えられる。情報の流れは、γ運動ニューロン活動→筋紡錐→緊張性伸張反射(tonic steretch reflex:TSR)→α運動ニューロン活動→筋張力の発生→運動。

Povlovは脳を各種反射の相互作用に基づいて受動的に反応するだけの臓器ととらえていた一方で、Bernsteinは能動的な環境の探索が動物の脳の本質に近いと主張した。反射はデータの再現性を有する反応が得られるが、随意運動の本質を明らかにすることは出来ない。
(Bernsteinはこの考え方を発表したことによってロシア政府に危険思想扱いされている)

αモデル
Bizziらは脊髄後根を切断(求心遮断)しても、運動を覚えさせたサルが同じ運動が実現機能だったことから、緊張伸縮反射を介する必要はなく、αニューロンだけで随意運動が発現する、という説を提唱した。つまり、中枢の運動指令は、α運動ニューロンプールの活動レベルを変化させ、筋肉のバネ特性を変化させることにより、主動筋と拮抗筋のつり合い位置が変化して随意運動が発現する。屈筋、伸筋とのつりあい位置が関節位置となる。
アンチテーゼとしては、
(1) Latashは、Bizziの実験はα modelの求心遮断が起きたときの代替手段だと指摘している
(2) この手法だと、運動中の剛性が高いことを前提しているが、運動中も剛性が低いことが分かっている
全く何が何だか分からない。何がどこにあるのか。それぞれがどのような機能なのか。

Tetsushi Nonaka, Motor Variability but Functional Specificity: The Case of a C4 Tetraplegic Mouth Calligrapher. Ecological Psychology, Vol. 25, No. 2, 2013
単語
事故で四肢麻痺を患って以来、口に筆を咥えて書道を25年間続け、達人レベルに達したFumiyuki Makinoの運動解析。
冗長なコンフィギュレーション空間を取ってきたときに、うまいタスク変数を選べば、前者の分散構造がタスク変数を協調して安定化することを示した。
タスク変数の選び方はヒューリスティック、逆に言えば人間が見たときに自然である。
協調性の解析のために、UCM解析と言われる手法を用いている。2変数のUCM解析がここに説明されている。
肝心のUCM解析の部分が全く分からなかった。
謎の係数kたちで6次元が1次元に落とされていたように見えたが…?6次元→3次元なはずなのに。
1変数ずつ、それぞれの方向の分散を無視しているというならわかるが。
そもそもmultiple regression procedureって何だ?説明されてた?
UCMは何らかの拘束条件を前提しなければいけないはずなのに、拘束に関する言及が全く見られなかったように思えるのだが…