カーネルを使わない狭義のSVMは最小二乗法と同じくらい単純ですよね。SVMとよくセットで使われるカーネル法について、その一般化に関数解析とかLebesgue測度なんかがでてきて頭が痛いです。ルーツは1940年代のKolmogorovの研究"Stationary sequences in Hilbert spaces"あたりまで遡るんだそうで、それが数学的面白さ以上の実用性が認知されはじめたのがやっと1990年代なんだそうです。実用上は原理を掘り下げる必要はあまり無くて定番のカーネルから適当なのを選んで使うだけのようです。使いやすくて応用が広そうなので、えーと...諜報作戦を展開中です。
SVMに関して。もし其の方面で軍事作戦を展開する場合は数学のどの辺りの部分を使うのか、軍事的な解説をきぼん…って書いててふと思ったのだが、うちの研究室にもそういう本が…なかったような気がする…
カーネルを使わない狭義のSVMは最小二乗法と同じくらい単純ですよね。SVMとよくセットで使われるカーネル法について、その一般化に関数解析とかLebesgue測度なんかがでてきて頭が痛いです。ルーツは1940年代のKolmogorovの研究"Stationary sequences in Hilbert spaces"あたりまで遡るんだそうで、それが数学的面白さ以上の実用性が認知されはじめたのがやっと1990年代なんだそうです。実用上は原理を掘り下げる必要はあまり無くて定番のカーネルから適当なのを選んで使うだけのようです。使いやすくて応用が広そうなので、えーと...諜報作戦を展開中です。
道具の機能が十分なら原理は要らないのかもしれませんね。<br>でも、実際どうなんだろう？道具そのものを工夫する研究はもう必要ないんでしょうかね？アズマ特務士官ノ任務ヲ成功ヲ祈ル。
ニューラルネットなどについて数学的原理を把握せずにとんちんかんな実験計画や結果分析をする後輩を見ていると、原理を理解しておかねばなるまいなと思われます。SVM+Kernelがどれくらい枯れた技術なのかよく知りませんけれど、ここ10年でもう実用技術レベルにまで普及したように思います。「ニューロファジーちょめちょめ」のようにカーネル炊飯器、カーネル掃除機などが現れたりして。研究方向としては既にある枠組みに手を加えるより今まで研究対象でなかった部分を研究対象化するというタイプの仕事によい成果が多いように拙者には思われます。
時折文書分類の論文で、決定木学習とSVMとの比較評価を見かけます。なぜかは分かりませんが、だいたいSVMのほうが良い結果が出るようです。理由を追求したものはついぞ見たことがありません。「良い結果がでてるからいいじゃん」というノリのようです。ただ、文書分類などでは、文書を特徴ベクトルに落とすところまでで勝負が決まるような気がします。
> ただ、文書分類などでは、文書を特徴ベクトルに落とすところまでで勝負が決まるような気がします。<br><br>なんか私の周りで画像認識やっている人達と同じようなものをこの一言から感じた、びんびん！！<br><br>東：<br>> ニューラルネットなどについて数学的原理を把握せずにとんちんかんな実験計画や結果分析をする後輩を見ていると、原理を理解しておかねばなるまいなと思われます。<br><br>画像認識で固有空間法という手法があるそうだが、それを「この対象に適用したら拙いだろ」という利用法をしている若い衆がいて、そう指摘した私は細かい内容など理解している筈が無いのだが…だって原理的におかしいだもん！といふことが某所でありますた。<br><br>> 研究方向としては既にある枠組みに手を加えるより今まで研究対象でなかった部分を研究対象化するというタイプの仕事によい成果が多いように拙者には思われます。<br><br>こういう話を聞くといろいろな意味で希望が持てるであります。
蛇足ながら・・・<br>「特徴ベクトルに落とすところ」が肝心なのはその通りで、そのあとにどんな判別器を使おうと到達性能は大体同じです。ですから、判別器に凝るのはあまり生産的じゃないです。ただ、収束させやすさ、実装条件との相性、やら解析しやすさなどに差があるのでレパートリーは多いほうがいいですね。<br>特徴空間をつくること、というのはすなわちパターンの次元を落として識別しやすい空間に変換することです。その単純な方法の一つが固有空間法で、要するに古典的な主成分分析を使って一番意味のありそうな成分を部分空間の基底にしてこれにパターンを射影しちゃいましょうというやつです、よね。