ゐむだうづK.E.

スポンサーサイト

上記の広告は１ヶ月以上更新のないブログに表示されています。新しい記事を書く事で広告が消せます。

--------(--:--) :
スポンサー広告 :

このページのトップへ

高専プロコンとは

全国高等専門学校プログラミングコンテスト（ぜんこくこうとうせんもんがっこう─、プロコン）は、高等専門学校連合会の主催するプログラミングコンテストである。高等専門学校のプログラミングの学習意欲向上のため、高専の教員が中心となって開催されている。

なお、このコンテストは文部科学省の「全国生涯学習フォーラム（まなびピア）」の一環として開催されている。

課題・自由・競技（第5回以降）の三部門がある。

by wikipedia

という訳でちょっとやってみた。
今年の問題はどんなのかというと、(詳細はココ)

台の上にサイコロがいっぱいあります。

それの写真を何枚かとります。(1分間)
それらの写真とプログラムを駆使して、サイコロの数を数えてください。(3分間)

パッと見て、思ったことがあります。

妨害なし
画像認識
人間最強

1.に関して言えば、他人に邪魔されることが無い点だけ見れば純粋なアルゴリズムの問題に見える。
2.は、おそらく写真から画像認識して、サイコロ認識して・・・ってやるのが常套手段だと思ったけど、無理じゃね？っていう。重なりあって隠されているサイコロがあるかぎり、平面的な画像認識だけだと厳しい。かといって、画像から立体モデル作れるの？っていったら、それもかなり厳しい。NAISTの論文でやっているものもあるし、使えるものではPTAMがあるけど、結局は３次元モデル上でサイコロが何個あるか？を数えないといけない。画像→３次元モデル→個数認識とフローを踏む必要があって、それは時間足りるのかなぁと感じた。
3.については、特にプロコンについて全然考えてなかったけど、Twitter見てたら今年の競技部門は人間最強っていうのが目に止まって見てたら本当に最強だと思った。ある程度、訓練次第で何とかなるんじゃないかなこれ。

で、画像認識無理となると・・・？というわけでぜんぜん違うアプローチを検証してみる。

重さ+勘ピュータ

台の上の"サイコロの総重量"と"種類別のサイコロの重さ"が公表されています。あんまりここから押す人はどうもTwitter上では見なかった。おそらく野鳥の会最強が印象に残りすぎてRTが回っていないだけだと思いますが。
要は"種類別のサイコロの重さ"が分かっていて、その"割合"が分かっていて、"サイコロの総重量"が分かっているならば、解けるんじゃね？ということです。
"割合"はどうやって求めるの？お好きな方法で。というお話です。自己研鑽に励み野鳥の会の如く割合を瞬時に見抜く"勘"を冴え渡らすか、もしくは画像認識によって荒い割合のみを取るか。本当にある程度なら、サイコロの目の大きさの分布から取れそうですよね。

使うアルゴリズムは

粒子群最適化

おそらく計測が終わった後に、写真とってた人が「大体、大きさの比が2:4:3」だったよ！って言うと思うので、そんなアバウトな状況でも探査できる。次に厳密に画像から数えた時に、粒子を候補に入れるだけで継続的に解の探査ができる。並列化しやすい。という点で選んだ。
(といっても、最近粒子群最適化のコードを書いたので実際に性能確認してみたかっただけなので、理由は半分後付け)

実験パラメータ(詳細はソース)

observe_error_ratioは観測した時の誤差の割合のパラメータ(観測誤差)
error_ratioは探査で求めた結果と、実際の値との相対誤差(相対誤差)
error_valは(全体のサイコロの個数×observe_error_ratio)の値。全体で間違ったサイコロの数より多くなっている。(誤差数)

実験方法

試合に使われるサイコロの数は100～500までの100刻み。大中小の割合はランダム。
観測誤差を0.0～0.9まで0.1刻み。
それぞれの試行を100回ずつ行い、相対誤差の平均を取る。

結果

図1.観測誤差と相対誤差の関係

図2.観測誤差と誤差数の関係

考察

観測誤差と相対誤差。観測誤差と誤差数は比例の関係にある。
というのは言わずもがな分かることですが、図1.の方で、

ダイスの数を大きくしても、その傾きは平行のまま、切片が下がる。

ということがわかります。ということは逆に

サイコロの個数が多くなるほど相対誤差が減る

と言えるのではないか？実際はサイコロの数が大きくなるほど、"相対誤差が減っていく量"が小さくなっているので、極値がありそうですが、おそらく小さくなると思われます。

普通は個数が増えるほどに相対誤差が上がりそうなものですが、相対誤差が下がっていく。
≒サイコロの数が多い時には精度が良い

で、図2は何のためにあるかというと、実験中に、サイコロの数が増えても誤差数が減らない・・・？と思って可視化しました。
確定的には言えないですが、観測誤差が小さい場合(0.0～0.1)はそれほど変わらないようです。あとはサイコロの数が大きくなればなるほど誤差数との傾きが大きくなるということですね。

まとめ

もしかしたら

サイコロの数が大きくなればなるほど、粒子群最適化で誤差の少ない、いい感じのアプローチができるのでは？？
逆に言えば少数の場合だと少し誤差が大きすぎる？？

あとはなんかいい感じに"人間を辞める"か画像処理のプログラムを書けばいい？
粒子群最適化のソースも対して精査もせずに使っているので、ここを洗練？

余談(言い訳)

実験はPythonでしましたが、実践では無謀。ソースを見たらわかりますが、出力は予定の半分ぐらいしか出ていません。
16時間ぐらい計測し続けてサイコロ数600個の途中だったので、待ちきれずに強制終了しました。

粒子群最適化は並列化しやすいとか書いてるけど並列化してなくね？そうなんですが・・・色々とPythonの並列化には色々と事情があったり実装が面倒だったりして、やってません。並列化する関数は必ずグローバルにないといけないとか、"粒子が動く"ならProcessを継承するべきだろうけど、"粒子は動かされる"と考えたら"場"の方にメソッドを持つべきかなぁ。そうすると並列化するために関数作るの面倒・・・あと並列化すると、ものすごく重たくなる。常時CPU使用率100%になって作業が進まない・・・とか色々あるんです。

観測誤差・・・？怪しくね？怪しいです。もしかしたら、そこがバグってて信ぴょう性がない可能性が・・・そもそも観測のエラーをどう定式化するかに悩んで苦肉の策でやったので、自分でもよく分かっていない。

まぁ参加しない側がグダグダやってるので、参考程度に。
決まり文句ですが、これによって受けた不具合や損失について当人は責任を負いません

ソースと出力を追記に書いときます。

では、はじめっ！

テーマ : プログラミング
ジャンル : コンピュータ

このページのトップへ

MMDモーションに踊り手の個性を付加する　～Weka+Jythonのクラスター分析・決定木学習～　Part 2.

実装と準備とえとせとら

前回方針として、

1.各種モーションデータをダウンロード
2.VMDConverterにてVMD→CSVへ変換
3.Python+SQLObjectにて、モーションデータをsqliteデータベースに格納
4.Jython+Wekaでデータベースの内容をクラスタリング
5.クラスタリングされたデータから決定木を作成

というものを示しました。このうち3までは前回の記事で行いました。
今回は主にWekaについて書きたいと思います

Wekaの準備

WekaはGUIもあり、意外とマニュアルを読まなくても、ある程度知識がある人であれば、"そこそこ"使えます。
しかし、

データベースとの連携

には若干、癖があります。大まかに2つの工程です。

1.JDBCドライバを導入する
2.DatabaseUtils.propsを用意する
3.パスを通す

1.はWekaとSQLiteをつなぐためにドライバを用意する必要があります。私のWekaは3.6.6なので、それに対応するSQLite
ドライバ(sqlitejdbc-v056.jar)を入れました。ちゃんとした情報ではないですが、"別にどこのSQLiteドライバでもいいだろう・・・"とか思って他のを入れてみましたが動きませんでした。一応experimentalの機能なので何か不具合があるのかもしれません。

2.のDatabaseUtils.propsなのですが、これがないと動きません。スクリプトと同じフォルダにおいてください。これの雛形がありまして、Wekaをインストールしたフォルダにweka.jarというファイルがあり、この中にデータベース関連の設定が書かれたDatabaseUtils.propsの雛形が多数あります。これがいろいろありまして、weka/weka/experimentの中には

DatabaseUtils.props
DatabaseUtils.props.hsql
DatabaseUtils.props.msaccess
DatabaseUtils.props.mssqlserver
DatabaseUtils.props.mssqlserver2005
DatabaseUtils.props.mysql
DatabaseUtils.props.odbc
DatabaseUtils.props.oracle
DatabaseUtils.props.postgresql
DatabaseUtils.props.sqlite3

と各種対応しているようです。こんかいはこの中のsqlite3を使います。で、それを編集する必要があります。

雛形の
jdbcURL=jdbc:sqlite:/path/to/database.db

を

jdbcURL=jdbc:sqlite:データベースファイルのファイルパス

例：
jdbcURL=jdbc:sqlite:C:/Users/kotauchi/untara.db

ファイルの区切り文字は/の必要があるようです。

それに設定ファイルに以下を追加します。

integer = 5
text = 0
float = 7

データベースからデータを引っ張って来る際に、どの型に変換するかを制御するようです。(table構造から類推しろよ・・・)

とやって出来上がったのが以下です。

Database.props:

# Database settings for sqlite 3.x
#
# General information on database access can be found here:
# http://weka.wikispaces.com/Databases
#
# url: http://www.sqlite.org/
# jdbc: http://www.zentus.com/sqlitejdbc/
# author: Fracpete (fracpete at waikato dot ac dot nz)
# version: $Revision: 5836 $

# JDBC driver (comma-separated list)
jdbcDriver=org.sqlite.JDBC

# database URL
jdbcURL=jdbc:sqlite:データベースのファイルパス

# specific data types
# string, getString() = 0; --> nominal
# boolean, getBoolean() = 1; --> nominal
# double, getDouble() = 2; --> numeric
# byte, getByte() = 3; --> numeric
# short, getByte()= 4; --> numeric
# int, getInteger() = 5; --> numeric
# long, getLong() = 6; --> numeric
# float, getFloat() = 7; --> numeric
# date, getDate() = 8; --> date
# text, getString() = 9; --> string
# time, getTime() = 10; --> date

integer = 5
text = 0
float = 7

# other options
CREATE_DOUBLE=DOUBLE
CREATE_STRING=TEXT
CREATE_INT=INT
CREATE_DATE=DATETIME
DateFormat=yyyy-MM-dd HH:mm:ss
checkUpperCaseNames=false
checkLowerCaseNames=false
checkForTable=true

# All the reserved keywords for this database
# Based on the keywords listed at the following URL (2009-04-13):
# http://www.sqlite.org/lang_keywords.html
Keywords=\
ABORT,\
ADD,\
AFTER,\
ALL,\
ALTER,\
ANALYZE,\
AND,\
AS,\
ASC,\
ATTACH,\
AUTOINCREMENT,\
BEFORE,\
BEGIN,\
BETWEEN,\
BY,\
CASCADE,\
CASE,\
CAST,\
CHECK,\
COLLATE,\
COLUMN,\
COMMIT,\
CONFLICT,\
CONSTRAINT,\
CREATE,\
CROSS,\
CURRENT_DATE,\
CURRENT_TIME,\
CURRENT_TIMESTAMP,\
DATABASE,\
DEFAULT,\
DEFERRABLE,\
DEFERRED,\
DELETE,\
DESC,\
DETACH,\
DISTINCT,\
DROP,\
EACH,\
ELSE,\
END,\
ESCAPE,\
EXCEPT,\
EXCLUSIVE,\
EXISTS,\
EXPLAIN,\
FAIL,\
FOR,\
FOREIGN,\
FROM,\
FULL,\
GLOB,\
GROUP,\
HAVING,\
IF,\
IGNORE,\
IMMEDIATE,\
IN,\
INDEX,\
INDEXED,\
INITIALLY,\
INNER,\
INSERT,\
INSTEAD,\
INTERSECT,\
INTO,\
IS,\
ISNULL,\
JOIN,\
KEY,\
LEFT,\
LIKE,\
LIMIT,\
MATCH,\
NATURAL,\
NOT,\
NOTNULL,\
NULL,\
OF,\
OFFSET,\
ON,\
OR,\
ORDER,\
OUTER,\
PLAN,\
PRAGMA,\
PRIMARY,\
QUERY,\
RAISE,\
REFERENCES,\
REGEXP,\
REINDEX,\
RELEASE,\
RENAME,\
REPLACE,\
RESTRICT,\
RIGHT,\
ROLLBACK,\
ROW,\
SAVEPOINT,\
SELECT,\
SET,\
TABLE,\
TEMP,\
TEMPORARY,\
THEN,\
TO,\
TRANSACTION,\
TRIGGER,\
UNION,\
UNIQUE,\
UPDATE,\
USING,\
VACUUM,\
VALUES,\
VIEW,\
VIRTUAL,\
WHEN,\
WHERE

# The character to append to attribute names to avoid exceptions due to
# clashes between keywords and attribute names
KeywordsMaskChar=_

#flags for loading and saving instances using DatabaseLoader/Saver
nominalToStringLimit=50
idColumn=auto_generated_id

3.はパス通し、どうやらJavaはCLASSPATHという環境変数を通すようですが、あまり環境を汚したくないので、私は回避して、Pythonのコード側に書きます。といっても仰々しいわけではなく、コードの最初に

import sys
sys.path.append(weka.jarのパス)
sys.path.append(sqlitejdbc-v056.jarのパス)

とするだけです。

アルゴリズム概要

今回使ったアルゴリズムについて説明

前に書きましたがクラスタリングを行うのはEMアルゴリズム。尤度最大でクラスタ数まで特定するので使い勝手がよい。
決定木学習には

J48

というアルゴリズムです。このアルゴリズムは～と説明したいところですが、それほど日本語資料がないので勘弁。ここに若干説明があります。
なぜこれをしたか？というお話ですが、単にWekaのチュートリアルを見ていると、これが大体使われている。それと、事前に分類をさせてみたときに98%程度の識別率だったので十分であろうと思い、採用しました。他のアルゴリズムは特に調べていません。識別率十分でしたので。

実装

import sys
import imp
import codecs

from java.io import *
from java.lang  import *

weka_path = r"weka.jarのパス"
sqlite_path = r"sqlitejdbc-v056.jarのパス"
sys.path.append(weka_path)
sys.path.append(sqlite_path)

#sys.stdout = codecs.getwriter('utf-8')(sys.stdout) 

em_options = ["-N -1","-I 100","-M 1.0E-6","-S 100"]
j48_options = ["-C 0.25","-M 2"]


def tracer(signature):
    def deco(f):
        import datetime
        def _(*arg,**kwd):
            print signature,":","start:",datetime.datetime.today().strftime("%Y-%m-%d %H:%M:%S")
            result = f(*arg,**kwd)
            print signature,":","  end:",datetime.datetime.today().strftime("%Y-%m-%d %H:%M:%S")
            return result
        return _
    return deco



@tracer("get_data") 
def get_source_data_by_bone_name(bone_name):
    from weka.core import Instances
    from weka.experiment import InstanceQuery

    query = InstanceQuery()
    query.setQuery(
    """select end.frame_number-start.frame_number,start.x_pos as start_x_pos, start.y_pos as start_y_pos, start.z_pos as start_z_pos, start.x_rot as start_x_rot, start.y_rot as start_y_rot, start.z_rot as start_z_rot, end.x_pos as end_x_pos, end.y_pos as end_y_pos, end.z_pos as end_z_pos, end.x_rot as end_x_rot, end.y_rot as end_y_rot, end.z_rot as end_z_rot, start.bezie_param__x_ax, start.bezie_param__y_ax, start.bezie_param__z_ax, start.bezie_param__r_ax, start.bezie_param__x_ay,           start.bezie_param__y_ay,           start.bezie_param__z_ay,           start.bezie_param__r_ay,             start.bezie_param__x_bx,           start.bezie_param__y_bx,           start.bezie_param__z_bx,           start.bezie_param__r_bx,           start.bezie_param__x_by,           start.bezie_param__y_by,           start.bezie_param__z_by, start.bezie_param__r_by from motion_frame as start join motion_frame as end on start.id=end.id-1 and start.model_motion_id = end.model_motion_id  and start.bone_name=end.bone_name and start.bone_name="%s";"""%bone_name
    )
    return query.retrieveInstances()

@tracer("clustring") 
def clustering(data):
    import weka.clusterers.EM as EM
    import weka.core.Instances as Instances

    em = EM()
    em.setOptions(em_options)
    em.buildClusterer(data)

    return [em.clusterInstance(instance) for instance in data.enumerateInstances()]

def add_clustering_result_to_data(data,clustering_result):
    from weka.core import Attribute
    from weka.core import FastVector
    from weka.core import Instance,Instances

    new_attribute_list = FastVector()
    for index in range(data.numAttributes()):
        new_attribute_list.addElement(data.attribute(index))

    cluster_kinds = list(set(clustering_result))
    cluster_num = len(cluster_kinds)

    v = FastVector(cluster_num)
    for cluster_kind in cluster_kinds:
        v.addElement(str(cluster_kind))

    new_attribute_list.addElement(Attribute("cluster_kind",v))

    container = Instances(data.relationName(),new_attribute_list,0)

    for atom,cluster_kind in zip(data.enumerateInstances(),clustering_result):
        container.add(Instance(1.0,list(atom.toDoubleArray())+[cluster_kinds.index(cluster_kind)]))

    return container

@tracer("generate_tree") 
def generate_construct_determine_tree(class_name,data):
    import weka.classifiers.trees.J48 as J48
    data.setClass(data.attribute("cluster_kind"))

    j48 = J48()
    j48.setOptions(j48_options)
    j48.buildClassifier(data)

    pw = PrintWriter(BufferedWriter(FileWriter(class_name+".java")))
    pw.println(j48.toSource(class_name))
    pw.close()

def main():
    pass

if __name__ == '__main__':
    import sys

    bone_name = sys.argv[1]
    source_data = get_source_data_by_bone_name(bone_name)
    System.out.println(bone_name + " data size:%d"%source_data.numInstances())
    clustering_result = clustering(source_data)
    System.out.println(bone_name + " clustring size:%d"%len(set(clustering_result)))

    if len(set(clustering_result)) > 1:
        cat_data = add_clustering_result_to_data(source_data,clustering_result)
        generate_construct_determine_tree(bone_name,cat_data)
    else:
        System.out.println(bone_name+" bone is one cluster.")

えーとりあえず英語もっと勉強しろという突っ込みは置いときまして。
@tracerデコレータはたいした意味はありません。見ててモチベーションが下がってくるので時間でも表示しておけばテンションがあがるので、そのためだけにつけました。

em_options,j48_optionsの内容は事前にwekaで手動で実験をしていたときに、これでうまく動いたので採用した程度です。たしかGUIのときと同じパラメータだと思います。

get_source_data_by_bone_nameこれが前回の日記でSQLObjectを使ってしまった弊害です・・・Pythonから使えても、JythonでWekaを通して使う分には使えなかったために、結局SQL直打ちです・・・これも記憶があいまいですが、select文でas～と別名をつけているのは確かsqlite側がエラー吐いたから・・・だった気がします。.(ドット)？が名前に入っているとだめだった気が・・・

clusteringはまんまでクラスタリングを行います。そして、データがどのクラスタに属するか？というのを返します。
add_clustering_result_to_dataは元データに対し、cluster_kindという属性を追加し、クラスタの番号を付加してデータを再構築します。
で、そのデータをgenerate_construct_determine_treeに入れることで、決定木のjavaのソースが生成されます。

これで分類できたよ！やったね、た(

という感じで、本当にまたこれが残念な結果を生み出すことになります・・・

結果発表～！！

センター clustring size:4
上半身 clustring size:2
下半身 clustring size:4
両目 clustring size:5
右つま先 clustring size:1
右つま先ＩＫ clustring size:8
右ひざ clustring size:7
右ひじ clustring size:6
右中指１ clustring size:6
右中指２ clustring size:2
右中指３ clustring size:5
右人指１ clustring size:3
右人指２ clustring size:5
右人指３ clustring size:6
右小指１ clustring size:4
右小指２ clustring size:5
右小指３ clustring size:6
右手首 clustring size:2
右目 clustring size:3
右肩 clustring size:6
右腕 clustring size:3
右薬指１ clustring size:5
右薬指２ clustring size:4
右薬指３ clustring size:5
右親指１ clustring size:3
右親指２ clustring size:3
右足 clustring size:3
右足首 clustring size:3
右足ＩＫ clustring size:7
左つま先 clustring size:1
左つま先ＩＫ clustring size:3
左ひざ clustring size:5
左ひじ clustring size:5
左中指１ clustring size:3
左中指２ clustring size:6
左中指３ clustring size:3
左人指１ clustring size:2
左人指２ clustring size:5
左人指３ clustring size:4
左小指１ clustring size:5
左小指２ clustring size:4
左小指３ clustring size:7
左手首 clustring size:5
左目 clustring size:4
左肩 clustring size:4
左腕 clustring size:6
左薬指１ clustring size:8
左薬指２ clustring size:5
左薬指３ clustring size:3
左親指１ clustring size:5
左親指２ clustring size:2
左足 clustring size:4
左足首 clustring size:6
左足ＩＫ clustring size:5
頭 clustring size:4
首 clustring size:2

となっております。実はボーンは色々あります。モデル固有のボーンというのもありまして、例えば恐竜のモデルがあったとするならば、しっぽのボーンがあります。しかし、初音ミクにはない。んじゃ、それの扱いはどうする？となるのですが、今回は無視します。MMDには標準で開発者の樋口Mが作った"きしめん"のモーションデータが同梱されているので、そのファイルで指定されているボーンのみを今回は処理対象としました。だってアレですよ・・・集めたデータの中のボーン名に"鎧垂前先"とかあるんですよ・・・そもそも読めませんし・・・

こう見ると結構動いているものと動いていないものとあるんだなーと、例えば右つま先は1個しかない(クラスタ分割できない)とか、左小指３は7分割で右小指３は6分割なんだなーとか。非対称だから、この結果が間違っている！！ともいえない。モーションが常に対照的であるとは言い切れませんし、右利きだと右半身のモーションはすんなり動いて無駄のない動きができるけど、左半身は比較するとしたならばすんなり動かない。で、おそらく右利きの人のほうが人口多いんだから、左右で優位差ができても不思議ではないのでは？とか。

まぁここではそんなことは興味の対象外なので無視しますー

では、次回・・・何をしようか・・・ここまではスタックがあったのですが、合成の部分でネタが尽きた。(つまり未完成)
だれかへるぷみー

そして、fc2ブログにコード貼るのは非常に面倒である・・・

では、今日はこの辺で。。。

テーマ : プログラミング
ジャンル : コンピュータ

このページのトップへ

MMDモーションに踊り手の個性を付加する　～データマイニング編～　Part 1.

データマイニングで頑張る

前の記事より、

モーションデータ→振り付けデータ→モーションデータ

と方針を書きました。そして、そのためには

腕をあげるとか頭をふるとか。そういうふうなことをある一定の動作を範囲を決めて動作を定義(=符号化する)する必要があります。

とも書きました。では、どのように動作を定義するか。

モーションの分類は？

私は特にダンスや振り付けについて知識は無いので、どのように分類されているか知りません。(そもそもされているのか？)
そんな中でデータを何かしら分類するという技術もあります。それは

クラスタリング

という技術です。しかしながらこれにも残念な点があって、一般的に

クラスタ数に依存する

という欠点があります。詳細はここにありますが、ざっくりと引用すると

Cutting らは，ニューヨーク・タイムス紙 1990 年 8 月の約 5,000 件の記事のデータベースの傾向を抽出する問題にクラスタリングを用いました．話題が類似している文書をまとめたクラスタを生成した結果，以下の話題を含むクラスタが発見されました．

教育, 国内, イラク, 芸術, スポーツ, 石油, ドイツ統合, 裁判

利用者は，内容が全く不明であった新聞記事のデータベースのおおまかな内容を，これらのクラスタから知ることができるでしょう．

(中略)

ここで注意すべき点は，この例では 8 個のクラスタに記事を分類し，データベースの「正しい」要約を得ることができました．しかし，イラクと石油はどちらも湾岸戦争に関する話題なので，これらをまとめても，データベースの「正しい」要約といえます．すなわち，どちらにも，それを正当化する視点が存在します．このように，クラスタリングの結果は絶対的でも，普遍的でも，客観的でもないので，分割結果は結論を導く証拠にはなりえません．

と、あります。そのうえ、今やろうとしているモーションの分類は

クラスタ数がいくつになるか分からない

という欠点があります。ではどうする？

EMクラスタリング

をします。EMアルゴリズムを用いたクラスタリング手法だそうで、尤度が低ければ分割し、クラスタ数を増やし、尤度を最適化するアルゴリズムのようです。自動でクラスタ数を決定し、その上尤度最大でやってくれるそうなので、出力した結果の分類は"おそらく妥当"であるいえます。

このモーションはどの分類？

果物がいっぱい渡されました。それらが

りんご　みかん　いちご　すいか

の４種類に分類できることがわかりました。(1)
ここに果物Aが渡されました。さて、果物Aは４つのうちのどれに当てはまるでしょう？(2)

現在、クラスタリングによって分類ができる、つまり例で言う(1)が可能になりました。
では、(2)はどうすればいいでしょう？おそらく例であれば、

(1)それは木にできますか？
→Yes (2)
→No (3)

(2)それは赤いですか？
→Yes それはりんごです
→No それはみかんです

(3)それは赤いですか？
→Yes それはいちごです
→No　それはスイカです

のような"質問文"を作成することで、果物Aの分類をすることができます。
では、そのような"質問文"を作るためにはどうすればいいか？？

決定木学習

です。これにより、上記のような質問文を生成することができ、モーションを分類するプログラムの作成が可能になります。

モーションデータとデータマイニングのデータ構造について

実装に入る前に、MMDのモーションのデータ構造について。MMDのモーションデータはVMDという形式で有志によって解析されています。また、VMDConverterというツールによりVMDをCSVに変化することができます。そのドキュメントと、解析結果より

ボーン名の文字列
フレーム番号
ボーンのX軸位置
ボーンのY軸位置
ボーンのZ軸位置
ボーンのX軸回転角　※
ボーンのY軸回転角　※
ボーンのZ軸回転角　※
X軸のベジエ曲線の補間パラメータ　(X_ax,X_ay),(X_bx,X_by)
Y軸のベジエ曲線の補間パラメータ　(Y_ax,Y_ay),(Y_bx,Y_by)
Z軸のベジエ曲線の補間パラメータ　(Z_ax,Z_ay),(Z_bx,Z_by)
回転のベジエ曲線の補間パラメータ　(R_ax,R_ay),(R_bx,R_by)

という24個のパラメータからフレーム情報は構成されている。(※はVMDConverterの出力するCSV準拠)

しかし、これでは解析には少し足りません。というのは、ある"フレームの状態"が書かれているだけで、"運動ではない"のです。端的には次のフレームのボーンの状態も追加しなければなりません。現在のフレーム番号をt、次のフレーム番号をt+1とすると

ボーン名の文字列
フレーム番号tのボーンのX軸位置
フレーム番号tのボーンのY軸位置
フレーム番号tのボーンのZ軸位置
フレーム番号tのボーンのX軸回転角
フレーム番号tのボーンのY軸回転角
フレーム番号tのボーンのZ軸回転角

フレーム番号t+1のボーンのX軸位置
フレーム番号t+1のボーンのY軸位置
フレーム番号t+1のボーンのZ軸位置
フレーム番号t+1のボーンのX軸回転角
フレーム番号t+1のボーンのY軸回転角
フレーム番号t+1のボーンのZ軸回転角

フレーム番号tのX軸のベジエ曲線の補間パラメータ　(X_ax,X_ay),(X_bx,X_by)
フレーム番号tのY軸のベジエ曲線の補間パラメータ　(Y_ax,Y_ay),(Y_bx,Y_by)
フレーム番号tのZ軸のベジエ曲線の補間パラメータ　(Z_ax,Z_ay),(Z_bx,Z_by)
フレーム番号tの回転のベジエ曲線の補間パラメータ　(R_ax,R_ay),(R_bx,R_by)

とこれでモーションの解析ができる状態になります。フレーム番号については無視します。動作が全体のモーションの中で"いつ"始まったかは問題では無いと考えます。これをひとつの単位として解析を行っていきます。

開発環境

Windows Vista Home Premium SP2
Python 2.7.2
SQLObject 1.2.1
Jython 2.5.2
Weka 3.6.6

SQLObjectはいわゆるORマッパーでデータベースにデータを入れるのに便利かと思って使用しました。が。あとでとんでもないことが起こります・・・・
肝となるのがWekaです。これがデータマイニングを行うJava製のツールです。これがAPIが公開されており、Javaとの連携が可能で、ドキュメントも公開されています。そして、Javaが扱える≒Jython(PythonのJava実装)から使えるということなので、Jythonで扱います。またjdbcに対応しており、各種SQLサーバーからデータを取ってくることができます。

大まかな解析手順

1.各種モーションデータをダウンロード
2.VMDConverterにてVMD→CSVへ変換
3.Python+SQLObjectにて、モーションデータをsqliteデータベースに格納
4.Jython+Wekaでデータベースの内容をクラスタリング
5.クラスタリングされたデータから決定木を作成

の5工程となっています。
1.と2.については手動です。bot組んだりはしていません。

モーションデータの格納

mmd_csv.py:

import collections
from itertools import *

mmd_model_motion = collections.namedtuple("mmd_model_motion","file_format,format_version,model_name,mmd_frames")
mmd_frame_param = collections.namedtuple("mmd_frame_param","bone_name,frame_num,pos_x,pos_y,pos_z,rot_x,rot_y,rot_z,bezie_param")
mmd_bezie_param = collections.namedtuple("mmd_bezie_param","X_ax,Y_ax,Z_ax,R_ax,X_ay,Y_ay,Z_ay,R_ay,X_bx,Y_bx,Z_bx,R_bx,X_by,Y_by,Z_by,R_by")

default_bezie_param = "0x14141414141414146B6B6B6B6B6B6B6B141414141414146B6B6B6B6B6B6B6B011414141414146B6B6B6B6B6B6B6B010014141414146B6B6B6B6B6B6B6B010000"

bezie_start_pos = (0,0)
bezie_end_pos = (127,127)

def parse_mmd_csv(text):
    with open(text,"r") as f:
        generator = iter(f.readlines())
        file_format,format_version = generator.next().strip().split(",")
        model_name = generator.next()
        frame_num = int(generator.next())

        frame_data = [parse_mmd_frame(generator.next()) for i in range(frame_num)]

        return mmd_model_motion(file_format,format_version,model_name,frame_data)

def parse_mmd_frame(text):
    data = text.strip().split(",")
    ##print data 
    ##print data[-1][2:2+16*2] 

    return mmd_frame_param(
                *((data[0],int(data[1]))+tuple(float(atom) for atom in data[2:-1])
                +
                tuple(
                    [
                        mmd_bezie_param(
                            *(
                                lambda x:
                                    map(
                                        lambda x:int(x[0]+x[1],16),
                                        zip(x[0:-1:2],x[1::2])
                                    )
                            )(data[-1][2:2+16*2])
                        )
                    ]
                )
            )
    )


if __name__=="__main__":
    pass

store_csv_to_db.py

from sqlobject import *
from mmd_csv import *

class model_motion(SQLObject):
    model_name = StringCol(notNone = True)
    file_name = StringCol(notNone = True)
    md5hash = StringCol(unique=True,notNone = True)

    frames = MultipleJoin("motion_frame")

class motion_frame(SQLObject):
    model_motion = ForeignKey("model_motion")

    bone_name = StringCol(notNone = True)
    frame_number = IntCol(notNone = True)

    x_pos = FloatCol(notNone = True)
    y_pos = FloatCol(notNone = True)
    z_pos = FloatCol(notNone = True)

    x_rot = FloatCol(notNone = True)
    y_rot = FloatCol(notNone = True)
    z_rot = FloatCol(notNone = True)

    bezie_param_X_ax = FloatCol(notNone = True)
    bezie_param_Y_ax = FloatCol(notNone = True)
    bezie_param_Z_ax = FloatCol(notNone = True)
    bezie_param_R_ax = FloatCol(notNone = True)

    bezie_param_X_ay = FloatCol(notNone = True)
    bezie_param_Y_ay = FloatCol(notNone = True)
    bezie_param_Z_ay = FloatCol(notNone = True)
    bezie_param_R_ay = FloatCol(notNone = True)

    bezie_param_X_bx = FloatCol(notNone = True)
    bezie_param_Y_bx = FloatCol(notNone = True)
    bezie_param_Z_bx = FloatCol(notNone = True)
    bezie_param_R_bx = FloatCol(notNone = True)

    bezie_param_X_by = FloatCol(notNone = True)
    bezie_param_Y_by = FloatCol(notNone = True)
    bezie_param_Z_by = FloatCol(notNone = True)
    bezie_param_R_by = FloatCol(notNone = True)


def make_db(motion_file,database_file,create_flag):
    from os.path import basename,abspath
    from hashlib import md5

    conn = sqlhub.processConnection = connectionForURI("sqlite:"+abspath(database_file))

    def f():
        if create_flag:
            model_motion.createTable()
            motion_frame.createTable()

        md5hash = md5(open(motion_file,"r").read()).hexdigest()
        motion = parse_mmd_csv(motion_file)
        m1 = model_motion(model_name=motion.model_name,file_name=basename(motion_file),md5hash=md5hash)

        l = len(motion.mmd_frames)
        c = 1
        for frame in motion.mmd_frames:
            if c%100==0:
                print "\r%20s %5d/%5d"%(motion_file,c,l),
            c += 1
            motion_frame(model_motion=m1,bone_name=frame.bone_name,frame_number=frame.frame_num,
                x_pos=frame.pos_x,
                y_pos=frame.pos_y,
                z_pos=frame.pos_z,

                x_rot=frame.rot_x,
                y_rot=frame.rot_y,
                z_rot=frame.rot_z,

                bezie_param_X_ax = frame.bezie_param.X_ax,
                bezie_param_Y_ax = frame.bezie_param.Y_ax,
                bezie_param_Z_ax = frame.bezie_param.Z_ax,
                bezie_param_R_ax = frame.bezie_param.R_ax,

                bezie_param_X_ay = frame.bezie_param.X_ay,
                bezie_param_Y_ay = frame.bezie_param.Y_ay,
                bezie_param_Z_ay = frame.bezie_param.Z_ay,
                bezie_param_R_ay = frame.bezie_param.R_ay,

                bezie_param_X_bx = frame.bezie_param.X_bx,
                bezie_param_Y_bx = frame.bezie_param.Y_bx,
                bezie_param_Z_bx = frame.bezie_param.Z_bx,
                bezie_param_R_bx = frame.bezie_param.R_bx,

                bezie_param_X_by = frame.bezie_param.X_by,
                bezie_param_Y_by = frame.bezie_param.Y_by,
                bezie_param_Z_by = frame.bezie_param.Z_by,
                bezie_param_R_by = frame.bezie_param.R_by
                )

    sqlhub.doInTransaction(f)

if __name__ == '__main__':
    import argparse

    parser = argparse.ArgumentParser(description="store vmd_csv data to sqlite3 db")
    parser.add_argument("-c",dest="is_create",action="store_true",help="create_flag",default=False)
    parser.add_argument("-i",dest="input_files",help="input vmd file",nargs="+")
    parser.add_argument("-o",dest="output_db",help="output sqlite3 db file")

    args = parser.parse_args()

    is_create = args.is_create

    for input_file in args.input_files:
        make_db(input_file,args.output_db,is_create)
        is_create = False

根本的な

4.Jython+Wekaでデータベースの内容をクラスタリング
5.クラスタリングされたデータから決定木を作成

についてはまた今度。

追記に使用したモーションデータを書いておきます。

テーマ : プログラミング
ジャンル : コンピュータ

このページのトップへ

MMDモーションに踊り手の個性を付加する　～初音ミクをまねて～　Part 0.

概要

MikuMikuDance(以下MMD)とは

「MikuMikuDance」（みくみくだんす）は、「樋口M」こと樋口優氏が個人で開発した3DCGムービー製作ツール。
氏のウェブサイト、VPVP（Vocaloid Promotion Video Project）で無償公開されているフリーソフトである。
略称は「MMD」。

引用　 http://dic.nicovideo.jp/a/mikumikudance

"MMDモーションに踊り手の個性を追加する"というのはどういうことか。
MMDにおいてモーションを作成する際、どのようにするかというと、

自分で振り付けを考えてモーションをつける
誰かのダンス動画を下絵とし、それとあうようにモーションをつける
Kinect等を用いて、自分で踊ってモーションをつける

という3種類が考えられる。しかし、1.は、操作方法を知ることで一定のクオリティを持つモーションを作ることができる。しかし、人間味のあるモーションを作るに至るまでは、いくらかの練習が必要である。2.について、そもそも自分の振り付けを行いたい動画が無ければ作ることができない。3.について現実的な方法ではあるが、自分がダンスを練習する必要があり、操作方法＋ダンススキルまで必要であり、困難であると予想できる。

そこで、クオリティの高いモーションデータを作成するために

作成者がMMDを用いて基本的なモーションを作る
踊り手の個性を付加する

という工程を行うことで、多大な練習をせずに人間味のあるモーションを作ることができるのではないか？
また、踊り手の個性を追加することで、モーションに対して個性を持たせることができ、簡単に表現に幅が生まれるのではないか？

初音ミクに学ぶ

初音ミク(Vocaloid)とは

メロディー（音階）と歌詞を入力するだけで、人間の声を元にした歌声を合成することができる。

2011年10月現在、製品は基本ソフトに基づくとVOCALOID（パッケージ製品として2004年にリリース）、VOCALOID2（パッケージ製品として2007年にリリース）、VOCALOID3（パッケージ製品として2011年にリリース）の３種が発売されている。

引用：dic.nicovideo.jp/a/vocaloid

この構図を真似たいと思っている。Vocaloidでいうと

音楽データ(歌詞+音階)+個性=初音ミク

というように音声を作り出すように、

振り付けデータ+個性

という風にすることで"個性のある人間味のあるモーション"を作り出すことができるのではないか？

モーションデータ作成のために初音ミクのモデル(手法)を真似てみる

というお話。

初音ミクの原理

音声合成について説明します。
詳細は引用元のrecognition.web.fc2.com/synthe/で。大まかに２つの手法があり、

素片接続法
HMM合成法

です。1.は簡単に言うならば、

"あ～ん"までの50音の音声データがあれば、それをつなぎあわせれば音声合成できるよね？

というお話です。これがVocaloidの仕組みのベースとなるものです。UTAUはこれを使っていたと思います。
2.はかなり異なっていて、

信号を入れると50音の音声を出力する

という風になっています。正直私も理解しきれていないので勘弁。
ただ大きく違う点は、

素片接続法は"音声そのもの"をプログラム内に持っている
HMM合成法は"音声を作り出す関数"をプログラム内に持っている

という点です。2の手法はどこで使われているかというとSinsyやOpenJTalkというようなものです。主に名古屋工業大学での音声合成はこの手法が多いです。MMDAgentはこの大学のOSSコンテンツだったりします。

なぜ２手法あるか？という疑問があると思います。ここが初音ミク・ボカロ・UTAU・Sinsyを区別するポイントだと思います。

アンドロイド

と発音したとしましょう。この時、

３文字目の"ド"と６文字目の"ド"の発音は同じか？

否

３文字目の"ド"は前の文字が"ン"で、その次の文字が"ロ"となっています。６文字目の"ド"は前の文字が"イ"となっていて、次の文字は無い。

前後の文字の影響を少なからず受けることが分かっています。

初期のUTAUは先の例であげたように、「"あ～ん"までの50音の音声データがあれば、それをつなぎあわせれば音声合成できるよね？」というアプローチをそのまま使っていたため、それほど良い音声が作れませんでした。そのためか、後になり"UTAU連続音源"なるものが生まれ、連続的に音が変わる部分を再現しています。

といっても連続音源にも無理が出てきます。ではいくつの連続した音源を用意したらいいのか？例えば5つの連続した音源を作りたいとしましょう。そうすると概算でも、50^5=312,500,000と3億個程度の音源が生まれます。(実際はもっと多い)
これは分類しきれません。そうなると、

必要最低限の連続音源でなめらかな音声合成が必要

となってきます。ここが凄いのがYAMAHAのVocaloid技術です。上記したようなことを再現するために、おそらくこの辺に大きな技術があると思われます。

じゃあもしVocaloid技術が公になって個人で自主制作でボカロが作れるようになるか？というと違うと思います。
「連続音源を用意すればいい」と簡単に言いましたが、録音環境であったり、音素の分割、または録音の時に生じたノイズの除去や、調整が必要であり、「音に通じた人」が必要不可欠です。したがって発売元であるクリプトンの音を操る技術が必要不可欠です。

実はそれらの難点を消すのがHMM合成法であったりします。先程
「HMM合成法は"音声を作り出す関数"をプログラム内に持っている」と書きましたが、同様に「音声が変化する部分を作り出す関数」を持てばいいんです。これにより連続音源を無限に用意するようなものはありません。プログラムにより自動生成されるわけですから。
その上内部では確率的なモデルを使用しているので元音源に少々ノイズが乗っていたとしても、ある程度は大丈夫なようで、かなりいい状態になってるようです→【Sinsy】「大！天才てれびくん」用クロスフェード【歌わせてみた】
興味深い資料として、初音ミクで歌った音源を元にしてSinsyで歌わせるという試み→【Sinsy】初音ミクの声で「げんこつ山のたぬきさん」【歌わせてみた】

これより分かることをまとめますと

文字をそれぞれの発音に変換する
音同士の接続

この２つが音声合成のキモであることが分かります。

問題点　～モーションの50音～

ボーカロイドで歌を歌わせる場合

歌詞データから音声への変換

となります。では、モーションへ個性を付加する場合は？

モーションからモーションへの変換

となります。どんなアプローチがあるか？

モーションデータ→モーションデータ
モーションデータ→振り付けデータ→モーションデータ

という2つのアプローチがあります。
1.はボカロというより、声質変換に近いものです。コナンの蝶ネクタイ型変声機のようなもので、音データを直接音データに変換するものです。2.はボカロに近くて、その例であれば、「音声データを認識して、文字列に変換して、ボカロに読ませる。」と言い変えることができます。

今回は2.のアプローチをしています。なぜ1.をしていないか？いや、まぁある程度作業終わった後に1.のアプローチを思いついたんです(ｻｰｾﾝ

では。「音声データを認識して、文字列に変換して、ボカロに読ませる。」と言った時、

音声データ＝モーションデータ

は想像に難くないが"文字列"にあたるのは何でしょう？
腕をあげるとか頭をふるとか。そういうふうなことをある一定の動作を範囲を決めて動作を定義(=符号化する)する必要があります。

んじゃどうやって定義しよう？

っていうのはまたの機会に。

では、今日はこのへんで。。。。。。。。

テーマ : プログラミング
ジャンル : コンピュータ

このページのトップへ

Pythonのバージョン違いのmsi形式ライブラリを無理やりインストールするメソッド

どうもごぶさたです。

今日はPythonからBluetoothのライブラリが使いたくてちょっと触っていたところハマったのでそれについて。

使ったのはPyBluez

私の環境は

Windows Vista Home Premium SP2
Python 2.7.1

でも、この記事を書いてる時(2011年11月23日)にはPython2.6用のライブラリしか無いんですね。

ｱﾗﾏｰ

一縷の望みを託してインストールするも・・・

が、ダメ・・・！！

そして、公式からソースを落としてくるも、Visual Studio が入っていないとコンパイルできないという仕様。

どうすっか(´・ω・｀)

以下、書いてあることは開発環境を潰す可能性があるので用法用量を守って正しくお使いください。

1.インストーラーを起動します。
2.うさみみハリケーンを起動します。
3.プロセス一覧が出るので、そこからインストーラーのプロセスを指定。
4.検索>メモリ置換
5.開始：00001000 範囲:10000000に設定(できるだけ大きな値にする)
6.検索:　テキストボックスに 2.6 を入力　データ形式に"文字列:UTF-8"を選択
7.置換:　テキストボックスに 2.7 を入力　データ形式に"文字列:UTF-8"を選択
8.「検索のみ実行」を実行。対象となるメモリアドレスが表示されます。(私の環境では16個)
9.「一括置換」を実行
10.インストーラーに戻り「次へ」を押すと・・・インストールできるようになります。そして、インストールが完了します。

割りとえげつないことをやっています。しかし、話は終わりません。

ここで、Pythonを起動し、
import bluetooth
とコマンドを打ちます。すると

Traceback (most recent call last):
File "", line 1, in
File "c:\library\Python27\lib\site-packages\bluetooth\__init__.py", line 31, in
from msbt import *
File "c:\library\Python27\lib\site-packages\bluetooth\msbt.py", line 2, in
import _msbt as bt
ImportError: Module use of python26.dll conflicts with this version of Python.

とでます。

ｱﾁｬｰ

というわけで、次の作業です。
1.Pythonの\Lib\site-packages\bluetoothに移動します。
2.Bzというソフトで移動したディレクトリにある_msbt.pydを開きます。
3.GUI上部にテキストボックスがあるので、そこから、"python26.dll"を検索します。私は002F26ぐらいに見つかりました。
4.編集>リードオンリのチェックを外します。
5.先ほど検索された"python26.dll"の"6"を"7"に書き換えて、上書き保存します。

そして、Pythonインタプリタから
import bluetooth
とするとエラーなくimportできます。

技術解説

やってることが割りとえげつないです。

やってることはほぼ
　　ゲーム改造技術
です

前半は対象のプロセス(インストーラー)のメモリを無理やり外部(うさみみハリケーン)から書き換えています。
こういうインストーラーはコンピュータにインストールされているバージョン情報を見て、インストールできるか否かを判断します。"その部分"を"書き換えてやる"ことで、そのチェックから逃れることができます。
この場合の"その部分"は"2.6"にあたり"書き換えてやる"のは"2.7に書き換えた"ということです。

後半部分は、_msbt.pydというファイルがpython26.dllというファイルを読み込んでいることに起因します。
Pythonのインタープリタはおそらく、ライブラリ側でバージョン違いのdllを読み込むと、それを排除しているようです。というわけで、そのdllを読み込む部分を書き換えてやれば動くと言うわけです。

仮想コードですが

read_dll("python26.dll")
をBzというバイナリエディタを用いて
read_dll("python27.dll")
としたのです。

で、それってちゃんと動くの・・・？となりますが、基本的にPython2系は後方互換をとっているので無理やりやったとしても動くだろうという楽観的観測(笑)でしたが、なんとかなりました。

msiライブラリも一長一短ですね。ライブラリの管理をwindowsまかせにできるのでpython側は管理システムをくまなくていい…私はeasy_install使ってますが

まぁ困ったときはお試しあれ！！

では今日はこの辺で…

テーマ : プログラミング
ジャンル : コンピュータ

このページのトップへ

ホーム次のページ »

このページのトップへ

ゐむだうづK.E.

スポンサーサイト

高専プロコン2012の競技部門を検証してみた

MMDモーションに踊り手の個性を付加する ～Weka+Jythonのクラスター分析・決定木学習～ Part 2.

MMDモーションに踊り手の個性を付加する ～データマイニング編～ Part 1.

MMDモーションに踊り手の個性を付加する ～初音ミクをまねて～ Part 0.

Pythonのバージョン違いのmsi形式ライブラリを無理やりインストールするメソッド

MMDモーションに踊り手の個性を付加する　～Weka+Jythonのクラスター分析・決定木学習～　Part 2.

MMDモーションに踊り手の個性を付加する　～データマイニング編～　Part 1.

MMDモーションに踊り手の個性を付加する　～初音ミクをまねて～　Part 0.