(追加説明)
(ピンクは唇の形状を示し，赤の
線で口紅イメージの輪郭を示す。)
(カッコいい印象。)
(無難。)
(温かみのある印象。)
| 画像電子学会 The Institute of Image Electronics Engineers of Japan | 年次大会予稿 Proceedings of the Meida Computing Conference |
| †大阪工業大学 | †Osaka Institute of Technology | |
| ‡金沢工業大学 | ‡Kanazawa Institute of Technology |
E-mail: †{kuraya, komachi}@y-adagio.com, ‡mako@infor.kanazawa-it.ac.jp
化粧の心身への望ましい影響が指摘され，視覚障がい者に対するメイクアップの講習等が実施されているが，晴眼者によるサポートが前提となっている．しかし化粧は，原則として自己の要望(志向・嗜好)に合わせて自己を表現する手段であり，自身の顔等に繰り返し施しながら手先・指先等の動作を習得していく技法である1)．従って，視覚障がい者に関しても，自身で実施するための化粧支援システムの導入が望まれる2)．ここでは化粧の中でも多くの女性によって実施され，しかも化粧の効果が高いとされるリップメイクとアイメイクに着目して，主として10～60才の日本人女性視覚障がい者を対象とする化粧支援の検討を行う．
化粧支援のための情報技術は，まず化粧シミュレータにおいて導入された．化粧シミュレータは，化粧の習得に求められる多くの労力と時間を軽減するとともに，客観的評価を容易にするため，さらには化粧品の研究開発支援のために開発された．その際に，顔画像の取り込み，それに対して化粧品データを用いて，ユーザの要望・化粧操作に応じて顔画像の修正を施す技術が研究開発された1),3)．
その後，利用者の要望に合った化粧法を提供するシステムの検討が行われ，イメージと呼ぶ感性に基づく利用者要望の記述とそれに対応する顔パーツの特徴の抽出・記述と色記述の検討が行われた4),5),6)．顔画像からの唇の特徴抽出については，以前から機械読唇，表情分析を目的として研究が行われている7),8)．最近では，唇以外の顔構成要素に関しても顔画像からその要素の切り出しを行って，多様な処理を容易に実行できるソウトウェアライブラリの充実が図られている9)．
これらの研究成果を踏まえて，視覚障がい者を対象とした化粧学習支援システムが検討された1),2)．そこでは支援システムは画面表示に基づくシステムとなっていて，視覚障がい者への対応として，画面表示の内容を音声で読上げるソフトを追加している．
これらの先行研究を鑑みると，視覚障がい者のための化粧支援に関しては，支援システムにおける視覚障がい者に対する使いやすいユーザインタフェースの検討が不充分である．
視覚障がい者とシステムの間のインタフェースについては，点図などの触覚を利用するハードウェアが開発されているが，広く普及しているとは言い難い．そこでここでは，多くの視覚障がい者が多くの環境で利用できる日本語の音声をインタフェースに用いる．視覚障がい者は要望を支援システムに伝える．それに応じて支援システムが視覚障がい者にメイクの実施方法を伝え，メイク実施中にその状態を適切にフィードバックして，修正を促す．この支援インタフェースの開発に際しては，ユーザの感性を形容詞で表現するこれまでの試み5)を参照し，それの詳細化を行う．
筆者らは，文献16)において，リップメイク形状，アイブロウ形状の印象をことばで表現して，視覚障がい者による形状選択を可能にし，リップメイクおよびシャドウイングを実施する再に必要なロケーションモデルを提案した．次いで文献17)において，リップメイク，アイブロウ，アイシャドウのそれぞれで使われている色を分類して，各色の表現効果をことばで表現して視覚障がい者による色の選択を可能にすることを提案した．ここでは，これらの提案に基づき，リップメイク，アイブロウ，アイシャドウのそれぞれについて，視覚障がい者が色の選択し，形状を決めて，メイクを実施していく過程で必要となる音声対話に基づく支援インタフェースを提案する．
視覚障がい者のために，色を認識し，色名を音声で表示したり，色模様を音階で表示する研究10)が行われている．しかしメイクに用いる色の特定には，通常の色名では不十分であり，化粧品メーカは独自の色名を化粧品の識別に採用している．多くの場合，化粧品ユーザは化粧品をその色名で選択するのではなく，サンプル等で化粧品の色の表現効果を確認した上で選択し，色名は化粧品購入時等における識別子として用いるにすぎない．化粧品メーカは，化粧品ユーザによる化粧品選択のサポートのために，色名に対応する色の表現効果を形容詞・形容動詞等のことばによってカタログ等に示していることも多い．
メイクに用いる色の選択・指定を視覚障がい者が行うことを可能にするために，ことばによって説明された化粧品の色の表現効果に基づいて，障がい者が色の選択を行い，その説明に対応付けた色名によって指定する．
文献5)は化粧後の顔の"イメージ"を表わすことばとして，"かわいい"，"おとなしい"，"華やか"，"大人っぽい"の4種類を提案し，これらに基づいて，アイシャドウと口紅のPCCS表色系11)のトーンを決定する手法を提案している．
視覚障がい者による色の選択を容易にするために，色分類の簡素化は不可欠であるが，市販されている化粧品，特に口紅の色の多様性を考慮すると，この4分類では不十分である．
アイシャドウについてはその対話的なインタフェースの中で"色の濃さ"を用いているが，それは色の細かい選択手段としてのクォリファイアではなく，アイシャドウを行う際のパレットに用意された色区分である．
視覚障がい者には，色名とその表現効果を音声で伝えて，希望する色名を指定してもらい，さらにクォリファイアによってもっと細かい色選択をしてもらう．
代表的な化粧品メーカが提供する主要な口紅の色を調査して6種類に分類し，各分類に属する口紅に関する化粧品メーカ固有の色名とカタログに示された色とを，付録A.1の表A.1.1～A.1.6に示す．それらの表の各セルの内容は，上から順に製品番号，メーカ表示色名，メーカ表示色，JIS慣用色名，JIS英色名である．これは，表A.2.1，A.2.2および表A.3.1～A.3.7にも適用する．JIS慣用色名，JIS英色名は，測定用ツール14)を使用して実測した．
この各分類に属する口紅の色の表現効果を示すことばに，色名(分類色名)を対応付けて表1に示す．
|
表1 口紅としての色の表現効果
| |||||||||||||||||||||
|
代表的な化粧品メーカが提供する主要なアイブロウの色を調査して，2種類に分類し，各分類に属するアイブロウに関する化粧品メーカ固有の色名とカタログに示された色とを，付録A.2の表A.2.1, A.2.2に示す．
この各分類に属するアイブロウの色の表現効果を示すことばに，色名(分類色名)を対応付けて表2に示す．
|
表2 アイブロウとしての色の表現効果
| |||||||||
|
代表的な化粧品メーカが提供する主要なアイシャドウの色を調査して7種類に分類する．各分類に属するアイシャドウに関する化粧品メーカ固有の色名とカタログに示された色とを，付録A.3の表A.3.1～A.3.7に示す．なおここでは，視覚障がい者によるアイシャドウの色の選択とメイク操作とを容易にするため，2色のパレットに限定した．
この各分類に属するアイシャドウの色の表現効果を示すことばに，色名(分類色名)を対応付けて表3に示す．
この色名によって選んだアイシャドウのパレットには，付録A.3の表A.3.1～A.3.7にに示すとおり，"色の濃さ"を異にする2色が用意されている．アイシャドウを行う際の手順を示す対話的なインタフェースの中でこのパレットの薄い色と濃い色の使用がそれぞれ指示される．
|
表3 アイシャドウとしての色の表現効果
| ||||||||||||||||||||||||
|
顔画像から唇の輪郭形状は口唇周辺の明度と色成分の分布を調べることによって，特別な照明を施すことなく検出できる7)．リップメイクは，この輪郭形状に対して実施するのではなく，メイクする者がリップメイク結果の印象を実現する口紅イメージになるように修正した輪郭形状に対して実施される4)．そこでリップメイク結果の印象を示すことばを視覚障がい者に音声で伝えて，希望する口紅イメージを指定してもらい，次にその口紅イメージを描く方法を音声で視覚障がい者に伝える．
リップメイクの印象を表わすことばについては，文献4),5)が提案する形容詞(シャープ，ナチュラル，優しい)を用い，さらに表4のように追加説明を加えている．この印象を実現する口紅イメージとその描き方も表4に示す．
| 印象 (追加説明) | 口紅イメージ (ピンクは唇の形状を示し，赤の 線で口紅イメージの輪郭を示す。) | 口紅イメージの描き方 |
|---|---|---|
| シャープ (カッコいい印象。) |
| 唇の山と口角を鋭角的に描く。 |
| ナチュラル (無難。) |
| 唇の輪郭に沿って描く。 |
| 優しい (温かみのある印象。) |
| 唇の山と口角を丸みをつけて描く。 |
希望する口紅イメージになるべく近いリップメイクを指示するには，メイクされた輪郭形状と希望する口紅イメージとの差を適切にメイクする者にフィードバックして修正を指示する必要がある．この時に配慮すべきことは，視覚障がいのあるメイクする者にとって分かりやすく，しかもメイクの修正を施し易い指示でなければならない．例えば顔座標における位置をmm単位で指定されても，メイクする者は修正を開始できない．
メイクする者が必要とする情報は，どの部分を太らせるか細めるかである．部分の指定はリップメイクに際して適切な精度であることが必要である．そこでここでは図1に示す位置モデルを提案し，そこに示される各位置を図2の呼称で指示する．
太らせるか細めるかの程度も適切な精度であることが必要であり，唇の厚さの1/5を単位として，図3の指定を用いることとする．
 図1 リップメイクの位置モデル |
図2 リップメイクにおける位置の呼称
図3 太らせる(細める)程度の指定 | ||||||||||||||||||||||||||||||||||||||||||
節3.1および3.2の検討に基づいて，リップメイクを行う者と支援システムとの間の対話を実行するための支援インタフェースを図4に示す．この支援インタフェースを用いて，リップメイクを行う者と支援システムとの間で実行される対話の例を，付録Bに示す．
このインタフェースでは，色名と表現効果，口紅イメージの印象，描き方，修正の位置と程度についての指示の説明が入るため，システムに慣れたユーザには，分かっている説明を繰り返し聞かされることが煩わしい．このインタフェースでは説明の途中でもユーザによる選択を受け付けることによって，その煩わしさの軽減を図っているが，さらに図4のstep 1, 6, 9, 11を省いた，システムに慣れたユーザ向けのインタフェースも用意している．
図4 リップメイク支援インタフェース
眉毛は顔全体の印象に大きく影響を与え，図5に示すような鼻と目の位置からバランスのよい整え方が望まれる12)．しかし左右対称の適切なアイブロウは晴眼者でも難しいため，アイブロウテンプレートなどのツールが提供されている．これを用いると，鼻，目頭，目尻，眉頭の位置から定まる位置に，メイクする者がアイブロウ結果の印象を実現する眉毛イメージのアイブロウ形状13)のテンプレートをあてがって，眉毛を書くことができる．
テンプレートを用いる場合，アイブロウ結果の印象を示すことばを視覚障がい者に音声で伝えて，希望する眉毛イメージを指定してもらい，次にその眉毛イメージに対応するテンプレートのアイブロウ形状を選択し(眉毛イメージと実際のテンプレートのアイブロウ形状との対応は，テンプレートに依存する．)，眉毛を描いてもらう．
アイブロウ結果の印象を示すことば(形容詞と追加説明)，およびそれに対応する眉毛イメージを表5に示す． テンプレートを利用すれば，希望する眉毛イメージとアイブロウ結果の眉毛形状との差異に関するフィードバックはほとんどの場合不要である．
 図5 アイブロウ |
|
節4.1の検討に基づいて，アイブロウを行う者と支援システムとの間の対話を実行するための支援インタフェースを図6に示す．
アイブロウの色に関しては，頭髪の色との関係が深いため，まずユーザに対して頭髪の色の問合せを行い，それと整合し易いアイブロウの推奨色(付録Cを参照)を提示した後，アイブロウの色の選択をユーザに求めるようにしている．
このインタフェースでは，色名と表現効果，眉毛イメージの印象の説明，および頭髪の色の問合せとアイブロウ推奨色の提示が入るため，システムに慣れたユーザには，分かっている説明・提示を繰り返し聞かされることが煩わしい．このインタフェースでは説明の途中でもユーザによる選択を受け付けることによって，その煩わしさの軽減を図っているが，さらに図6のstep 1, 2, 3, 4, 9を省いた，システムに慣れたユーザ向けのインタフェースも用意している．
図6 アイブロウ支援インタフェース
アイシャドウはまぶたに対して図7のような濃さで，ベースを眉毛の下からまぶた全体になじませる．濃さの変化率に不自然さがあるとき，化粧支援システムはその位置を，図7に示す位置①，②，③に対応する表6の呼称によって，視覚障がい者に知らせる．
化粧支援システムは，アイシャドウとしての色の表現効果を示すことばをユーザに音声で伝えて，ユーザが希望する色を指定してもらった後，まぶた全体への薄い色の塗り方を説明して，それに従ったシャドウイングを求め，次にまつ毛の生え際への濃い色の塗り方を説明して，それに従ったシャドウイングを求める．
ユーザによってその作業の終了が指示されると，化粧支援システムはシャドウイング結果をチェックして濃さの変化率が不適切である位置を表6の呼称によって音声で伝え，修正を指示する．
 図7 アイシャドウにおける位置と色の濃さとの関係 |
|
節5.1の検討に基づいて，アイシャドウを行う者と支援システムとの間の対話を実行するための支援インタフェースを図8に示す．
このインタフェースでは，色名と表現効果，まぶた全体への塗り方，まつ毛の生え際への塗り方，修正位置の指示の説明が入るため，システムに慣れたユーザには，分かっている説明を繰り返し聞かされることが煩わしい．このインタフェースでは説明の途中でもユーザによる選択を受け付けることによって，その煩わしさの軽減を図っているが，さらに図8のstep 1, 4, 6, 8を省いた，システムに慣れたユーザ向けのインタフェースも用意している．
図8 アイシャドウ支援インタフェース
ここで提案したリップメイクとアイメイクの支援インタフェースによって実際に化粧支援が行えるかを調べるため，図9に示す実験システムを実装して，リップメイクとアイメイクを実施した．そこでは，画像・音声入力システムによって被験者の顔画像から，唇，目および眉毛の領域を切り出して操作者に示すと共に，被験者が話す音声をシステムの操作者に伝える．操作者は，それらの情報を処理して支援インタフェースに用意された音声を選択し，被験者に音声で指示を与える．
図9 支援インタフェースの実験システム
OpenCV 2.2を用いて，Haar-like特徴量15)に基づいて，入力された画像から顔の領域を抽出する．顔の領域からさらにHaar-like特徴量に基づいて，唇の領域および目の領域を抽出する(図10参照)．眉毛の領域は，図11に示す目の領域との位置関係を用いて抽出する．顔，唇，目および眉毛の領域の抽出結果の表示例を図12に示す．
図10 顔，唇および目の領域の抽出
図11 目と眉毛の領域の関係 |
図12 顔，唇，目および眉毛の領域の抽出結果表示 |
操作者は，図13にその一部を示す操作画面を用いて，支援インタフェースとして用意された音声を指定して被験者に聞かせる．
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
図13 支援インタフェースとして用意された音声を選択する操作画面 (アイシャドウにおける通常対話用)
この実験システムを使って，実際に化粧を行う実験を行った．対話文(文例については付録B参照．)の全てが使われるように様々なケースを想定して，化粧支援実験を繰り返した．図14, 図16に，それぞれリップメイク，アイシャドウをインタフェースの指示どおりに行った結果の修正前の状態と修正後の状態を示す．図15は，支援インタフェースの指示に従ってアイブロウを実施した結果を示す．様々なケースで繰り返し化粧を行い，また化粧の修正を行ったが，化粧および修正が指示通りにできなかったことはなく，ここで提案した支援インタフェースが化粧支援に使えることを確認できた．
| 
| |
| (a) 修正前 | (b) 修正後 |
| 
| |
| (a) 優しい(前剃り) | (b) ナチュラル(眉毛あり) |
| 
| |
| (a) 修正前 | (b) 修正後 |
メイクする者と化粧支援システムとの対話シナリオは，システムに不慣れなユーザを配慮して，ステップ毎に確認を取りながらメイク作業を進めるものとした．しかしシステムに慣れたユーザにとって既に分かっている内容の繰り返しが多く，煩わしいものになり易いため，システムに慣れたユーザ向けに，内容の繰り返しを少なくした別シナリオも用意にした．こちらについても，被験者に対して化粧支援実験を行い，すべてのケースについて指示通りに化粧およびその修正ができた．
支援インタフェースが視覚障がい者にとって問題がないかを調査するため，石川県視覚障害者協会 視覚障害者情報文化センターに協力いただき，職員の方に支援インタフェースを音声応答を経験していただいて，職員の方からのヒアリング調査という形で，評価していただいた．そこでの主要なコメントを次に示す．
これらのコメントより，支援インタフェースが視覚障がい者にとって有用であることが確認できた．(4)については、適切な要望であり，対応が望まれるが，今回提案した支援インタフェースの上位レベルに位置するものと考えられる．
晴眼者によるサポートなしに，視覚障がい者がリップメイクおよびアイメイク(アイブロウとアイシャドウ)を行うための化粧支援システムに必要な対話型の支援インタフェースについて検討し，メイクする者が希望するメイク内容を化粧支援システムに伝える情報，および化粧支援システムからメイクする者へメイク作業を指示する情報の交換手順を提案した．メイクする者と化粧支援システムとの対話は，特殊なハードウェアを用いず，多くの視覚障がい者が多くの環境で利用できる日本語の音声によって実行するものとした．
メイクする者が希望する色および形状を，そのメイク結果の表現効果，印象を示すことばで表わして，視覚障がい者による選択の指針とした．メイク作業の指示に必要な位置については，メイクし易い精度の位置モデルを導入し，位置を音声で指示する際の分かりやすい位置の呼称を提案し，インタフェースの中で用いた．
今回対象にしたリップメイク，アイブロウ，アイシャドウの相互の関連性，他の部分の化粧との関連性については，アイブロウにおいて頭髪との関連に基づく色の推奨案を支援インタフェースに含めた．これらの多くは，今回提案した支援インタフェースの上位レベルに位置するものとも考えられるが，今後の課題としてさらに検討を必要とする．
対話型の支援インタフェースの妥当性を調べるため，実験システムを用意して，それを石川県視覚障害者協会 視覚障害者情報文化センターに持ち込み，職員の方へのヒアリング調査という形で，この支援インタフェースで視覚障がい者が実際にメイクできることを確かめた．
本研究では，化粧支援システムに必要な対話型の支援インタフェースだけに着目して検討を行った．顔画像から抽出された顔の構成要素に関する化粧結果の処理については，既に職業大での研究報告等1),2)があるため，本研究の対象外とし，支援インタフェースの実験システムでは，顔画像から抽出された唇，目および眉毛についての化粧結果のチェックからそれに応じた音声メッセージの選択までは操作者による運用とした．
今後は，操作者による運用の部分のアルゴリズムをプログラムで作成し，自律したシステムを構築していくことが好ましいが，現在の実験システムの操作者による運用のままでも，操作者へ提示される部分をインターネット上の回線でつなげば，操作者(支援者)がその場にいなくても運用できる遠隔化粧支援システムとして利用できるのではないかと考えている．
本研究に際して，視覚障がい者をサポートする立場でリップメイクとアイメイクの支援インタフェースを実際に評価し，多くの有益なコメントを下さった石川県視覚障害者協会 視覚障害者情報文化センターの柴野秀雄主事および今井菜穂子氏に感謝する．
節3.3の支援インタフェースを用いて，リップメイクを行う者と支援システムとの間で実行される対話の例を次に示す．
アイブロウの色は，髪色と瞳の中間の色が望ましいとされている。ここでは，日本人女性を対象とするため，瞳の色に大きな差はないと考え，インタフェースでは瞳の色の確認を行っていない。髪色については，毛染めまたはwigを使用している場合を考慮して，インタフェースで髪色を確認した。
そこでアイブロウの4色を推奨する各場合の，毛染めまたはwigによる髪色を表C.1～C.4に示す
