doxygen 日本語文字化け対策 その3

☆

「doxygen 日本語文字化け対策 その2」で示した文字化けを解決することができました。ドキュメント生成対象ファイルを読み込むときに、「2バイト目が 0x5c になる文字」の直後に 0x5c を挿入してやれば OK。

doctokenizer.cpp (doctokenizer.l) をいじる必要はなく、「doxygen 日本語文字化け対策」でいじった commentscan.cpp をさらにいじることで対処可能です。ファイルからバッファに文字列を読み込む処理

• yyread(char *buf,int max_size)

を修正することになります。

以下、オリジナルの(doxygen 日本語文字化け対策」の修正を施す前の) commentscan.cpp に対して前回と今回の修正(パッチ)を一気に当てるための context diff を示します。

*** commentscan.cpp.orig	Thu Jul 21 00:00:30 2005
--- commentscan.cpp	Wed Sep 07 19:59:29 2005
***************
*** 3412,3421 ****
--- 3412,3450 ----

  static int yyread(char *buf,int max_size)
  {
+ #if defined(_WIN32)
+ 	static bool isJapanese = theTranslator->idLanguage()=="japanese" ||
+ 			         theTranslator->idLanguage()=="japanese-en";
+ 	static bool isKanji    = false;
+
+ #ifndef	iskanji1
+ #define	iskanji1(s)	((((unsigned char)(s)>=0x81) && ((unsigned char)(s)<=0x9f)) || \
+ 			         (((unsigned char)(s)>=0xe0) && ((unsigned char)(s)<=0xfc))   )
+ #endif
+
+     if ( inputPosition == 0 )
+         isKanji = false;
+ #endif  /* _WIN32 */
+
      prevPosition=inputPosition;
      int c=0;
      while( c < max_size && inputString[inputPosition] )
      {
+ #if defined(_WIN32)
+ 	if ( isJapanese ) {
+ 		if ( !isKanji && iskanji1(inputString[inputPosition]) )
+ 			isKanji = true;
+ 		else if ( isKanji ) {
+ 			isKanji = false;
+ 			if ( inputString[inputPosition] == '\\' ) {
+ 				// 漢字の2バイト目が 0x5c のとき特別扱いが必要
+ 				*buf++ = '\\';
+ 				c++;
+ 			}
+ 		}
+ 	}
+ #endif  /* _WIN32 */
+
  	*buf = inputString[inputPosition++] ;
  	//printf("%d (%c)\n",*buf,*buf);
  	c++; buf++;
***************
*** 3649,3654 ****
--- 3678,3689 ----
  	register yy_state_type yy_current_state;
  	register char *yy_cp = NULL, *yy_bp = NULL;
  	register int yy_act;
+ #if defined(_WIN32)
+ 	static bool isJapanese  = theTranslator->idLanguage()=="japanese" ||
+                               theTranslator->idLanguage()=="japanese-en";
+ 	bool  isKanji = false;
+ 	bool  kanji5C = false;
+ #endif  /* _WIN32 */

  #line 779 "commentscan.l"

***************
*** 3715,3720 ****
--- 3750,3770 ----
  		do
  			{
  			register YY_CHAR yy_c = yy_ec[YY_SC_TO_UI(*yy_cp)];
+
+ #if defined(_WIN32)
+ 			if ( isJapanese ) {
+ 				if ( !isKanji && iskanji1(*yy_cp) )
+ 			 		isKanji = true;
+ 				else if ( isKanji ) {
+ 					isKanji = false;
+ 					if ( *yy_cp == '\\' )
+ 						kanji5C = true; // 漢字の2バイト目が 0x5c のとき特別扱いが必要
+ 				}
+ 			}
+ 			if ( kanji5C )
+ 				kanji5C = false;
+ 			else {
+ #endif  /* _WIN32 */
  			while ( yy_chk[yy_base[yy_current_state] + yy_c] != yy_current_state )
  				{
  				yy_current_state = (int) yy_def[yy_current_state];
***************
*** 3722,3727 ****
--- 3772,3780 ----
  					yy_c = yy_meta[(unsigned int) yy_c];
  				}
  			yy_current_state = yy_nxt[yy_base[yy_current_state] + (unsigned int) yy_c];
+ #if defined(_WIN32)
+ 			}
+ #endif  /* _WIN32 */
  			*yy_state_ptr++ = yy_current_state;
  			++yy_cp;
  			}

これで(今までに発見したパターンの)文字化けは完全になくなるはずです。まだ未知の文字化けパターンがあるかもしれませんが、見つけたときに対処することにします。

---

関連記事

• doxygen 日本語文字化け対策
• doxygen + graphviz で日本語を使った絵をドキュメントに埋め込む
• doxygen 日本語文字化け対策 その2
• doxygen (はてなダイアリーキーワード)
• Doxygen を使おう (OKA Toshiyuki さん)
• doxygen用コメントの書き方 (サクラエディタ一次配布サイト)