以下にTSC2の内容を説明します． ただし，本ページの内容は最終版ではなく，今後必要に応じて 更新される場合があります．更新を行う場合，ページ上で 行い，案内をしますので，ご了承下さい．

課題 B. : multi

複数の新聞記事を要約対象とする．いくつかの種類 のテキスト集合を対象とし， それらのテキスト集 合の要約を作成する．この際，テキスト集合を用意 するのに用いた情報(クエリ等)および要約の長さ も合わせてシステムに与える．なお，テキスト集合に対する要約の長さは複数 与えられる．

要約はplain textで作成し提出する． 要約の長さは，対象テキスト集合ごとに，要約の上限となる文字数が与えられ る．要約率をチェックするプログラムにより， 提出物が規定の要約率(文字数)を越えた場合は，提出された要約の先頭から規定文 字数のみを取り出し評価対象とする．なお，改行コードは1文字に数えない． また，提出物は，要約部分がplain textであることをチェックするプログラム(表 示用のタグ等を取り除くフィルタ)にかけた後評価を行なう．

• 評価法1: 主観評価
  

  人間の評価者(3人)に，原文および，人間の要約(自由作 成要約，重要個所抽出要約)， システムの要約，ベ ースラインシステムの要約の4つを提示し，原文の 重要な内容をどの程度要約がカバーしているか， 要約の読み易さの2つの評価基準で，要約を順序付 けてもらう．

  評価法1は，TSC1の課題A-2で すでに用いている評価法である．

• 評価法2: 「システムの要約に対する修正の度合」
  

  原文を読んでもらった上で，内容，可読性に関して，システムの要約を評価者 (3人)に添削してもらい，その度合を指標とする．添削は，挿入，削除，置換 の3つの操作のみで行なう．添削の度合としては，添削の個所数および，添削 の文字数を示す．

３−２） 課題 A.

３−３）課題 B.

３−３−１） TSCから各参加者に配布するデータおよびそのフォーマット

TSCは，課題B の各参加者に「参加者固有のID」と，以下の形式のデータを配布する．

==BNF==

file           	:= topic*

topic          	:= <TOPIC>topic-contents</TOPIC>

topic-contents 	:= topic-id keywords description ir-result sum-length*

topic-id       	:= <TOPIC-ID>number</TOPIC-ID>
	{検索要求のＩＤ番号}

keywords    	:= <KEYWORDS>keyword*</KEYWORDS>
	{検索要求となるキーワードのリスト}

keyword    	:= <KEYWORD>EUC string</KEYWORD>

description    	:= <DESCRIPTION>EUC-string</DESCRIPTION>
	{検索要求の簡潔な表現}

ir-result	:=<IR-RESULT>doc-id*</IR-RESULT>

doc-id		:=<DOCNO>number</DOCNO>
	{検索結果としてのテキストのID，課題Bの要約対象テキスト}

sum-length      :=<SUMLENGTH-C>number</SUMLENGTH-C>
        {要約の文字数，改行コードは文字数としてカウントしない}

例：
	<TOPIC>
	<TOPIC-ID>0001</TOPIC-ID>
	<KEYWORDS>
	<KEYWORD>自動</KEYWORD>
	<KEYWORD>要約</KEYWORD>
        </KEYWORDS>
	<DESCRIPTION>自動要約研究の新しい試み</DESCRIPTION>
	<IR-RESULT>
	<DOCNO>980101002</DOCNO>
	<DOCNO>950101008</DOCNO>
	...
	</IR-RESULT>
        <SUMLENGTH-C>150</SUMLENGTH-C>
        <SUMLENGTH-C>300</SUMLENGTH-C>
	</TOPIC>

３−３−２） 参加者からTSCに提出する結果のフォーマット

参加者は以下のフォーマットで結果を提出する．

==BNF==

file            :=system-id topic*

system-id       :=<SYSTEM-ID>number</SYSTEM-ID>
        {TSCが配布した，参加者固有のID}

topic           :=<TOPIC>topic-id sum-result*</TOPIC>

topic-id       	:=<TOPIC-ID>number</TOPIC-ID>

sum-result      :=<SUM-RESULT>sum-length sum-text</SUM-RESULT>

sum-length      :=<SUMLENGTH-C>number</SUMLENGTH-C>

sum-text        :=<SUMTEXT>EUC string</SUMTEXT>
        {TSCが指定した文字数以内のplainな要約テキスト}

例：
	<SYSTEM-ID>02010001</SYSTEM-ID>	
	<TOPIC>
	<TOPIC-ID>0001</TOPIC-ID>
	<SUM-RESULT>
        <SUMLENGTH-C>150</SUMLENGTH-C>
        <SUMTEXT>ＴＳＣという，テキスト自動要約の新しい試みが始まり，現在
        参加者を募っている．ＴＳＣが開催されることにより，日本におけるテキ
        スト自動要約技術の一層の発展が期待されている．</SUMTEXT>
	</SUM-RESULT>
	<SUM-RESULT>
	...
	</SUM-RESULT>
	</TOPIC>

４） 新聞記事データ

使用する毎日新聞記事データは98, 99年のものとします．参加者は各自データ を入手して下さい．

      2001年10月中旬 dryrun課題公表，結果提出
      2001年11, 12月 評価，評価公表
      2002年1月      分析
      2002年2月      round table
      2002年4月      formal run課題公表，結果提出
      2002年5-6月    評価，評価公表
      2002年7月      分析
      2002年8月      round table
      2002年10月     Workshop

     なお，NTCIRの参加申し込み受け付けは9月末までですが，tscでは，2002
     年2月末まで参加申し込みを随時受け付けます．dryrunに参加していなく
     ても， formal runのみの参加も受け付けます．

Dryrun:
      11月15-20日   参加システムへ課題の問い合わせ
      11月26日      課題の提示
      11月30日      結果提出期限
      2002年
      1月           評価結果の通知