インポート

• 目的・用途

本機能は、管理者として、アイテムの一括登録を実行する機能である。

• 利用方法

管理者は 【Administration > アイテム管理（Items） > インポート（Import）画面】を開き、アイテム一括登録用のzipファイルを登録する。

• 利用可能なロール

※コミュニティ管理者は、自身の管理下にあるコミュニティに関連付けられたインデックスへのインポートのみ可能

• 機能内容

1. 概要

• 複数のアイテムを一括で登録する機能。システム管理者、リポジトリ管理者のみ使用できる。

• 登録形式はBagitだが、ユーザにそれを意識させないようにしている。詳細はの1を参照。

• 機能は3つの画面で構成されている。

• 以下は各画面の関連と役割。

+----------+ ≪選択画面≫

| | ●各アイテムタイプのTSVファイルテンプレートのダウンロード

| Select | ●インポートファイルの指定

| | ●「識別子変更モード」の設定と利用規約への同意

+----------+

↓

↓【Next】 button click!

↓

+----------+ ≪インポート画面≫

| | ●TSVファイルで指定した項目のチェック結果の確認

| Import | ●チェック結果のダウンロード

| |

+----------+

↓

↓【Import】 button click!

↓

+----------+ ≪結果画面≫

| | ●アイテムごとのインポート実行結果の確認

| Result | ●インポート実行結果のダウンロード

| |

+----------+

2. 画面ごとの仕様

2.1 選択画面(Select)

• 各アイテムタイプのTSVファイルテンプレートのダウンロードとインポートファイルを指定する画面。
  また「識別子変更モード」の設定と利用規約への同意を実施する

────────────────────────────────────────────────

## Message Area ## ★

────────────────────────────────────────────────

┌───────┐

│Select │Import Result

┘ └─────────────────────────────────────

Select File 【Select File】①

Selected file name ②

□ Change Identifier Mode ③

【Next】④

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

Item Type Template

Item Type:[ ⑤ ]【Download】⑥

★Message Area（管理画面共通）

• インポートファイルのチェックでエラーが発生した際にメッセージを表示する。

• 表示されるエラーメッセージは3.2(4)-1参照。

①［ファイル選択（Select File）］ボタン

• 押下するとファイル選択ダイアログを表示する。選択可能なファイルはzip形式で1つのみ。

②Selected file name ラベル

• ①で選択したファイル名を表示する。未選択時は「選択したファイル名（Selected file name）」を表示。

③Change Identifier Mode チェックボックス

• DOIやCNRIを変更する際に設定する。チェックありで④を押下すると「免責事項ダイアログ」が表示される。
  免責事項の文面は以下（テキストファイルで保持。ファイルパスはコンフィグ管理→処理概要の2を参照）

• 免責事項ダイアログには［OK］ボタンと［キャンセル（Cancel）］ボタンがある。［OK］ボタンは、「利用規約に同意します（I agree to the terms of use.）」がチェックされるまでは非活性。［OK］ボタンを押下するとインポートファイルのチェックを行い、通過するとImport画面に遷移する。

• チェックありの状態でImport画面に遷移してから選択画面に戻ると、選択ファイルを変更するまでは非活性になっており変更できない。

Japanese:

免責事項：

・本機能は設定にかかわらずDOIを強制的に変更します。

・本機能は内容及び自機関で登録されているDOIについて十分に理解した上で作業を行なってください。

・本機能の利用は、自機間の責任で行なってください。

・本機能の利用により負った損害などについては、国立情報学研究所は一切の責任を追いません。

English:

- This function forcibly changes the DOI regardless of the setting.

- Before starting this operation, you need fully understand the contents and DOI registered at your institution.

- Use this function on your own responsibility.

- National Institute of Informatics (NII) does not take any responsibility for damages caused by using this function.

④［次へ（Next）］ボタン

• ①でファイルが選択されるまでは非活性。
  ただし、拡張子が「zip」でないファイルが選択された場合は活性化しない。
  押下するとインポートファイルのチェックを行い、通過するとImport画面に遷移する。
  チェック処理については、3.2(4)を参照。

⑤Item Type セレクタ―

• TSVファイルテンプレートをダウンロードする際、対象とするアイテムタイプを選択する。
  【Administration > アイテムタイプ管理（Item Types） > メタデータ（Metadata）】画面で確認できる標準アイテムタイプ（Standard Item Type）を表示。
  表示形式は「Item Type name(Item Type ID)」。

⑥Download ボタン

• 押下すると⑤で選択したアイテムタイプのTSVファイルテンプレートをダウンロードする。
  ファイルについては4.1参照。

2.2 インポート画面(Import)

• TSVファイルで指定した項目のチェック結果の確認とチェック結果のダウンロードができる。

┌──────┐

Select │Import│ Result

───────┘ └─────────────────────────────────────

# Identifier Mode #①

【Import】②

Summary

Total: ③

New Item: ④

Update: ⑤

Check error: ⑥

【Download】⑦

┏━━━━┳━━━━━━━━━━┳━━━━━━━━┳━━━━━━┳━━━━━━━━━━━━┓

┃No. ┃Item Type ┃Item ID ┃Title ┃Check Result┃

┣━━━━╋━━━━━━━━━━╋━━━━━━━━╋━━━━━━╋━━━━━━━━━━━━┫

┃ ⑧ ┃ ⑨ ┃ ⑩ ┃ ⑪ ┃ ⑫ ┃

┗━━━━┻━━━━━━━━━━┻━━━━━━━━┻━━━━━━┻━━━━━━━━━━━━┛

①Message ラベル

• ※名称は要検討
  Select画面の「③Change Identifier Mode チェックボックス」にチェックを入れた場合。メッセージ「識別子変更モードで登録します(Register with [Change Identigier Mode].)」を表示する。

②Import ボタン

• 押下するとインポートを実行する。
  対象データがすべてエラーなど、インポートできない場合は非活性。

③Summary/Total ラベル

• TSVファイルで設定されたアイテムの総数。TSVファイルが複数存在した場合、各ファイルで設定されたアイテムの合計を表示する。

④Summary/New Item ラベル

• ③の内、新規登録アイテムとなる件数を表示する。

⑤Summary/Update ラベル

• ③の内、更新アイテムとなる件数を表示する。

⑥Summary/Check error ラベル

• ③の内、TSVファイルの設定内容にエラーがある件数を表示する。

⑦Download ボタン

• インポートファイルのチェック結果をTSV形式で出力する。出力項目が当該画面の⑧～⑫。
  ダウンロードするファイルは4.2を参照。

⑧表/No.

• 項番。Not処理順。

⑨表/Item Type

• アイテムをインポートする際に使用するアイテムタイプ名を表示する

⑩表/Item ID

• 新規登録の場合

  • TSVファイルでID指定あり→「新規登録（Item ID）」

  • TSVファイルでID指定無し→ 空白

• 更新の場合

  • TSVファイルで指定したIDを表示する

⑪表/Title

• アイテムのタイトルを以下のルールで表示する。

  • システムの言語属性に合わせたタイトルを表示する

  • 一致するものがない場合は英語表記で表示する

  • 画面の横幅に応じて表示する文字数をトリミング（末尾を「…」に置換）する

⑫表/Check Result

• TSVファイルの設定内容について、チェックした結果を以下の形式（()は英語表記）で表示する。

  • 新規登録→「登録(Registre)」

  • 更新→「更新(Update)」

  • エラー→「エラー(ERROR)：\<エラーメッセージ>」

  • ワーニング→「警告(Warning)：\<警告メッセージ>」

• チェック仕様については、3.2(4)-2~3を参照

2.3 結果画面(Result)

• アイテムごとのインポート実行結果の確認とインポート実行結果のダウンロードができる。

• 現状、処理中に一度画面を離れた場合、処理はCeleryで管理されて継続するが、画面で進捗状況を再度確認することはできない。

┌──────┐

Select Import │Result│

───────────────┘ └─────────────────────────────────────

【Download】①

┏━━━━┳━━━━━━━━━━━┳━━━━━━━━━┳━━━━━━━┳━━━━━━┳━━━━━━━━━━━━━━━┓

┃No. ┃Start Date ┃End Date ┃Item Id┃Action┃WrokFlow Status┃

┣━━━━╋━━━━━━━━━━━╋━━━━━━━━━╋━━━━━━━╋━━━━━━╋━━━━━━━━━━━━━━━┫

┃ ② ┃ ③ ┃ ④ ┃ ⑤ ┃ ⑥ ┃ ⑦ ┃

┗━━━━┻━━━━━━━━━━━┻━━━━━━━━━┻━━━━━━━┻━━━━━━┻━━━━━━━━━━━━━━━┛

①Download ボタン

• インポート処理の実行結果を出力する。項目は当該画面の②～⑦．

• ダウンロードファイルについては4.3参照。

②表/No.

• 項番。Not処理順。

③表/Start Date

• アイテムの登録処理を開始した日時。YYYY-MM-DD hh:mm:ssで表示する。

④表/End Date

• アイテムの登録処理が完了した日時。YYYY-MM-DD hh:mm:ssで表示する。

⑤表/Item Id

• 処理対処のアイテムIDを表示する。新規登録の場合は空欄。

⑥表/Action

• 以下を表示する。

  • 「Start」：アイテム登録の処理が開始されている

  • 「End」：アイテム登録の処理が正常に終了している。

  • 「Error」：アイテム登録の処理がエラーで終了している。

⑦表/WorkFlow Status

• 処理中のワークフローのステータスを表示する。

3. インポートファイル／TSVファイルについて

3.1 インポートファイル

• エクスポート（一括出力）したファイルを流用できる

• 対応しているファイル形式：zip（他の圧縮形式は不可）実装の詳細は処理概要の1を参照。

• フォルダ構成

import.zip

│

├bag-info.txt ※

├bagit.txt ※

├manifest-sha256.txt ※

├manifest-sha512.txt ※

├tagmanifest-sha256.txt ※

├tagmanifest-shar512.txt ※

│

└/data

│

├/recid_n

│ └\

│

├ItemTypeName1(ItemType ID).tsv

└ItemTypeName2(ItemType ID).tsv

※はBagit形式のファイル。インポート時は省略可能

• 「/data」は変更不可

• 「/recid_n」は変更可

• アイテムタイプのTSVファイルは複数指定可能

3.2 アイテムタイプごとのTSVファイル

• 当該ファイルは以下で共通のレイアウトとしている。

  • Select画面でダウンロードできるテンプレートファイル(4.1)

  • インポートファイルに含めるアイテムタイプTSVファイル

  • エクスポート（一括出力）ファイルに含まれるアイテムタイプTSVファイル

(1) ヘッダ行

ヘッダ行は先頭が「#」とする。

• 1行目：インポートするアイテムタイプの情報

• 2行目：各項目のJSONパス。各種処理に使用される項目。

• 3行目：各項目のラベル。

  • アイテムタイプ以外の項目
    → 項目ごとにラベルの内容を定義。

  • アイテムタイプ項目
    → 【Administration > アイテムタイプ管理（ItemTypes） > メタデータ（Metadata）画面】のLocalization Settingで設定している内容を出力。設定がない場合は項目名を出力。

• 4行目：インポート実行時に値を自動で設定する項目について「System」を出力 。対象はプロパティ定義内で「"readonly":true」を設定している項目。

• 5行目：各項目について「Allow Multiple」（繰り返し可）「Requierd」（必須）を出力

  • アイテムタイプ以外の項目
    → 項目ごとにラベルの内容を定義。

  • アイテムタイプ項目
    → 【Administration > アイテムタイプ管理（ItemTypes） > メタデータ（Metadata）画面】のOptionの設定内容がチェックありの項目について出力

(2) アイテムタイプ項目以外の項目

• ※1) インデックス名称について
  POS_INDEXは階層を指定して記述する。階層の区切り文字はデフォルトで「///」。weko_items_ui/config.py の WEKO_ITEMS_UI_INDEX_PATH_SPLIT にて区切り文字の変更が可能。
  同名のインデックスが複数存在した場合は、すべてのインデックスに登録される。
  日本語名称、英語名称のいずれかを指定できる。日本語名称のインデックスと英語名称のインデックスをまぜて指定することはできない。

• ※2) CNRIハンドルサーバの使用について
  CNRIハンドルの使用状態は「WEKO_HANDLE_ALLOW_REGISTER_CRNI」(modules/weko-handle/weko_handle/config.py)の設定値で判断している

  • 「False」：初期値。CNRIハンドルサーバを使用しない

  • 「True」：CNRIハンドルサーバを使用する

• ※3) CNRIとDOIの自動採番時の指定について
  現状は以下の通り。

  • 識別子変更モード

    • DOIの自動採番は行わない。
      インポートファイルにdoiやprefixが含まれている場合はエラーメッセージを表示する。

      • DOIが空欄の場合
        　「Please specify DOI prefix/suffix.」

      • インポートファイルにdoiやprefixが含まれている場合　(「prefix」もしくは「prefix/」を指定した場合）
        　「DOI suffixを設定してください。」／「Please specify DOI suffix.」

  • Not 識別子変更モード

    • Admin > Setting > Identifier でprefixの設定があること

    • DOI：空欄であること

    • DOI_RA：JaLC, Crossref, DataCite のいずれかであること

    • DOI_RA：NDL JaLCの場合、自動採番は行われない。 インポートファイルにdoiやprefixが含まれている場合はエラーメッセージを表示する。
      • DOIが空欄の場合 　 「Please specify DOI prefix/suffix.」
      • インポートファイルにdoiやprefixが含まれている場合　(「prefix」もしくは「prefix/」を指定した場合） 　 「DOI suffixを設定してください。」／「Please specify DOI suffix.」

• ※4) DataCiteについて
  制限等は現状設けていない

• ※5) NDL JaLCについて
  DOI RA：NDL JaLCの場合、資源タイプは「doctoral thesis」である必要があります。

• CNRIハンドルの未設定・設定ユーザーのDOI付与状況は以下の通り。

• (3) アイテムタイプ項目

基本はアイテムタイプに定義されている項目（プロパティ）に対して、TSVファイル内で設定されている内容を登録する。
次の項目は項目の設定以外の処理を行っている。

－1. コンテンツファイル

コンテンツファイルを指定してアップロードする。
自動設定は本文URLのみ対応済。

プロパティID：
項目：

※1: 本文URLは「THEME_SITEURL」(/home/invenio/.virtualenvs/invenio/var/instance/invenio.cfg") を利用して生成している。ルールは以下の通り。

• file_path & 本文URLの両方を指定された場合、本文URLを無視し、システムがURLを生成し上書きする。

• file_path のみ指定された場合、URLを生成し登録する。

• 本文URLのみ指定された場合、URLを使って登録する。

－2. サムネイルファイル

プロパティID：
項目：

－3. 自動設定の項目

• 出版タイプ （JPCOARスキーマ「出版タイプ」：https://schema.irdb.nii.ac.jp/ja/schema/1.0.2/16 の統制語彙に基づく）
  プロパティID：
  項目：

• アクセス権 （JPCOARスキーマ「アクセス権」：https://schema.irdb.nii.ac.jp/ja/schema/1.0.2/5 の統制語彙に基づく）
  プロパティID：
  項目：

• 資源タイプ （JPCOARスキーマ「資源タイプ」：https://schema.irdb.nii.ac.jp/ja/schema/1.0.2/14 の統制語彙に基づく）
  プロパティID：
  項目：

[※]各Resource項目の自動設定機能は、【Administration > アイテムタイプ管理（ItemTypes） > マッピング（Mapping）画面】で対象のアイテムタイプについてJPCOARスキーマのマッピングが設定されている必要があります。
　「出版タイプ」と「アクセス権」については、移行ツール作成のアイテムタイプに含まれていない項目なので、該当環境で項目を追加した際は必ずマッピング設定をしてください。

(4) チェック仕様

-1. インポートファイル、TSVファイルの形式チェック

最初に実施。
エラーの場合は、Select（選択）画面の#Message Area#にメッセージを出力する。ただし、#2はImport（インポート）画面の表/Check Resultに出力。

-2. メタデータ項目以外のチェック

アイテムタイプのメタデータ以外の項目についてチェック仕様。
各項目は「JSONパス（ラベル）」で記載。
エラーメッセージはImport（インポート）画面の表/Check Resultに出力。

• .id（ID）

• .id（ID）と.uri（URI）

• .metadata.path[0]（.IndexID[0]）

• .pos_index[0]（.POS_INDEX[0]）

• .metadata.path[0]（.IndexID[0]）と.pos_index[0]（.POS_INDEX[0]）

• .publish_status（.PUBLISH_STATUS）

• .feedback_mail[0]（.FEEDBACK_MAIL[0]）

• .cnri（.CNRI）

• .doi_ra（.DOI_RA）と.doi（.DOI）

• .doi_ra（.DOI_RA）

• .doi（.DOI）

• .edit_mode（Keep/Upgrade Version）

• .file_path[0]（.ファイルパス[#]）または.thumbnail_path[#]（.サムネイルパス[#]）

• .file_path[0]（.ファイルパス[#]）とメタデータのファイル名／表示名 ※メタデータ項目の関連チェックだがここに記載

• .thumbnail_path[#]（.サムネイルパス[#]）

• .upload_id[#]（.ファイルアップロードID[#]）

-3. メタデータ項目のチェック

基本的なチェックはライブラリを使用している。(#1～3が該当)
4～8はそれぞれ実装。
エラーメッセージはImport（インポート）画面の表/Check Resultに出力。

-4. DOI付与アイテムの項目チェック

DOIを指定したアイテムについて、指定された項目が各DOI付与の要件を見ているかを確認。
当該処理は個別登録のチェック処理を呼び出し実施している。

-5. ファイル以外のチェック

操作アカウントの権限チェックを行う。

4. ダウンロードファイルについて

4.1 テンプレートファイル

• Select（選択）画面でダウンロードできる。アイテムタイプ（Item Type）セレクタ―で選択したアイテムタイプについて、ヘッダ行のみ出力したインポートに使用するTSVファイル。

• ファイル名は「アイテムタイプ名(アイテムタイプID).tsv」で、詳細は3.2を参照。

• TSV形式で文字コードはBOMありUTF-8、改行コードはLF

◆出力イメージ

#ItemType 紀要論文（出版者版、オープンアクセス、JaLC_DOI_登録あり）(16) https://FQDN/items/jsonschema/16

#.id .uri .metadata.path[0] .pos_index[0] .publish_status .feedback_mail[0] .cnri .doi_ra .doi .edit_mode .metadata.pubdate　 …

#ID URI .IndexID[0] .POS_INDEX[0] .PUBLISH_STATUS .FEEDBACK_MAIL[0] .CNRI .DOI_RA .DOI Keep/Upgrade Version PubDate …

# …

# Allow Multiple Allow Multiple Required Allow Multiple Required Required …

4.2 インポート前チェック結果ファイル

• Import（インポート）画面でダウンロードできる。同画面の表に表示されているチェック結果をTSV形式で出力したファイル。

• ファイル名は「Check_ダウンロード日付.tsv」で、2.2⑧～⑫の項目を出力。

◆出力イメージ

#No. Item Type Item ID Title Check Result

4.3 インポート実行結果ファイル

• Result（結果）画面でダウンロードできる。同画面の表に表示されているインポート実行結果をTSV形式で出力したファイル。

• ファイル名は「List_ダウンロード日付.tsv」で、2.3②～⑦の項目を出力。

• TSV形式で文字コードはBOM無しUTF-8、改行コードはLF

◆出力イメージ

#No. Start Date End Date Item Id Action WorkFlow Status

4.4. 「インポート」（Import）タブで一括登録のアイテムを確認・登録する

• インポート」（Import）タブ
  読み込んだzipファイルの内容を表示し、一括登録して良いかの確認を促す
  表示項目は以下の通りである

  • 「識別子 変更モード」で登録する旨のメッセージを表示する

    • ［Import］ボタンの上に赤字で以下のメッセージを表示する
      メッセージ：
      日本語：「 識別子で登録します」
      英語：「Register with [Change Identifier Mode].」

    • 「Import」タブから「Selectタブ」に遷移した場合、「識別子変更モード」チェックボックスはチェックありで非活性となっている

  • 「サマリー」(Summary)
    読み込んだファイルのアイテム情報について、以下の件数を表示する

    • 総計(Total)：読み込んだファイルのアイテム数

    • 新規登録アイテム(New Item)：読み込んだファイルのアイテムの内、新規登録となるアイテム数

    • 更新アイテム(Update Item)：読み込んだファイルのアイテムの内、更新のアイテム数

    • チェックエラー(Result Error)：バリデートチェックでバリデートエラーとなったアイテム数

  • 詳細情報

    • 「No.」
      読み込んだファイルのアイテムの通し番号を表示する

    • 「アイテムタイプ」（Item Type）
      読み込んだファイルのアイテムについて、登録されるアイテムタイプ名を表示する

    • 「アイテムID」（Item Id）
      読み込んだファイルのアイテムについて、新規登録／更新によって表示する内容を変更する

      • 新規：””表示なし

      • 更新：画面上にアイテムIDを表示する

    • 「タイトル」（Title）
      読み込んだファイルのアイテム名を表示する

      • タイトル名はシステムの言語属性に合わせたtitleを表示する

      • システムの言語属性に合うtitleが無い場合は英語表記で表示する

      • タイトルが長い場合は、横スクロールにならないようにタイトルをトリミングする

        • タイトルを表示上限文字数まで表示して、その直後に「...」をつける

    • 「チェック結果」（Check Result）
      読み込んだファイルの各アイテムについて、インポートが可能かバリデートチェックを実施する
      エリアに表示する内容は以下の通りである

      • エラーが無く、新規のアイテムの場合：「登録」（Register）と表示する

      • エラーが無く、アイテムの「.edit_mode」が「Upgrade」の場合：「バージョンの変更」（Upgrade Version）と表示する

      • エラーが無く、アイテムの「.edit_mode」が「Keep」の場合：「バージョンの維持」（Keep Version）と表示する

      • バリデーションエラーがある場合：「エラー: XXXXX」（Error: XXXXX）とエラー内容を表示する

      • バリデーションワーニングがある場合：「警告: XXXXX」（Warning: XXXXX）とワーニング内容を表示する

  • インポートファイルのバリデーションチェックは以下とする

    • Bagit形式の仕様に従っていること

    • メタデータの必須項目が入力されていること

    • メタデータの入力内容が、入力制約に合致していること

      • DOI付与：DOI_RA の設定に従い、資源タイプ、必須、いずれか必須のチェックを行うこと
        https://redmine.devops.rcos.nii.ac.jp/attachments/download/6107/JPCOAR_JaLC_Guideline_appendix_v1.pdf

      • dc:titleのxml:langは必須としない。

      • 日付項目：ISO-8601で規定する3 形式（YYYY-MM-DD、YYYY-MM、YYYY）のチェックを行うこと

    • 存在するインデックスツリーであること

    • 新規登録の場合、既に登録されているDOIが割当されないこと

    • 更新の場合、アイテムがWEKO上に存在し、論理削除されていないこと

    • 更新の場合、更新前のアイテムタイプが変更後のアイテムタイプと一致していること

    • WEKOに登録されていないアイテムタイプがインポートファイルに含まれる場合はエラーとすること

    • TSVファイルの項目のバリデーションチェックは以下とする

      • POS_INDEX[n]：インデックス名

        • インデックス名が指定されていること

        • 指定したインデックス名が存在していること

      • FEEDBACK_MAIL：フィードバックメール送信先メールアドレス

        • 指定されたメールアドレスはメールアドレスの形式チェックをすること

      • PUBLISH_STATUS：アイテムの公開／非公開設定

        • 指定されたPUBLISH_STATUSがprivate, publicのいずれかであること

      • CNRI：CNRIハンドル

        • 「 識別子 変更モード」を指定している場合
          ・CNRIの値が空白になること

        • 「 識別子 変更モード」を指定していない場合
          ・新規アイテム登録の場合、CNRIが指定されること
          ・既存アイテムへの更新の場合、指定されたCNRIが登録内容と同一であること

      • DOI_RA：DOI付与の種類

        • DOIが指定されている場合、DOI_RAが指定していることは必須である

        • DOI_RAが空白になること

        • 指定されたDOI_RAがJaLC, Crossref, DataCite, NDL JaLC のいずれかであること

        • 「 識別子 変更モード」を指定している場合
          ・指定した形式に応じてメタデータの項目チェックを行うこと
          ・既存アイテムへの更新の場合、指定された内容が登録内容と同一であること

        • 「 識別子 変更モード」を指定していない場合
          ・新規アイテム登録の場合、 DOIが指定されていること
          ・既存アイテムへの更新の場合、指定された内容が登録内容と同一であること

      • DOI ：DOI

        • 「 識別子 変更モード」を指定している場合
          ・DOIが空白になること

        • 「 識別子 変更モード」を指定していない場合
          ・新規アイテム登録の場合、 DOIが指定されていること
          ・既存アイテムへの更新の場合、指定された内容が登録内容と同一であること

    • 環境変数で設定した格納先が下記の状況の場合エラーメッセージを出力する。あわせて、エラーログにも出力する

      • 格納先のパスが無かった場合

      • 格納先の書き込み権限が無かった場合

      • 格納先の容量が不足している場合

    • 一括登録の実行時に他端末から実行した場合エラーメッセージを出力する。

      • 一括登録を実行中に他の端末が【Administration > アイテム管理（Items） > （Import）画面を開いた場合

      • 一括登録を実行している端末が【Administration > アイテム管理（Items） > インポート（Import）画面を開いた場合（他のブラウザで開いたとき，"Result"タブから再度"Import"タブに遷移したとき等）

      • 個別のアイテム編集中に、一括登録を実施した場合

      • 個別のアイテム削除後に、一括登録を実施した場合

  • バリデーションのエラーメッセージ及びワーニングメッセージは以下の通りである

• 「ダウンロード」（Download）ボタン
  画面に表示されているアイテムのリストをTSV形式でダウンロードできる

  • 文字コードはBOM無しUTF-8、改行コードはLFとする

  • タイトル等トリミングされている場合は、ファイルにはすべて出力されるようにする

  • ファイル名は「Check_ダウンロード日付.tsv」とする

• 「インポート」（Import）ボタン
  読み込んだTSVファイルのアイテムを登録する

  • 処理途中に問題があるアイテムがあっても、一括登録処理は中断させず、次のアイテムの処理に進む

  • 大量登録時のセッションタイムアウトを防ぐように、処理は非同期処理とする

  • インデックスには

    • インデックスID及びPOS_INDEX[n]を元に指定する

      • POS_INDEX#nnが複数指定されている場合はそれぞれに登録する

      • インデックスIDとPOS_INDEX[n]が不整合の場合は、ワーニングメッセージを出力して、IndexID[n]で指定したインデックスに登録する

  • DOI/CNRI付与には（「識別子変更モード」（Change Identifier Mode.）チェックボックスにチェックを入れる場合）

    • 新規で一括登録するアイテムに、DOI_RAの設定に従い、指定したDOI（JaLC, Crossref, DataCite, NDL JaLC）及びCNRIをpidstoreに登録できる

    • 既存のアイテムに、DOI_RAの設定に従い、登録されているDOI（JaLC, Crossref, DataCite, NDL JaLC）及びCNRIを変更できる
      pidstoreに存在する該当レコードを論理削除して指定したDOIを登録する

    • DOI/CNRI付与の処理はワークフローのIdentifier Grantで指定した時と同じ処理である

  • ワークフローには

    • 該当アイテムタイプのワークフローが存在する場合、このワークフローが対象とする

    • 該当アイテムタイプのワークフローが存在しない場合、新しいワークフローを作成、メタデータ登録(Item Registrationアクション)まで完了している

    • デフォルトフロー名：「Registration Flow」
      アクション：Start -> Item registration -> End

    • デフォルトワークフロー名：該当アイテムタイプ名

  • アイテム公開／非公開は、一括登録用ファイルの内容に合わせる

  • 既存のアイテムを更新するときに値（必須項目以外）を空欄にしてインポート更新をした場合、空欄となったメタデータは削除として更新される

  • 「インポート」（Import）ボタン押下後、結果タブの画面に遷移する

4.5. 「結果」（Result）タブで一括登録の結果を表示する

• 「結果」（Result）タブ
  最後に実施したアイテム一括登録の状況をリスト形式で確認する
  初期値は表のヘッダ部分のみ表示されているものとし、以降は最後に一括登録を実施したときのリストが表示される
  1000ミリ秒ごとに状況を取得し、画面に表示する
  すべてのインポートが成功または失敗したら、それ以降は状況を取得しない

  • 表示項目は以下の通りである

    • 「No.」
      読み込んだTSVファイルのアイテムの通し番号を表示する

    • 「開始日」（Start Date）
      [Import]ボタン押下後、1アイテムに対して登録処理を開始した日時を表示する
      フォーマット：YYYY-MM-DD hh:mm:ss
      登録処理開始後でも、ソース上で定義されていないエラーによる異常終了の場合は空白となる

    • 「終了日」（End Date）
      1アイテムに対して登録処理が完了した日時を表示する

    • フォーマット：YYYY-MM-DD hh:mm:ss

    • 「アイテムID」（Item Id）
      各アイテムのアイテムIDを表示する

    • 「アクション」（Action）
      各アイテムがワークフローのどのアクションにいるかを表示する
      初期状態では空欄、開始後に「Start」、正常終了で「終了（End）」、異常終了で「Error:（エラーメッセージ）」
      ただし、ソース上で定義されていないエラーによる異常終了の場合は「Start」

    • 「ワークフローステータス」（Work Flow Status）
      各アイテムのワークフローのステータスがどの状態かを表示する

  • 「ダウンロード」（Download）ボタン
    画面に表示されているアイテムのリストをTSV形式でダウンロードできる

    • 文字コードはBOM無しUTF-8、改行コードはLFとする

    • タイトル等トリミングされている場合は、ファイルにはすべて出力されるようにする

    • ファイル名は「List_ダウンロード日付.tsv」とする

その他

• インポートのtsvファイルでファイル情報が無いにもかかわらず、「ファイル情報 [1] 」や「ファイル情報 [2] 」のヘッダがインポートファイルの中に存在している（ファイル情報 [0] は存在している）場合であっても、エラーとならないように対応

• DOIの自動採番ルールは以下の通り

  • 識別子変更モード

  • DOIの自動採番は行わない

    • インポートファイルにdoiやprefixが含まれている場合はエラーメッセージを表示する。

      • DOIが空欄の場合
        　「Please specify DOI prefix/suffix.」

      • インポートファイルにdoiやprefixが含まれている場合　(「prefix」もしくは「prefix/」を指定した場合）
        　「DOI suffixを設定してください。」／「Please specify DOI suffix.」

  • Not 識別子変更モード

    • 以下の条件をすべて満たしたときにDOIを付与する

      • Admin > Setting > Identifier でprefixの設定があること

      • DOI：空欄であること

      • DOI_RA：JaLC, Crossref, DataCite, NDL JalC のいずれかであること

• 「Not 識別子変更モード」で、既存アイテム(DOI付与無し)に自由記述でDOIをインポートしようとした際にエラーメッセージを出す

  • 「指定された{DOI}が登録済みの{DOI}と異なっています」

• DOIの付与はPID付与の制約条件表 ( JPCOAR_JaLC_Guideline_appendix_v1.pdf ) に従って、「必須」と「いずれか必須」の条件をもとにDOI付与可否を決定している。
  なお、必須のマッピング項目がひとつのアイテムタイプ内に複数ある場合、複数あるうちのひとつだけ入力されていれば、DOI付与の条件を満たすものとする。

• DOI付与済みアイテムを新規登録後、更新時に必須項目の値の削除や必須項目のプロパティの削除はできない。
  削除をした場合、インポートタブのチェック処理で「PID付与の条件を満たしていません。」とエラーメッセージが表示される。
  また、更新時に資源タイプ（dc:type）の変更は同じコンテンツ種類内でのみ許可される。それ以外の資源タイプに変更した場合、インポートタブのチェック処理で「DOI付与済みアイテムの資源タイプの変更はできません。」とエラーメッセージが表示される。

• 制限公開用プロパティもインポートすることができる

  • 制限公開用プロパティ: 利用規約情報、アクセス(制限公開)、データタイプ、提供方法（ワークフロー、ロール）

• インポートしたアイテムは、操作アカウントによって作成されたものとして扱われる。

• 関連モジュール

• weko-admin

• weko-search-ui

• 処理概要

1 処理に関するエトセトラ

• アイテムタイプ項目のチェックに使用しているライブラリ

• zipファイルの解凍に使用しているライブラリ：zipfile

• インポート実行時のceleryタスク

• 識別子変更モードを指定した際のpidstroreの処理について

• 作成者プロパティの「iscreator」画面表示同様、TSVファイルに出力しないよう制御している

• depositの「owners」が空欄になっていた場合でも"list index out of range"のエラーが発生しないようにエラーハンドリング処理を追加

• インポート処理に例外が発生してもESに存在しているアイテム情報が消えないように実装

• DOIを取り下げたアイテムは、インデックスの状態に関係なくインポートが機能し、ワークフローで編集できる

• ユーザのセッション有効時間を超過した場合でもインポート処理は完了する

• ※インポート処理完了後に、celeryタスクの処理で、作業用のテンポラリディレクトリを削除する

2. tmpディレクトリ

• 登録されたインポートファイルのチェックをする際に作成するテンポラリファイルは以下のように生成する

  • /home/invenio/.virtualenvs/invenio/var/instance/data/tmp/weko_import_xxxxxxxx

• アイテムをインポートする際に作成するテンポラリファイルは以下のように生成する

  • /home/invenio/.virtualenvs/invenio/var/instance/data/tmp/weko_import_YYYYMMDDhhmmss

3. 設定

• 一括登録画面のテンプレートを設定する

  • パス：https://github.com/RCOSDP/weko/blob/v0.9.22/modules/weko-search-ui/weko_search_ui/config.py#L87

  • 設定キー：WEKO_ITEM_ADMIN_IMPORT_TEMPLATE

  • 現在の設定値：

WEKO_ITEM_ADMIN_IMPORT_TEMPLATE = 'weko_search_ui/admin/import.html'

• 「インポート」（Import）タブ にてダウンロードファイルに表示する項目を設定する

  • パス：https://github.com/RCOSDP/weko/blob/v0.9.22/modules/weko-search-ui/weko_search_ui/config.py#L512

  • 設定キー：WEKO_IMPORT_CHECK_LIST_NAME

  • 現在の設定値：

WEKO_IMPORT_CHECK_LIST_NAME = ["No", "Item Type", "Item Id", "Title", "Check result"]

• 「結果」（Result）タブにてダウンロードファイルに表示する項目を設定する

  • パス：https://github.com/RCOSDP/weko/blob/v0.9.22/modules/weko-search-ui/weko_search_ui/config.py#L514

  • 設定キー：WEKO_IMPORT_LIST_NAME

  • 現在の設定値：

WEKO_IMPORT_LIST_NAME = [

"No",

"Start Date",

"End Date",

"Item Id",

"Action",

"Work Flow ",

]

• メール形式（フィードバックメール）を設定する

  • パス：https://github.com/RCOSDP/weko/blob/v0.9.22/modules/weko-search-ui/weko_search_ui/config.py#L524

  • 設定キー：WEKO_IMPORT_EMAIL_PATTERN

  • 現在の設定値：

WEKO_IMPORT_EMAIL_PATTERN = r"(^[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+$)"

• tsvファイルに正当となる公開ステータスを設定する

  • パス：https://github.com/RCOSDP/weko/blob/v0.9.22/modules/weko-search-ui/weko_search_ui/config.py#L525

  • 設定キー：WEKO_IMPORT_PUBLISH_STATUS

  • 現在の設定値：

WEKO_IMPORT_PUBLISH_STATUS = ['public', 'private']

• tsvファイルに正当となるDOI_RAの値を設定する

  • パス：https://github.com/RCOSDP/weko/blob/v0.9.22/modules/weko-search-ui/weko_search_ui/config.py#L526

  • 設定キー：WEKO_IMPORT_DOI_TYPE

  • 現在の設定値：

WEKO_IMPORT_DOI_TYPE = ["JaLC", "Crossref", "DataCite", "NDL JaLC" ]

• 日付(ISO-8601)プロパティのサブアイテムキーを設定する
  日付形式のバリデーションチェックに使用する

  • パス：https://github.com/RCOSDP/weko/blob/v0.9.22/modules/weko-search-ui/weko_search_ui/config.py#L528

  • 設定キー：WEKO_IMPORT_SUBITEM_DATE_ISO

  • 現在の設定値：

WEKO_IMPORT_SUBITEM_DATE_ISO = "subitem_1582683677698"

• 免責事項表示の対応言語を設定する

  • パス：https://github.com/RCOSDP/weko/blob/v0.9.22/modules/weko-search-ui/weko_search_ui/config.py#L532

  • 設定キー：WEKO_ADMIN_IMPORT_CHANGE_IDENTIFIER_MODE_FILE_LANGUAGES

  • 現在の設定値：

WEKO_ADMIN_IMPORT_CHANGE_IDENTIFIER_MODE_FILE_LANGUAGES = ['en', 'ja']

• 免責事項ファイルの配置先を設定する

  • パス：https://github.com/RCOSDP/weko/blob/v0.9.22/modules/weko-search-ui/weko_search_ui/config.py#L534

  • 設定キー：WEKO_ADMIN_IMPORT_CHANGE_IDENTIFIER_MODE_FILE_LOCATION

  • 現在の設定値：

WEKO_ADMIN_IMPORT_CHANGE_IDENTIFIER_MODE_FILE_LOCATION = (

"/code/modules/weko-search-ui/weko_search_ui/static/change_identifier_mode/"

)

• 免責事項ファイルのプレフィックスを設定する

  • パス：https://github.com/RCOSDP/weko/blob/v0.9.22/modules/weko-search-ui/weko_search_ui/config.py#L538

  • 設定キー：WEKO_ADMIN_IMPORT_CHANGE_IDENTIFIER_MODE_FIRST_FILE_NAME

  • 現在の設定値：

WEKO_ADMIN_IMPORT_CHANGE_IDENTIFIER_MODE_FIRST_FILE_NAME = "change_identifier_mode"

• 免責事項ファイルの拡張子を設定する

  • パス：https://github.com/RCOSDP/weko/blob/v0.9.22/modules/weko-search-ui/weko_search_ui/config.py#L540

  • 設定キー：WEKO_ADMIN_IMPORT_CHANGE_IDENTIFIER_MODE_FILE_EXTENSION

  • 現在の設定値：

WEKO_ADMIN_IMPORT_CHANGE_IDENTIFIER_MODE_FILE_EXTENSION = ".txt"

• POS_INDEXの区切り文字を設定する

  • パス：modules/weko-items-ui/weko_items_ui/config.py

  • 設定キー：WEKO_ITEMS_UI_INDEX_PATH_SPLIT

  • 現在の設定値：

WEKO_ITEMS_UI_INDEX_PATH_SPLIT = '///'

• インポート実行時のセッション

  • パス：modules/ weko-admin/weko_admin/config.py

  • 設定キー：WEKO_ADMIN_IMPORT_PAGE_LIFETIME

  • 現在の設定値：

WEKO_ADMIN_IMPORT_PAGE_LIFETIME = 43200

4. 実装方法

• 対応しているモジュール：weko_search_ui

• depositの「owners」が空欄になっていた場合でも"list index out of range"のエラーが発生しないようにエラーハンドリング処理を追加

• インポート処理に例外が発生してもESに存在しているアイテム情報が消えないように実装

5. tmpディレクトリ

• 登録されたインポートファイルのチェックをする際に作成するテンポラリファイルは以下のように生成する

  • /home/invenio/.virtualenvs/invenio/var/instance/data/tmp/weko_import_xxxxxxxx

• アイテムをインポートする際に作成するテンポラリファイルは以下のように生成する

  • /home/invenio/.virtualenvs/invenio/var/instance/data/tmp/weko_import_YYYYMMDDhhmmss

• テンポラリファイルの格納先は環境変数(docker-compose.yml) で設定できるようにする
  https://docs.python.org/3/library/tempfile.html#tempfile.gettempdir

1. 排他処理

インポート処理中「cache::import_start_time」キーに現在時間を格納する。キーは/admin/items/import/check_import_is_availableを呼び出すことでインポート処理の有無を確認しキーを削除する。

【補足】Import機能と個別登録(WorkFlow)の違い

• Import機能はTSVファイルの文法チェックを実施しています。

• メタデータ項目チェック（※）は共通処理（Draft4Validator）を使っていますが、他のチェック処理（tsvのインデックス名・ID、CNRI/DOIのチェック）は共通化できないので、別々に実装されています。
  ※必須項目チェック、入力データ型とアイテムタイプに定義されたデータ型と同じになるかのチェック。

• 個別登録と一括登録のチェック処理を別に実装している理由は、チェックするタイミングでデータの構成が違っているため、共通処理が使えません。

  • 個別登録のチェックタイミング：Identifier Grantの時に、メタデータが存在しているので、それを元にチェックする。

  • 一括登録のチェックタイミング：メタデータがなくて、tsvファイルに指定されたデータを変換しチェックする。

その他補足

（Wikiより）

• 「System」としている項目（"資源タイプResource", "出版タイプResource", "アクセス権Resource"）を一括登録時に自動で設定する機能に関して、
  自動設定の前提として、対象のアイテムタイプについて各項目がAdmin>ItemTypes>MappingでJPCOARスキーマのマッピングが設定されている必要があります

• インポート更新時にに資源タイプ（dc:type）の変更は同じコンテンツ種類内でのみ許可される。それ以外の資源タイプにを変更した場合、インポートタブのチェック処理で以下のようにエラーメッセージが表示される。

  • 「DOI 付与済みアイテムの資源タイプの変更はできません。」

• 同じコンテンツファイル（ファイル名とファイルパスが同一）を含んだインポートファイル（zip）をインポートした場合のファイルの格納方法は以下の通り。

  • Keep: ファイルは上書きされる

  • Upgrade: ファイルは新しく格納される

• インポートのtsvファイル内のメタデータにおける"\
  "は、インポートの際に"\n"に置換する

• 更新履歴