wdsm(仮)

wdsm(またはsref-wdsm)とは、Weathering Data Storage Managerの略(仮名)。

将来に名前を変更する可能性がある。

• 目的
• 要求される仕様(概要)
• 確定仕様
• 未確定仕様

目的

srefで必要になるストレージエンジンの仕様を確定し、その実装を行う。

但し、これはsref以外でも利用したい為、できるだけ汎用に耐えられる仕様とする。

要求される仕様(概要)

• GC付きストレージである事。
  • GC判定は、reference count等の高等なアルゴリズムではなく、単に最終アクセス日時を元にするだけのものでよい(が、後述の条件有り)。
  • 要求されるGC動作はかなり曖昧でも問題無い。
• 内部ではdbmに記録を行う。
• インターフェースを二種類用意する必要がある。
  • 一つは、mysqlのように、サーバプロセスが常駐し、unix domain socket等によって通信を行い、データを返すもの。このインターフェースは、主にデータを高速に操作する必要がある際の為のものである。
  • もう一つは、sqliteのように、ライブラリ手続きの呼び出しだけで操作が行えるもの。GCも適度にさぼっても良い。
  • この二つのインターフェースは、同時にアクセス可能な事が好ましい(が、無理なら、排他でもokとする)。

確定仕様

まだ無し。

未確定仕様

• 通常の保存領域とは別に、(文字列か何かによる)ロック/アンロック機構を用意する必要がある。
  • ここの仕様は複雑になる可能性があるが、上手くやれば簡単にできるかもしれない。あとでもう少し考える。
  • 全体ロックだけでは駄目なのか？全体ロックだけでいいような……
  • ロックが必要になる本質的な原因は、トランザクション安全性をどうやって確保するかという点にあるので、その点から考え直した方がいい。あとで。
• 保存されるデータは通常のdbmと同じく、keyとvalのセットのみとなる。keyとvalはwrite/read invarianceの保たれるS式とする。
  • 実際にdbmに保存する際には、keyとvalは以下のようにメタデータが付与された状態で保存される。
    • keyは以下の通り。

      '(key type . opt-reserved)
      

      • keyは実key(のwriteされた文字列)
      • typeは'system 'index 'data 'metaのどれかのシンボル。'systemならシステムデータ(wdsmが自分自身で使う領域)を示す。'indexならばGC対象外かつ更新可能である事を示す。'dataはGC対象かつimmutableである事を示す。'metaは同じkeyの'data領域に対するメタデータ('dataは(GC以外で)更新される事はないがメタデータは更新される為、いちいち別領域としている)。
      • opt-reservedは将来の為に予約されている領域。
    • valは、keyのtypeによって保存される内容が違う。
      • typeが'systemの場合は、システムデータそのもの。GC対象外。
      • typeが'indexの場合は、(更新可能な)任意のデータが保存される。主にインデクスを保存する用途を想定しているが、それ以外の用途に利用しても構わない。GC対象外。
      • typeが'dataの場合は、(変更不可能な)任意のデータが保存される。GC対象。
      • typeが'metaの場合は、以下の構造のlistが保存される。GC対象。

        '(gc-type atime expires . opt-reserved)
        

        • gc-typeは's 'm 'l 'pのどれか。それぞれレジスタ/短期記録(sudden/short)、中期記録(middle)、長期記録(long)、恒久記録(permanent)に相当。それぞれが実際にどれぐらいの期間に相当するかは、システムデータの設定に準じるものとする(つまり、任意に設定可能)。具体的にどのような扱いを想定しているのかについては、以下の通り。
          • 'sは、cpuのレジスタ、人間の短期記憶、に相当。演算等の為に一時的に記録する目的。すぐに消されても問題無い。
          • 'mは、人間の中期記憶に相当。寝るまで(一日〜数日？)の間の履歴を記録するまでの目的。睡眠(に相当する操作)時に要不要が判定され、不要なものは削除、必要なものは'lに変更される。
          • 'lは、人間の長期記憶に相当。一年〜数年程度のオーダーで、アクセスされなかったものは削除。このアクセス判定は、類似の存在の類似チェックも含まれる為、この状態になったものはほぼ削除されないような前提になる。
          • 'pは、人間の本能的記憶に相当。システムデータに近いものを記録する目的。
        • atimeはfsのatimeと同様。最後にアクセスされた日時。当然、アクセスが行われる毎に更新される。
        • expiresは、このデータの有効期限。これは#fでも構わない(その場合は、gc-typeに応じて、曖昧な期間アクセスが無かった後に削除される)。
        • opt-reservedは将来の為に予約されている領域。
    • この構造は、将来に、(複数の、種類の違うdbmを併用する等の手法によって)更に最適化される可能性があるものとする。

続きはあとで。