Sedna の Insert文でHTMLタグを含む情報をインサート

TITLEは普通のテキストだからいいとして、 PAGE情報はHTMLだのJavaScriptだの入るのでCDATAセクションにしないとダメそうだ。

sednaで複数の更新を一気に行うための下準備をsedna側クエリとpugixmlでやろうとしてる

ここ数日色々調べてできたところまでまとめてみた
「sednaで複数の更新を一気に行うための下準備をsedna側クエリとpugixmlでやろうとしてる」
フロントエンドからの要求に基づいて、複数行の更新をしようとしたときに、Sednaにはその機能が無いため、コントローラ側で実装することになるわけだ。
普通のDBに例えると、
「フロントエンドから、データベースのカラムを増やして、そこに既存のテキストをとりあえずインサートしたい」
という要求にこたえるための処理を書いている。
pugixmlが早いというので、それをXML処理に採用した。
sedna側のクエリで特定のタグはCDATAセクションに指定できることがわかったので、XML文を含むテキスト（sednaに渡す命令）全体をCDATAセクションで囲んだ。
これをしないと、pugiwikiはテキスト中のXML文をテキストとして処理せず、ノード扱いしてしまう。
これからの流れとしては、
xml処理はC++で書くため、Swigを使ってGolang用にラッパーを作り、golangから呼び出すようにする。


これで、ようやく、複数のアップデートをするための下準備ができた。
出てきた文字列をSednaでExecuteすればよい
実際はencodeint/xmlで出来てたんだけど、
これが遅いということなので、pugixmlを使ってC++で処理して、Swig使ったりしてGoで動かそうとしているところ
色々大変である・・・
ところでCDATAセクションをネストするときは内側の］］＞を］］］］＞＜！［ＣＤＡＴＡ［＞に変ええないといけないらしい。
知らんかった 上記を先ほどのソースで処理すると このようにpageの中でネストしていた部分がきれいに剥がれ落ちてくれ、、、？？？
あれ？変なところに改行入ってるな？
なんだろう？
これはさすがにバグですかね？
いずれにしろ、XMLの中にHTMLを入れるのは中にスクリプトやXMLのデータまで入っていたりすることも考慮しないといけないし、
そのままCDATAに括って入れるのはダメだろうな
ということで、ネストするのは/sedna/procs/procだけにして、
sednaのインサート文で入れる中身によって加工する必要がある。
プレーンなテキストを入れてもいい場合はそのままでいいが
HTMLを入れたいなら、一度全体を圧縮して、全体をBase64にしていれるべきだと思う。
結果、HTML内に埋め込まれたイメージなどはBase64したものがZIP圧縮されて再度Base64という余計なことになってしまうが
まぁ仕方ないよな？
ためしに、出力された余計な改行が入ったUPDATE用Sednaクエリーをse_termで実行したらやはりエラーになった。
pugixml側を直さないとダメだな
違った・・・
これの出力結果（入力するXMLはPROCの数を増やしてある）
つまり、改行を入れていたのは自分のプログラムなんだけど、
ループの回数がネストされたCDATAの数だけ増えてしまうようだ。
別の取得方法をしないとだめか？
いや、これはnext_siblingを取れば行けそうだ・・・


やっと色々納得できて、まともに出るようになった。

UbuntuへのSwigインストール

なんでやねん？
git branch みたらちゃんとmasterなんですけど？
READMEみたら、4.1.0って書いてあるのに、どういうこと？
gitメンテしてないの？
しかもSourceForgeの方は4.0.2だぜ？
おいおい、ちゃんとしようよ？ てか、Releaseのタグがあるわ、402落としなおして上記再実行し、
インストール完了
バージョン確認したら4.0.1？？？？
ふざけんな！

Pugixml使ってみただけの内容

一番時間がかかったのがsyntaxhighlighterだったりする。
これやらないとプログラムネタの記事書いてらんね

OpenCVの環境構築

•  OpenCVのインストール手順

>sudo apt install -y g++
>sudo apt install -y clang
>sudo apt install libboost-dev
>sudo apt install -y cmake
>sudo apt install -y make
>sudo apt install -y wget unzip
>git clone https://github.com/opencv/opencv.git
>git -C opencv checkout master
>mkdir -p build && cd build
>cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local -DOPENCV_GENERATE_PKGCONFIG=ON ../opencv
>make -j4

• OpenCV のmake結果を確認

>ls bin
>ls lib
>ls OpenCVConfig*.cmake
>ls OpenCVModules.cmake

• OpenCVをインストール

>sudo make install

• path設定（設定場所はどこでもよいけど/etc/profileに書いてみる。golangの環境変数もこちらに書いてしまってます。）

>sudo vi /etc/profile
put following settings at the last of profile
export PATH=$PATH:/usr/local/go/bin
export PATH=$PATH:/usr/local/sedna/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

• OpenCV動作確認

=== test.cpp ===
#include <stdio.h>
#include <iostream>
#include <fstream>
#include <opencv2/opencv.hpp>
using namespace cv;

int main(void){
        Mat image = imread("xxxx.bmp");
        rectangle(image, Rect(0,0,100,100),Scalar(0,0,0),FILLED);
        imwrite("test.jpg",image);

        return 0;
}
==== コンパイル ====
g++ test.cpp -std=c++11 `pkg-config --cflags --libs opencv4`
a.out will be generated.

=== xxxx.bmp を準備してa.out を実行 ===
xxx.bmp を事前に用意してください。中身はかならずしもBMPじゃなくても良く、JPGやBMPでも構わないので、リネームして用意してください。
(例：mv aaa.png xxxx.bmp)

./a.out
test.jpg ができます。（左上が黒塗りの■になってるはずです。）

拙作のRestfulサーバ（Saraswatiと命名）

Hyper-VのUbuntuでSaraswatiを起動し、 WindowsかからHTML(JQuery）でHTTPRequestを投げ、 戻ってきたJSONから値を取得し、Imageに表示できた。 クライアント側のHTMLもこんだけ 何も工夫してない

Base64再び

 Base64というのは、文字列とバイナリの置き換えなのだけど、

文字列もバイナリも、長さ固定だと使いにくい

文字列ならstd::string

バイナリなら、std::vector<BYTE>を使えばいい

それで探してみたら以下のようなものを見つけた。
===base64.h===

 #pragma once

#include 
#include 
typedef unsigned char BYTE;

std::string base64_encode(BYTE const* buf, unsigned int bufLen);
std::vector base64_decode(std::string const&);
 

===base64.cpp===

#include "base64.h"
#include 

static const std::string base64_chars =
             "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
             "abcdefghijklmnopqrstuvwxyz"
             "0123456789+/";


static inline bool is_base64(BYTE c) {
  return (isalnum(c) || (c == '+') || (c == '/'));
}

std::string base64_encode(BYTE const* buf, unsigned int bufLen) {
  std::string ret;
  int i = 0;
  int j = 0;
  BYTE char_array_3[3];
  BYTE char_array_4[4];

  while (bufLen--) {
    char_array_3[i++] = *(buf++);
    if (i == 3) {
      char_array_4[0] = (char_array_3[0] & 0xfc) >> 2;
      char_array_4[1] = ((char_array_3[0] & 0x03) << 4) + ((char_array_3[1] & 0xf0) >> 4);
      char_array_4[2] = ((char_array_3[1] & 0x0f) << 2) + ((char_array_3[2] & 0xc0) >> 6);
      char_array_4[3] = char_array_3[2] & 0x3f;

      for(i = 0; (i <4 0xfc="" 3="" base64_chars="" char_array_3="" char_array_4="" for="" i="" if="" j="" ret="">> 2;
    char_array_4[1] = ((char_array_3[0] & 0x03) << 4) + ((char_array_3[1] & 0xf0) >> 4);
    char_array_4[2] = ((char_array_3[1] & 0x0f) << 2) + ((char_array_3[2] & 0xc0) >> 6);
    char_array_4[3] = char_array_3[2] & 0x3f;

    for (j = 0; (j < i + 1); j++)
      ret += base64_chars[char_array_4[j]];

    while((i++ < 3))
      ret += '=';
  }

  return ret;
}

std::vector base64_decode(std::string const& encoded_string) {
  int in_len = encoded_string.size();
  int i = 0;
  int j = 0;
  int in_ = 0;
  BYTE char_array_4[4], char_array_3[3];
  std::vector ret;

  while (in_len-- && ( encoded_string[in_] != '=') && is_base64(encoded_string[in_])) {
    char_array_4[i++] = encoded_string[in_]; in_++;
    if (i ==4) {
      for (i = 0; i <4 0x30="" 2="" base64_chars.find="" char_array_3="" char_array_4="" i="">> 4);
      char_array_3[1] = ((char_array_4[1] & 0xf) << 4) + ((char_array_4[2] & 0x3c) >> 2);
      char_array_3[2] = ((char_array_4[2] & 0x3) << 6) + char_array_4[3];

      for (i = 0; (i < 3); i++)
          ret.push_back(char_array_3[i]);
      i = 0;
    }
  }

  if (i) {
    for (j = i; j <4 0="" 0x30="" 2="" base64_chars.find="" char_array_3="" char_array_4="" for="" j="">> 4);
    char_array_3[1] = ((char_array_4[1] & 0xf) << 4) + ((char_array_4[2] & 0x3c) >> 2);
    char_array_3[2] = ((char_array_4[2] & 0x3) << 6) + char_array_4[3];

    for (j = 0; (j < i - 1); j++) ret.push_back(char_array_3[j]);
  }

  return ret;
}

使い方
===test.cpp===

#include 
#include "base64.h"


int main(void)
{
	std::string str = "abcde";
	std::string out = base64_encode( (BYTE *)str.c_str(),str.length());
	printf("%s\n",out.c_str());
	std::vector buff = base64_decode(out);
	printf("%s\n",(char*)buff.data());
}