2021年4月1日木曜日

golang で バックエンドのCORS処理

CORSてのがあって詳しくはココ参照
ブラウザからリクエストが来るときは、最初のメソッドがPUTやPOSTなどではなく、OPTIONSになるらしい。
OPTIONSの時は以下のようなヘッダをセットして返してあげると、続けて本番のMethodが飛んでくる。
この流れをpreflightと言うらしい それで実際の動きはどうなるかというとこんな感じ
時刻: 0 件のコメント:
ラベル:

2021年3月30日火曜日

Sedna の Insert文でHTMLタグを含む情報をインサート

TITLEは普通のテキストだからいいとして、 PAGE情報はHTMLだのJavaScriptだの入るのでCDATAセクションにしないとダメそうだ。
時刻: 0 件のコメント:
ラベル:

2021年3月25日木曜日

sednaで複数の更新を一気に行うための下準備をsedna側クエリとpugixmlでやろうとしてる

ここ数日色々調べてできたところまでまとめてみた
「sednaで複数の更新を一気に行うための下準備をsedna側クエリとpugixmlでやろうとしてる」
フロントエンドからの要求に基づいて、複数行の更新をしようとしたときに、Sednaにはその機能が無いため、コントローラ側で実装することになるわけだ。
普通のDBに例えると、
「フロントエンドから、データベースのカラムを増やして、そこに既存のテキストをとりあえずインサートしたい」
という要求にこたえるための処理を書いている。
pugixmlが早いというので、それをXML処理に採用した。
sedna側のクエリで特定のタグはCDATAセクションに指定できることがわかったので、XML文を含むテキスト（sednaに渡す命令）全体をCDATAセクションで囲んだ。
これをしないと、pugiwikiはテキスト中のXML文をテキストとして処理せず、ノード扱いしてしまう。
これからの流れとしては、
xml処理はC++で書くため、Swigを使ってGolang用にラッパーを作り、golangから呼び出すようにする。


これで、ようやく、複数のアップデートをするための下準備ができた。
出てきた文字列をSednaでExecuteすればよい
実際はencodeint/xmlで出来てたんだけど、
これが遅いということなので、pugixmlを使ってC++で処理して、Swig使ったりしてGoで動かそうとしているところ
色々大変である・・・
ところでCDATAセクションをネストするときは内側の］］＞を］］］］＞＜！［ＣＤＡＴＡ［＞に変ええないといけないらしい。
知らんかった 上記を先ほどのソースで処理すると このようにpageの中でネストしていた部分がきれいに剥がれ落ちてくれ、、、？？？
あれ？変なところに改行入ってるな？
なんだろう？
これはさすがにバグですかね？
いずれにしろ、XMLの中にHTMLを入れるのは中にスクリプトやXMLのデータまで入っていたりすることも考慮しないといけないし、
そのままCDATAに括って入れるのはダメだろうな
ということで、ネストするのは/sedna/procs/procだけにして、
sednaのインサート文で入れる中身によって加工する必要がある。
プレーンなテキストを入れてもいい場合はそのままでいいが
HTMLを入れたいなら、一度全体を圧縮して、全体をBase64にしていれるべきだと思う。
結果、HTML内に埋め込まれたイメージなどはBase64したものがZIP圧縮されて再度Base64という余計なことになってしまうが
まぁ仕方ないよな？
ためしに、出力された余計な改行が入ったUPDATE用Sednaクエリーをse_termで実行したらやはりエラーになった。
pugixml側を直さないとダメだな
違った・・・
これの出力結果（入力するXMLはPROCの数を増やしてある）
つまり、改行を入れていたのは自分のプログラムなんだけど、
ループの回数がネストされたCDATAの数だけ増えてしまうようだ。
別の取得方法をしないとだめか？
いや、これはnext_siblingを取れば行けそうだ・・・


やっと色々納得できて、まともに出るようになった。
時刻: 0 件のコメント:
ラベル:

2021年3月24日水曜日

UbuntuへのSwigインストール

なんでやねん？
git branch みたらちゃんとmasterなんですけど？
READMEみたら、4.1.0って書いてあるのに、どういうこと？
gitメンテしてないの？
しかもSourceForgeの方は4.0.2だぜ？
おいおい、ちゃんとしようよ？ てか、Releaseのタグがあるわ、402落としなおして上記再実行し、
インストール完了
バージョン確認したら4.0.1？？？？
ふざけんな！
時刻: 0 件のコメント:
ラベル:

Pugixml使ってみただけの内容

一番時間がかかったのがsyntaxhighlighterだったりする。
これやらないとプログラムネタの記事書いてらんね
時刻: 0 件のコメント:
ラベル:

2021年3月19日金曜日

OpenCVの環境構築

  •  OpenCVのインストール手順

>sudo apt install -y g++
>sudo apt install -y clang
>sudo apt install libboost-dev
>sudo apt install -y cmake
>sudo apt install -y make
>sudo apt install -y wget unzip
>git clone https://github.com/opencv/opencv.git
>git -C opencv checkout master
>mkdir -p build && cd build
>cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local -DOPENCV_GENERATE_PKGCONFIG=ON ../opencv

  • >make -j4


  • OpenCV のmake結果を確認

>ls bin
>ls lib
>ls OpenCVConfig*.cmake
>ls OpenCVModules.cmake

  • OpenCVをインストール

>sudo make install

  • path設定（設定場所はどこでもよいけど/etc/profileに書いてみる。golangの環境変数もこちらに書いてしまってます。）

>sudo vi /etc/profile
put following settings at the last of profile
export PATH=$PATH:/usr/local/go/bin
export PATH=$PATH:/usr/local/sedna/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib

  • OpenCV動作確認

=== test.cpp ===
#include <stdio.h>
#include <iostream>
#include <fstream>
#include <opencv2/opencv.hpp>
using namespace cv;

int main(void){
        Mat image = imread("xxxx.bmp");
        rectangle(image, Rect(0,0,100,100),Scalar(0,0,0),FILLED);
        imwrite("test.jpg",image);

        return 0;
}
==== コンパイル ====
g++ test.cpp -std=c++11 `pkg-config --cflags --libs opencv4`
a.out will be generated.

=== xxxx.bmp を準備してa.out を実行 ===
xxx.bmp を事前に用意してください。中身はかならずしもBMPじゃなくても良く、JPGやBMPでも構わないので、リネームして用意してください。
(例：mv aaa.png xxxx.bmp)

./a.out
test.jpg ができます。（左上が黒塗りの■になってるはずです。）

時刻: 0 件のコメント:
ラベル:

2021年3月17日水曜日

拙作のRestfulサーバ（Saraswatiと命名）

Hyper-VのUbuntuでSaraswatiを起動し、 WindowsかからHTML(JQuery）でHTTPRequestを投げ、 戻ってきたJSONから値を取得し、Imageに表示できた。 クライアント側のHTMLもこんだけ 何も工夫してない
時刻: 0 件のコメント:
ラベル:

Base64再び

 Base64というのは、文字列とバイナリの置き換えなのだけど、

文字列もバイナリも、長さ固定だと使いにくい

文字列ならstd::string

バイナリなら、std::vector<BYTE>を使えばいい

それで探してみたら以下のようなものを見つけた。
===base64.h===

 #pragma once

#include 
#include 
typedef unsigned char BYTE;

std::string base64_encode(BYTE const* buf, unsigned int bufLen);
std::vector base64_decode(std::string const&);
===base64.cpp===
#include "base64.h"
#include 

static const std::string base64_chars =
             "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
             "abcdefghijklmnopqrstuvwxyz"
             "0123456789+/";


static inline bool is_base64(BYTE c) {
  return (isalnum(c) || (c == '+') || (c == '/'));
}

std::string base64_encode(BYTE const* buf, unsigned int bufLen) {
  std::string ret;
  int i = 0;
  int j = 0;
  BYTE char_array_3[3];
  BYTE char_array_4[4];

  while (bufLen--) {
    char_array_3[i++] = *(buf++);
    if (i == 3) {
      char_array_4[0] = (char_array_3[0] & 0xfc) >> 2;
      char_array_4[1] = ((char_array_3[0] & 0x03) << 4) + ((char_array_3[1] & 0xf0) >> 4);
      char_array_4[2] = ((char_array_3[1] & 0x0f) << 2) + ((char_array_3[2] & 0xc0) >> 6);
      char_array_4[3] = char_array_3[2] & 0x3f;

      for(i = 0; (i <4 0xfc="" 3="" base64_chars="" char_array_3="" char_array_4="" for="" i="" if="" j="" ret="">> 2;
    char_array_4[1] = ((char_array_3[0] & 0x03) << 4) + ((char_array_3[1] & 0xf0) >> 4);
    char_array_4[2] = ((char_array_3[1] & 0x0f) << 2) + ((char_array_3[2] & 0xc0) >> 6);
    char_array_4[3] = char_array_3[2] & 0x3f;

    for (j = 0; (j < i + 1); j++)
      ret += base64_chars[char_array_4[j]];

    while((i++ < 3))
      ret += '=';
  }

  return ret;
}

std::vector base64_decode(std::string const& encoded_string) {
  int in_len = encoded_string.size();
  int i = 0;
  int j = 0;
  int in_ = 0;
  BYTE char_array_4[4], char_array_3[3];
  std::vector ret;

  while (in_len-- && ( encoded_string[in_] != '=') && is_base64(encoded_string[in_])) {
    char_array_4[i++] = encoded_string[in_]; in_++;
    if (i ==4) {
      for (i = 0; i <4 0x30="" 2="" base64_chars.find="" char_array_3="" char_array_4="" i="">> 4);
      char_array_3[1] = ((char_array_4[1] & 0xf) << 4) + ((char_array_4[2] & 0x3c) >> 2);
      char_array_3[2] = ((char_array_4[2] & 0x3) << 6) + char_array_4[3];

      for (i = 0; (i < 3); i++)
          ret.push_back(char_array_3[i]);
      i = 0;
    }
  }

  if (i) {
    for (j = i; j <4 0="" 0x30="" 2="" base64_chars.find="" char_array_3="" char_array_4="" for="" j="">> 4);
    char_array_3[1] = ((char_array_4[1] & 0xf) << 4) + ((char_array_4[2] & 0x3c) >> 2);
    char_array_3[2] = ((char_array_4[2] & 0x3) << 6) + char_array_4[3];

    for (j = 0; (j < i - 1); j++) ret.push_back(char_array_3[j]);
  }

  return ret;
}

使い方
===test.cpp===
#include 
#include "base64.h"


int main(void)
{
	std::string str = "abcde";
	std::string out = base64_encode( (BYTE *)str.c_str(),str.length());
	printf("%s\n",out.c_str());
	std::vector buff = base64_decode(out);
	printf("%s\n",(char*)buff.data());
}

時刻: 0 件のコメント:
ラベル:

2021年2月25日木曜日

SednaのXQueryバージョンがちょっと古い・・・まぁ問題ないんだけど

 golangで作ったRESTfulサーバにアクセスし、結果をJSONで戻してみた。

takahiro@takahiro-Virtual-Machine:~/gorest/src$ curl -i localhost:5000/foodstuff?foodname="りんご"

HTTP/1.1 200 OK

Content-Tye: application/json

Date: Thu, 25 Feb 2021 10:47:59 GMT

Content-Length: 769

Content-Type: text/plain; charset=utf-8

{"food": [{"food_id": "7148", "foodname": "りんご　皮なし　生"}, {"food_id": "7176", "foodname": "りんご　皮つき　生"}, {"foodname": "りんご　皮つき　焼き", "food_id": "7180"}, {"food_id": "7149", "foodname": "りんご　果実飲料　ストレートジュース"}, {"food_id": "7150", "foodname": "りんご　果実飲料　濃縮還元ジュース"}, {"food_id": "7151", "foodname": "りんご　果実飲料　50%果汁入り飲料"}, {"food_id": "7152", "foodname": "りんご　果実飲料　30%果汁入り飲料"}, {"food_id": "7153", "foodname": "りんご　缶詰"}, {"food_id": "7154", "foodname": "りんご　ジャム"}, {"food_id": "17018", "foodname": "＜調味料類＞　（食酢類）　果実酢　りんご酢"}]}

実はSedna XML DatabaseのSerialization機能を使ってJSONを戻そうとしたのだけど、Sedna の XQuryのバージョンが1.0らしく、3.0以降の機能が使えない、、、

つまり、SerializationでJSONとか指定できない、、、

仕方ないので、一度 Sedna から受け取ったXMLをgolangでJSONに変換し、ヘッダにapplication/jsonを設定して戻すこととした。

動きは上記の通り、

Curlでリクエストを投げ、結果がJSONでちゃんと戻っている。

今回はこれで事足りるんだけど、いずれ、何でもできるように SednaのXQueryを3.1などに対応させないとダメかもしれない。

時刻: 0 件のコメント:
ラベル:

Go でRestAPI (DBはSedna XML Database)


今作ってるやつ
golangでRestAPI

cgoからsedna xml databaseのクエリ実行

結果を取得まで

まだ結果をJSONにしてない
XQueryのシリアライズで出来るかも？

まだ脆弱性ありまくり
時刻: 0 件のコメント:
ラベル: ,

2021年2月7日日曜日

Sedba XML Database 再び

ちょっと作りたいサイトがあって、マイクロサービスを用意しようと思って、golang使ってたんだけど、DBどうしようかなぁと思ってデータを眺めていたら、XMLデータベースを使いたくなってきた。
しかしながら、今動くのはJavaベースのしょぼいのばかり、 やはりC系言語でガリガリ書かれたものを使いたい。

あー、俺の中でJavaはクソ遅いんで、異論は認めない。

まぁ、そういうことで、選択しとして Sedna XML Database しかないのだ。
githubからソースを取得し、コンパイル、途中少しエラーが出たので、 BISION絡みのところと、Stringのインクルードガードを直し、ポインタの使い方を多分間違っている部分がコンパイラに怒られたので直し、 まぁそのくらいでコンパイルは通るようになった。

んで、データをエクセル使ってXMLに直し、バルクインサートし、XQueryで取り出してみた。
まぁ、よく動くよこれ、UTF-8にも対応してるんで、日本語も無問題だ。
今はXQueryを勉強し直してる。
Sedna XML Databaseは、C言語用インターフェースは用意されてるから、 golangからでも行けるだろうと思ってる。
ダメならマイクロサービスをC系の言語で書くわ
というか、なんで XML Database 無くなったんだろうか？
こんないい物が無くなるなんてまぢで勿体ない。

時刻: 0 件のコメント:
ラベル:
登録: 投稿 (Atom)
  • 今更Sleepについて書く事になろうとは・・・
    どうも書かなくてはならないネタが出来てしまった。 マルチスレッドには欠かせないSleep(0)についてだ。 自分はSleep(0)を多用していた。 MSDNの記述 によると 「中断時間として 0ms を指定してこの関数を呼び出すと、現在のスレッドは自らに割り当てられている...
  • WPF Popupでお困りの皆様へ
    https://social.msdn.microsoft.com/Forums/vstudio/en-US/f0502813-9c4f-4b45-bab8-91f98971e407/popup-popupstaysopen-togglebutton-and-data-bindi...