библиотека lua_share (обмен данными между скриптами lua) (Страница 1 из 6)

склеивание событий в очередях по значению: неймспейс "eventlists".

предположим, читатель успевает обработать стакан за секунду, а за эту секунду ему писатели наваливают еще 10 таких же событий. в eventlists эти 10 событий склеятся в одно. внимание: порядок - не fifo, то есть это не совсем очередь, а, скорее, список! так сделано для скорости и простоты, но можно легко переделать на нормальное fifo.

еще идеи?

сделал неймспейс "permanent". он загружается при старте и сохраняется, когда последний скрипт отпустит lua_share:

в конец lua_share_boot.lua добавляем:

-- predefined "permanent" namespace implementation
-- namespace with load/save
--------------------------------------------------
function table.val_to_str(v)
    if "string" == type(v) then
        v = string.gsub(v, "\n", "\\n")
        if string.match(string.gsub(v,"[^'\"]",""), '^"+$') then
            return "'" .. v .. "'"
        end
        return '"' .. string.gsub(v,'"', '\\"') .. '"'
    end
    return "table" == type(v) and table.tostring(v) or tostring(v)
end
function table.key_to_str(k)
    if "string" == type(k) and string.match(k, "^[_%a][_%a%d]*$") then
        return k
    end
    return "[" .. table.val_to_str(k) .. "]"
end
function table.tostring(tbl)
    if type(tbl)~='table' then return table.val_to_str(tbl) end
    local result, done = {}, {}
    for k, v in ipairs(tbl) do
        table.insert(result, table.val_to_str(v))
        done[k] = true
    end
    for k, v in pairs(tbl) do
        if not done[k] then
            table.insert(result, table.key_to_str(k) .. "=" .. table.val_to_str(v))
        end
    end
    return "{" .. table.concat(result, ",") .. "}"
end
function table.load(fname)
    local f, err = io.open(fname, "r")
    if not f then return {} end
    local fn, err = loadstring("return "..f:read("*a"))
    f:close()
    if type(fn) == "function" then
        local succ, res = pcall(fn)
        if succ and type(res) == "table" then return res end
    end
    return {}
end
function table.save(fname, tbl)
    local f, err = io.open(fname, "w")
    if f ~= nil then
        f:write(table.tostring(tbl))
        f:close()
    end
end

permanent = {
    __data = table.load("lua_share.permanent.dat"),
}
__permanent_metatable = {
    __newindex = __default_namespace_metatable.__newindex,
    __index = __default_namespace_metatable.__index,
    __gc = function(self)
        table.save("lua_share.permanent.dat", self.__data)
    end
}
if _VERSION == "Lua 5.1" then
    local t = permanent
    local proxy = newproxy(true)
    getmetatable(proxy).__gc = function(self) __permanent_metatable.__gc(t) end
    permanent[proxy] = true
end
setmetatable(permanent, __permanent_metatable)

тестовый скрипт:

package.cpath = getScriptPath() .. "/?.dll"
sh = require "lua_share"

function default(v, defv)
    if v~= nil then return v end
    return defv 
end

function main()
    local ns = sh.GetNameSpace("permanent")
    message("loaded: " .. tostring(ns[{4, 5, 6}]), 1)
    ns[{4, 5, 6}] = default(ns[{4, 5, 6}], 0) + 1
end

между запусками данные сохраняются в файл lua_share.permanent.dat, который текстовый внутри и выглядит примерно так:

{[{4,5,6}]=18}

коллеги, в общем, я все доделал. представляю финальный вариант либы. теперь она поддерживает обмен данными и между квиками тоже.

хранилище держит отдельный процесс lua_share_server.exe, который нужно запустить руками.

сам файл lua_share_server.exe и файл lua_share_server.lua нужно положить в корневую папку quik. сервер подразумевает, что библиотека lua_share.dll находится в папке .\scripts\ относительно корневого каталога квика. если у вас это не так, то нужно поправить или задать свои пути в lua_share_server.lua вот тут:

package.cpath = "/?.dll;./scripts/?.dll"

дальше все работает как и раньше, но если мы хотим открыть "удаленный" неймспейс "на сервере", то вместо

local ns = sh.GetNameSpace("test_name_space")

мы пишем что-то вроде

local ns = sh.GetIPCNameSpace("test_name_space")

все, больше никаких отличий нет.

в lua_share_server.lua можно написать свой собственный код для работы с хранилищем, совершенно не обязательно он должен использовать библиотеку lua_share, мне просто лень было дублировать функционал. по-сути мы получили довольно шуструю in-memory nosql базу данных на основе lua.

ограничения: максимальный передаваемый за один раз объем ограничен 512K, а для простейшего типа этот объем равен 64K. если не устраивает и нужно больше - можете пересобрать либу с любыми нужными значениями, но прежде задумайтесь: если вы передаете такие большие объемы, все ли вы сделали правильно с точки зрения архитектуры своей программы.

в общем, не уверен, что это все кому-то нужно, так как общаюсь я, преимущественно, сам с собой, если будете использовать - отпишитесь чо как.

спасибо за внимание.

я тут провел измерения насколько быстро работает IPCNameSpace.

изначально делалось:
local ns = sh.GetIPCNameSpace("hello")
ns["world"] = "ok"

цикл состоял из:

1. в клиенте отправлялся запрос на получение значения:
tmp = ns["world"]

2. lua_share_server получал этот запрос в lua, вызвал опять же lua_share, откуда брал, заранее туда помещенное, значение "ok", этот ответ отдавался обратно

3. в клиенте парсился ответ

выполнено 100К итераций.

на моем древнем ноуте c i5 без каких-то дополнительных шаманств с приоритетами процессов получается 25мкс (0,025мс) один цикл. если не вызывать библиотеку lua_share второй раз из lua_share_server.lua, а поместить в него код из lua_share_boot.lua, то получается 16мкс. считаю, что это очень неплохой показатель, можно не париться и вообще всегда использовать GetIPCNameSpace().

ну и последнее, чтобы закрыть тему: RPC. теперь можно определить свои общие функции в lua_share_server.lua и вызывать их. делается это так:
[s]

sh = require "lua_share"
local a, b, c = sh.RPC("testfunc", "a", {1, 2, {3, "b"}})

или так:[/s]

local ns = sh.GetIPCNameSpace("test_name_space")
local a, b, c = ns("testfunc", "a", {1, 2, {3, "b"}})

функция testfunc() просто возвращает переданные в нее параметры. мы передаем два параметра и в результате получаем a == "a", b == {1, 2, {3, "b"}}, c == nil.

вызов этот атомарный для всех квиков.

хочу обратить внимание на телеграм бот на основе этой либы: [url]https://quik2dde.ru/viewtopic.php?id=307[/url]

все общение с телеграмом из квика происходит через две lua_share очереди и вообще никак не тормозят квик, в самом квике нет никаких громоздких библиотек что, в общем, повышает его стабильность. и можно через бота рулить любым количеством квиков, запущенных на той же машине.

итерирование делать? можно в таком стиле:

for k, v in ns:pairs()
end

нужно кому? по мне так очередей - более чем.

Добрый день!

Не запускается после перехода на lua 5.3.
Можно Вас попросить пересобрать? У самого не получается .

собрал: [url]https://www.dropbox.com/s/7safwoyyuwxl2gr/lua_share_binaries.zip?dl=1[/url]
попробуйте и отпишите здесь, работает или нет.

в 8.8.1.5 перестал сохраняться "permanent", если закрыть терминал с включенными ботами.
подписал ботов на событие OnClose - не всегда приходит, точнее - редко. Видимо криво завершает работу терминал

похоже на то