Где взять lua5.1.dll? делаем ее на основе qlua.dll (Страница 1 из 2)

Идея изготовления прокси-dll простая: заэкспортировать из нее все те же функции, что в оригинальной lua5.1.dll, при этом, поскольку каждая из «торчащих наружу» функций ничего содержательного делать не должна – достаточно, чтобы каждая из них просто делала JMP на соответствующую функции в qlua.dll.

Схематично покажу и поясню код на основе проксирования только одной функции lua_pcall, т.к. все функции сделаны по единому шаблону. (Код здесь несколько упрощаю, убрав проверку на ошибки; полный код в [url=https://quik2dde.ru/static-img/47/lua5.1.dll-cover.src.zip]приложенном архиве с исходниками[/url].)

Для каждой экспортируемой функции глобально определена переменная, в которую загружается полученный адрес соответствующей функции из qlua.dll (здесь это переменная pFunc_lua_pcall).

FARPROC pFunc_lua_pcall;

BOOL WINAPI DllMain(HINSTANCE hinstDLL, DWORD fdwReason, LPVOID lpvReserved)
{
        const HMODULE hDll = LoadLibrary("qlua.dll");
        pFunc_lua_pcall = GetProcAddress(hDll, "lua_pcall");
}

Сама экспортируемая «прокси-функция» выглядит следующим образом:

extern "C" __declspec(dllexport) __declspec(naked) void lua_pcall()
{
        _asm {
                push pFunc_lua_pcall
                ret
        }
}

Т.к. надо всего лишь сделать переход по адресу оригинальной функции в qlua.dll (JUMP или JMP) и анализ аргументов не требуется – прототип в части входных/выходных параметров можно сделать любым. Для простоты я написал void.
Конструкция extern "C" __declspec(dllexport) нужна для экспорта функции из dll, а директива __declspec(naked) добавлена для того, чтобы исключить обычно вставляемый компилятором пролог и эпилог функции, т.к. их наличие будет портить нам стек; в результате такой декларации получаем, что прокси-функция содержит буквально указанный ассемблерный код и ничего более. Ну а внутри нее простым трюком "поместить значение переменной (адрес) в стек и сделать переход по адресу на вершине стека" производится фактически безусловный переход на сохраненный в переменной адрес, указывающий на соответствующую функцию в qlua.dll.

Чтобы вставить все нужные функции я, при помощи программы depends, получил список всех функций, которые экспортируются из lua5.1.dll и сделал небольшой скрипт (на Lua, разумеется), который по подготовленному шаблону генерирует идентичный код на C++ для всех функций и переменных.
Надо отметить, что, как оказалось, из qlua.dll не экспортируется несколько функций, которые есть в qlua.dll. Перед такими функциями в списке стоит символ #, скрипт при генерации такие строки пропускает.

[url=https://quik2dde.ru/static-img/47/lua5.1.dll-cover.src.zip]Скачать zip-архив с исходниками[/url].

я положил файлы lua5.1.dll и do_lua.exe в каталог с Quik Junior. всё хорошо, пока не доходит до загрузки сторонних библиотек... собственно зачем всё это и затевалось. на попытку загрузить bit.dll я получаю:

так на всё. от socket до iup и wx.

как с этим бороться?

UPD: попытка пересборки библиотеки из исходника с учётом функции luaD_growstack успехом не увенчалась, т.к. сама qlua.dll не содержит такой функции :\

UPD: заглушка на luaD_growstack помогла. теперь другая проблема: luaF_newproto. но тут уже заглушка не поможет.

Кому-то вообще удавалось заставить работать сторонние библиотеки напрямую с QLua рантаймом? Мне кажется, что разработчики Quik умудрились не только написать ужасную программу в стиле индийского кода, но ещё и поломать Lua

Начиная с версии терминала 6.6 все необходимые функции экспортируются из qlua.dll
Поэтому есть два решения:
1. сделать из qlua.dll lib-файл и собрать свой проект с ним.
2. скопировать qlua.dll в lua5.1.dll и положить рядом ее рядом с вашим модулем.

кстати, а что не так с "индийским кодом"?

mbul
нет, не экспортируются, смотрите моё письмо.
с индийским кодом всё так, только работает раз через два.

admin
bit.dll из поставки LuaForWindows. как и IUP, который тоже валится.
у меня qlua.dll в данный момент скопирован как: lua.dll, lua5.1.dll, lua5.dll и lua51.dll.

сейчас хочу пальнуть по комарам из пушки: сделать RPC сервер для Quik на Lua.
судя по коду luasocket, проблем с многопоточностью возникнуть не должно, так что runtime можно подхватить и родной, из LuaForWindows + пара плюшек типа шифрования (luasec) и авторизации. я так полагаю, что если рулить этим всем из main, организовав очередь сообщений, то будет работать нормально.

от этого, к сожалению, нужные функции не появятся, тем более что мне не столько bit.dll нужен, сколько iuplua.dll,
который как раз таки эти функции требует

[url=https://code.google.com/p/luaforwindows/downloads/detail?name=LuaForWindows_v5.1.4-46.exe]5.1.4-46[/url]

вкратце: заработало. приём-поставновка ордеров работает. немного дурной протокол правда получился,

длина:[опциональный-id-пакета:]json-данные

+ пришлось поизголяться с синхронизацией, т.к. получилась асинхронная программа, но в остальном работает. надо будет пару моментов порефакторить и вообще погонять всё это дело, но пока всё смотрится довольно неплохо.

Я правильно понимаю что все заработало на версии терминала и qlua.dll 6.6.1?

кстати говоря, насколько я понимаю QLua.dll - плагин. есть ли документация по тому как писать такие плагины?

UPD: фиг. никакой документации и вообще "низзя":

от так от. "мыши кололись, плакали, но всё равно продолжали жрать кактус..."

не-а, нету, попробуйте скриптово добавить инструмент (API для этого просто нет). или отправить заявку любого типа. мне кажется что ARQA самое время задуматься над тем чтобы принять на работу авторов QL.lua, которая делает из их чересчур низкоуровневого API (см. sendTransaction) хоть что-то с чем можно работать. Добавьте к этому отсутствие родного UI...

+ к тому в данный момент я не могу сказать что состояние среды разработки под Quik на Lua хотябы удовлетворительное (2 горы косяков, числа и строки просто не отличаются: getQuoteLevel2 возвращает СТРОКИ, а по документации должны быть числа; течёт. вызываешь collectgarbage - не течёт, но виснет, и т.д.).

Как бывший фанат Forex'a говорю: Quik ужасная поделка против того же Metatrader 4/5 + MQL на порядок грамотней. Какие бы "сподвижки" у Quik'a не были, он так и останется локальной поделкой.

Из биржевых,  мне ещё Transaq понравился, довольно интересная штука, вот только в Украине его никто не предоставляет

а ничего. Версия, о которой говорил mbul мне так и не пришла, техсап игнорирует мои запросы, зато на другие вопросы отвечает нормально.

Итог сей истории: "маем тэ шо маем" или боремся вместо того чтобы работать. Печально что украинские площадки предоставляют только Quik и ничего другого, есть, конечно, Univer, но они хотят каких-то странных денег за подключение Plaza II, так что как вариант даже не рассматриваются.

Вроде бы как проблемы починены у Stock#, но какие-то лицензии, огромное API, всё под Windows, ... нехорошо это всё, поэтому и была задумка сделать на Lua.

В том-то и дело, что нет.

все отправляются, только функция sendTrasnaction настолько низкоуровневая,
что без QL.lua с ней работать адски неудобно.

Предметно: я вам уже дал ссылку на LuaForWindows, после установки которого в папке <куда поставили LuaForWindows>\5.1\clibs вы найдёте тот самый bit.dll, который я пытаюсь подгрузить. Из состава iup она просто не могла быть по логике вещей, т.к. iup - библиотека.

Код всего скрипта был отправлен в саппорт, который говорит что у меня руки кривые и их не смущает что скрипт в обычном интерпретаторе работает более чем нормально: без утечек, без падений, без зависаний. Плюс к тому если скрипт в Quik вызывает collectgarbage(), то он не течет, но в конечном итоге виснет или валится с ошибкой.

Мне обещали прислать Quik 6.6.1, где он будет работать кроме quik.ru - даже не знаю, но попробую, может и поможет.

mbul так же обещал посмотреть на скрипт более основательно, но я сомневаюсь, что он найдёт в нем ошибку. Логика там простая как таз. Если бы хоть что-то там глючило, то оно бы глючило и в интерпретаторе + сразу было видно.

Исходя из того, что сам по себе QLua начал соответствовать нормальному интерпретатору Lua только в не выпущенной ещё версии 6.6.1, выводы получаются такие:

• QLua не отлажена.

• Никто толком её не использовал.

• Работает нестабильно. QLua скрипты приводят к падениям, зависаниям, утечкам памяти.

• Всё вышеуказанное самостоятельно исправить невозможно. Только ARQA, только ждать, только доказывать, что не скрипт виноват.

Я сначала попытался поработать с Quik через DDE. Это был страх и ужас. На первых порах QLua казалась решением всех проблем, но похоже что теперь вместо одной проблемы - реализация торговой стратегии - у меня их две: реализовать торговую стратегию и каким-то образом заставить QLua работать...

Подход того же Transaq: вот вам DLL и бодайтесь с ней как хотите. Всё. Никаких DDE, никаких настроек GUI, никаких вылетов, никаких проблем с автологином или перезапуском в случае ошибки. Просто как дверь и надёжно как лом.

Без обид, но я не понимаю как софт столь низкого качества, использующий прадревние технологии, которые даже Microsoft не рекомендует использовать и не называет его иначе как "legacy" (это я про DDE), вобще смог стать доминирующим на рынке? Трейдер, с которым я работаю, тоже совершенно не в восторге от Quik'a. UX Quik'a - то ещё счастье. ARQA приплачивает площадкам? Я негодую.

Это-то как раз понятно. Просто с моей стороны, единственное, что я могу сделать - погонять всё в нативном Lua, показав, таким образом, что проблемы в самом скрипте нет.

Всё-таки попробую с Quik 6.6.1, возможно каким-то необъяснимым образом из-за двух рантаймов (DLL'ка подымает родной lua5.1.dll у меня) оно и течёт.

Последняя модификация - подгружать auth (require'ит lfs и md5) и ssl только в случае их включения, так что единственное, что остаётся - socket/core.dll, bit.dll. Я попробую их убрать. У вас без клиентов отрабатывает только код в remoteq.lua, больше ничего. Ни парсер протокола, ни очередь сообщений отправки, ни SSL (вырублен в конфиге), ни авторизация (тоже вырублена в конфиге), ни конвертация кодировок, ничего.

Пусть и немного, но сообщения о просьбах помочь разобраться или формата "что же делать и как же быть?" до сети доходят, а гугл показывает очень малое количество результатов по "quik qlua", которые не просто новости, а форумы, сообщения, заметки, статьи...

Ну и на том спасибо. Всё-таки столько времени уже угрохал, обидно будет, если не заведётся.

Мне ещё не даёт покоя collectgarbage() - если оно помогает, то скорее всего проблема-таки не в DLL.

В любом случае, я попробую в понедельник (сейчас данных - ноль, вроде растёт, но непонятно) поубирать вообще все библиотеки: заменить select на sleep, убрать создание socket'a. Если и тогда будет течь, то тогда проблема 100% в QLua.

P.S. Отдельная библиотека для связи с сервером без запуска Quik'a, я так понимаю, в ближайшем обозримом будущем не планируется?

Тут, наверное, надо определиться что мы понимаем под термином "течет".
Я понимаю так: память течет, если потребление ее увеличивается, причем безвозвратно впринципе.
Если же память нормально освобождается вызовом collectgarbage(), то это означает лишь, что память никуда не утекла, она вся под контролем, однако Lua самостоятельно по каким-то причинам не занимается сборкой мусора. Впрочем, еще большой вопрос: должна ли Lua автоматически заниматься сборкой мусора (фактически как раз вызывая collectgarbage()).

То, что в момент сборки мусора происходят падения - это, безусловно, плохо. Вот только хорошо бы эти падения воспроизвести на чистой Lua-скрипте, т.к. если вы использвете свои или сторонние dll-библиотеки - то запросто может оказаться, что проблема именно в них. Ну или в их взаимодействии с Lua. Такая вот петрушка.
Если же проблема с памятью будет повторяться на каком-то чистом Lua скрипте (без сторонних библиотек) - самое время будет писать в ARQA, пусть разбираются.

Свершилось! На QLua.dll от 6.6.1 всё заработало!

Всем спасибо.

UPD: Слегка подробнее.

Таки текло из-за библиотек, на старой версии были выброшены все внешние модули (ssl, socket, bit) и после этого течь перестало. Непонятно как таким образом помогал вызов collectgarbage(), но как-то помогал.

Я пытался так же заставить всё это дело работать с proxy-dll из первого поста. С последней версией из LuaForWindows не завелось со стандартным воплем. Хотя непонятно почему, т.к. вроде бы ни luaD_growstack, ни luaF_newproto не импортируются. Взял версию предыдущую версию и заработало.

Но всё равно текло :\

В конечном итоге, я взял исходники proxy-dll, раскомментировал недостающие функции, собрал, заменил в 6.6.0.118 родную QLua.dll на переименованный lua5.1.dll из того архива что прислал mbul и всё завелось. Не течёт, не падает.