Некоторые нюансы LUA. Прошу подсказать.

Это называется "передача параметров по ссылке" (а не "по значению").
По ссылке в Lua передаются таблицы. Только таблицы, всегда таблицы.
Не таблицы передать по ссылке в функцию нельзя.

Например:

function Transform(point)
    point.x = point.x / 2
    point.y = point.y * 2
end

p = {
    x = 5,
    y = 6
}

print(p.x, p.y)
Transform(p)
print(p.x, p.y)

При исполнении отобразит:

5    6
2.5    12

Видно, что поля таблицы изменились внутри функции Transform() и изменённые вернулись в основную программу.

Не проверял, но должно быть так:

function a(sender)  
sender.Caption="да"
end

Button1 =    vcl.Button(Form,{Caption="нет", OnClick = a})
Button2 =    vcl.Button(Form,{Caption="нет", OnClick = a})

т.е. в обработчик OnClick  и так передаётся параметр - объёкт, по которому клик произведён.

И по двум функциям пробежаться можно, замечательно.

a = function (sender)  
sender.Caption="да"
end

b = function (sender)  
sender.Top=60
end

Button1 =    vcl.Button(Form,{Caption="нет", OnClick = function(x) a(x) b(x) end})

Докопаться какой Lua переменной присвоена "ссылка на объект" - не получится.
Но наверняка вашу задачу можно решить задачу иначе, только надо знать что за задача.

Как минимум можно назначив кнопке явно нужное имя в поле Name, после чего получать это имя из Sender.Name
Оно не обязано совпадать с Lua-переменной, но по нему можно идентифицировать кнопку.

Вы опишите какую задачу планируете решать, отдельным топиком про QVCLua, тогда можно будет подумать над подходящими решениями.

CyberTrader,

вы сначала прячете всё, потом локальные таблицы (массивы) объявляете, а после пытаетесь с трудом дотянуться до того, что по сути в глобальных переменных S1, S2 и т.д. уже лежит готовое.

Предлагаю сразу контролы помещать в таблицу, а потом к ней обращаться. Как-то так примерно:

con = {
    vcl.FloatSpinEdit(M, {Name = 'SU1'}),
    vcl.FloatSpinEdit(M, {Name = 'SU2'})
}

И дальше в любом месте пожалуйста перебирайте массив con, где уже содержатся нужные вам элементы. Ну и не забывайте при OnClick = function (Sender), часто этого достаточно.