在建筑工程领域，承包人将工程转包或分包给实际施工人，实际施工人又自行招用临时劳动者的情况十分常见。这种情况下，临时劳动者与承包人之间是否存在劳动关系，是一个涉及劳动者权益保护的重要法律问题。

从法律关系来看，承包人将工程转包或分包给实际施工人后，与实际施工人之间形成的是承包合同关系。而实际施工人招用的临时劳动者，其劳动关系应当是与实际施工人建立。根据《中华人民共和国劳动合同法》的相关规定，劳动关系的确立应以实际用工情况为准。临时劳动者的工资支付、工作安排、日常管理等通常都由实际施工人直接负责，这表明劳动关系存在于临时劳动者与实际施工人之间。

在特定情况下，承包人可能需要承担相应的法律责任。如果承包人对实际施工人的用工行为知情且未提出异议，或者实际施工人不具备合法用工主体资格，根据《最高人民法院关于审理劳动争议案件适用法律若干问题的解释》的相关规定，承包人可能需要与实际施工人承担连带责任。特别是在工程劳务分包过程中，如果承包人违法转包或分包给不具备资质的实际施工人，导致劳动者权益受损，承包人应当承担相应责任。

实践中，判断临时劳动者与承包人是否存在劳动关系，需要综合考虑以下因素：承包人是否直接对劳动者进行指挥管理、是否直接支付劳动报酬、是否提供劳动工具和工作条件等。如果承包人实际上直接参与了用工管理，则可能被认定为存在事实劳动关系。

为规范用工行为，建议承包人在进行工程分包时，应当选择具备合法资质的分包单位，并在分包合同中明确约定用工责任。承包人应加强对分包单位用工情况的监督，避免因违法分包而承担不必要的法律风险。对于劳动者而言，在权益受到侵害时，可以根据实际情况向实际施工人或承包人主张权利。

在工程劳务分包关系中，临时劳动者与承包人一般不存在直接的劳动关系，但在特定情形下，承包人可能需要承担相应的法律责任。这一问题的认定需要根据具体案情进行判断，既要保护劳动者的合法权益，也要维护建筑市场的正常秩序。