Learning control knowledge by observation in software agents

Abstract

This thesis is the outcome of research on providing software agents with learning by observation capabilities. It presents an agent architecture that allows software agents to learn control knowledge by direct observation of the actions executed by expert agents while performing a task. The proposed architecture makes it possible for software agents to observe each other. It displays information that is essential for observation, such as the agent constituents and capabilities, the actions performed and the conditions holding for them. The displayed information is accessible to all agents that want to observe. The proposed approach combines two methods of learning from the observed data. The first one relies on the sequence which the actions were observed. The second one categorizes the information in the observed data and determines which set of categories the new problems belong. The two learning methods are incorporated into a learning process that covers all aspects of learning by observation such as the discovery and observation of experts, storage of the acquired information, learning and application of the acquired knowledge. The learning process also includes an evaluation of the agent’s progress which provides control over the decision to obtain new knowledge or apply the acquired knowledge to new problems. The process is extended with external feedback on the actions executed by the agent. The approach was tested on three different scenarios that show that learning by observation can be of key importance whenever agents sharing similar features want to learn from each other.

Esta tese resulta da investigação da aplicação da aprendizagem por observação em agentes de software. A tese apresenta uma arquitetura que permite a agentes de software aprender mecanismos de controlo por observação direta das acções realizadas por agentes especialistas enquanto estes realizam uma tarefa. A arquitetura proposta permite que agentes de software se observem uns aos outros ao exibir informações que são essenciais para a observação, tais como os constituintes e as capacidades do agente, as ações realizadas e as condições existentes aquando a realização das mesmas. Esta informação é acessível a todos os agentes que queiram observar. A abordagem proposta combina dois métodos de aprendizagem. O primeiro baseia-se na sequência em que as ações foram observadas. O segundo categoriza a informação observada e determina o conjunto de categorias aos quais os novos problemas pertencem. Os dois métodos de aprendizagem são incorporados num processo de aprendizagem que cobre todos os aspetos da aprendizagem por observação tais como a descoberta e observação de especialistas, o armazenamento da informaçãao adquirida, a aprendizagem e a aplicação do conhecimento adquirido. O processo de aprendizagem inclui também uma avaliação do progresso do agente que controla a decisão de obter novo conhecimento ou de aplicar o conhecimento adquirido em novos problemas. O processo é alargado com feedback externo sobre as acões executadas. A abordagem foi testada em três diferentes cenários que mostram a importância da aprendizagem por observação em situações onde agentes que compartilham características semelhantes querem aprender uns com os outros.