Una de las cosas que hizo de Sonic Youth una entidad tan poderosa fue la química sobrenatural de los miembros de la banda. En varios picos de sus poderes colectivos, cada jugador trajo una voz distintiva que se elevó a una forma aún más elevada cuando se combinó con los demás. Extraído de esa química, el material en solitario de Thurston Moore ofrece una mejor visión de sus tendencias conflictivas, con el séptimo álbum en solitario propiamente dicho, By the Fire, que abarca tanto las tangentes ruidosas y caóticas como la borrosa poesía impresionista que durante mucho tiempo ha sido el núcleo de sus canciones.

El disco comienza con el tipo de intrincadas figuras de guitarra en capas y ritmos de rock constantes que han sido la tarjeta de presentación de Moore desde principios de los 90. El inicio del álbum, «Hashish», es una melodía conductora y temperamental con una melodía vocal que retoma «Sunday» del álbum de 1998 de Sonic Youth, A Thousand Leaves.
El rock grunge torpe de «Cantaloupe» y el empuje borroso y agitado de «Breath» también son un terreno bien cubierto, que suena como si pudieran encajar muy bien en diferentes partes del catálogo de Moore. Sin embargo, en lugar de presentar «Breath» como una canción de rock compacta, la convierte en una epopeya extensa y de varias partes. La pista gira dinámicamente a medida que pasa de una introducción suave y prolongada a versos apasionados, secciones instrumentales explosivas y se descompone en ráfagas informales de retroalimentación. Este tipo de construcción de canciones densa se convierte en el factor que distingue a By the Fire del resto de los esfuerzos en solitario de Moore. «Siren» sigue el mismo enfoque, construyéndose en el transcurso de un tiempo de ejecución de 12 minutos desde largos y perezosos tramos de guitarras repicantes hasta olas ondulantes de sonido sin ritmo. Las voces comienzan aproximadamente a los nueve minutos de la canción después de completar un ciclo completo de tensión y liberación. Canciones como «Locomotives» y «Venus» se construyen de manera similar, cada una ardiendo durante más de diez minutos a medida que suben y bajan a través de varios movimientos. Estas extrapolaciones intensas de banda completa se ven interrumpidas por momentos más tenues como «Dreamers Work», que encuentran a Moore solo con una guitarra, divagando entre nublados reflejos otoñales.
El álbum es uno de los capítulos más intencionales del trabajo en solitario de Moore, fusionando sus muros de guitarra estilo Branca, estudiadas durante mucho tiempo, y puntos de vista líricos místicos con un enfoque nuevo y paciente de la composición. By the Fire no es un cambio drástico, pero a medida que Moore profundiza en los sonidos que ha estado explorando durante décadas, descubre nueva magia.